NEUTRINO : ペロリーパー

NEUTRINO

PeloReaper Extensionの情報やダウンロードはこちらからどうぞ。
PeloReaper Extension for REAPER is here.

523

REAPERでのNEUTRINO自動化ツール更新情報

初稿：2022/05/23 01:51 - 最終更新：2023/07/05

このページはPeloReaper ExtensionのNEUTRINO自動化機能について、Extensionの更新で強化・修正された箇所を紹介するページです。

NEUTRINO本体については、下記の本家サイトをご覧下さい。

PeloReaper ExtensionのNEUTRINO自動化機能についてはこちらをご覧下さい。

ver.2023.07.05で追加・修正された機能

NEUTRINO v2.xに対応しました。

上記のリンク先（本家ページ）を見ると分かりますが、NEUTRINOのメジャーバージョンが上がり、NEUTRINO Diffusion（NEUTRINO v2.xのこと）という呼び方になったようです。また、従来のv1.x系で存在していたPitchShiftのパラメータがNSF/Worldで分けられて、パラメータの値の意味も大きく変更になったりしています。

こういった修正事項に伴い、PeloReaperではv2.xにのみ対応し、v1.xは使えないようになっていますのでご注意下さい。また、従来PeloReaperでNEUTRINO Automation機能をご利用頂いていた方は、NEUTRINO Automation Settingsウィンドウで [Reset options] をクリックして、一旦パラメータをリセットすることをお勧めします。

ver.2022.12.03で追加・修正された機能

NEUTRINO自動化機能を実行するダイアログで [Run NEUTRINO] ボタンを押した後、NEUTRINOが正しく実行できない問題を修正しました。

↓ 以下のようなメッセージで止まってしまう症状が発生していました。 Problem_WhenRunNeutrino01

この問題はREAPERやPeloReaperを古いバージョンに戻しても直らないため、.NET FrameworkかWindows Update、コンピュータウイルス・PC侵入検知ソフトなどのアップデートにより起こるようになった可能性があります。

ver.2022.04.29で追加・修正された機能

NEUTRINO自動化機能を実行するダイアログで設定可能なパラメータを増やしました。NEUTRINO ver.1.0.0で指定可能なパラメータを（たぶん）全て指定出来ます。

主なパラメータは以下の通りですが、それぞれの詳細はNEUTRINO公式ブログを参照して下さい。

NSF版（高音質・重い）とWorld版（通常音質・軽い）の切替（Use NSFで切替）
Style Shiftに対応（いわゆる「キー変更＋ピッチ変更ガチャ」と呼ばれるテクニック）
Worldのピッチ・フォルマントのシフト・スムージング、ブレス強化度合い指定

Neutrino公式ブログはこちら

あと、細かいところで言えば、[OK] ボタンが [Run NEUTRINO] ボタンに変わったり、NEUTRINO v1.0.0以降推奨になったりしました（v1.0.0以降じゃないと使えないパラメータがあるため）。

その他、NEUTRINO自動化機能実行中にログにエラーが出て、うまく波形がインポートされないといった不具合も発見したので、そういった細かい部分の修正も行いました。

タグ：: #REAPER; #PeloReaper; #NEUTRINO; #自動化

2022/05/2301:51
texepelon
コメント:0

622

REAPERだけで簡単にNEUTRINO（AIきりたん）を歌わせる方法

初稿：2021/06/22 23:17 - 最終更新：2023/07/06

今回は最も簡単かつ効率的にREAPERでNEUTRINO（AIきりたん）を歌わせる方法の解説です。MuseScoreも使わず、バッチファイルも記述せず、REAPERのみで完結します。

NEUTRINOとは
各種ツールのインストール
REAPER上で歌声の音声ファイルを生成する方法
NEUTRINO自動化による様々なメリット
（追記）NEUTRINO自動化機能の更新情報

NEUTRINOとは

このページに辿り着いたということは恐らくご存じかとは思いますが、NEUTRINOはニューラルネットワークを活用した無料のボーカルシンセサイザーです。東北きりたんなどの様々な音声ライブラリを利用出来、比較的容易に良質な歌声が手に入ることから人気のソフトになっています。

一方でNEUTRINOの標準的な使い方の場合、バッチファイルの設定を編集するスキルが必要だったり、ブレス記号を入力するためにMuseScore等のツールを経由する必要性が出てきたりなど、なかなか面倒かつ敷居の高いものになっているという印象でした。

そこで、筆者はNEUTRINOの面倒な作業を自動化するREAPER拡張機能を実装しました（PeloReaper Extension for REAPERに実装されています）。これを使えばNEUTRINOの音声合成を非常に簡単に実行することが出来、合成した音声ファイルも自動的にDAWのトラックに取り込んでくれます。

以下、この拡張機能の導入方法から使い方までを詳細に解説していきます。

各種ツールのインストール

まずは必要なツールを導入しましょう。

NEUTRINOのインストール

NEUTRINO公式のDOWNLOADページへ行き、NEUTRINO-Windows_vX.XXX.zip（最新版のものでOK）をダウンロードします。

ダウンロードしたzipファイルを解凍するとNEUTRINOフォルダが出てきますので、それを任意の場所に置きます（ここでは、C:\local\NEUTRINO に配置したものとして話を進めます）。

↑ こんな感じになるように配置

NEUTRINOのインストールは以上で完了です。

歌声ライブラリを追加したい場合

歌声ライブラリをインストールしたい場合は、DOWNLOADページの [歌声ライブラリ] というボタンをダブルクリックして中に入り、各種キャラクターのzipファイルをダウンロードします。
（※東北きりたんがNEUTRINOのzipに含まれているため、この工程は必須ではありません）

　↓

キャラクターのzipファイルを解凍すると、キャラ名のフォルダとREADMEファイルが出てきますので、NEUTRINO/modelフォルダ内にコピーするだけでOKです。

REAPERのインストール

REAPERのDownloadページからインストーラーをダウンロードして、インストールして下さい。ここでは64bit版のREAPERをインストールする必要があります。

PeloReaper Extension for REAPER のインストール

筆者が制作・配布しているPeloReaper ExtensionをReaPack（パッケージマネージャー）でインストールします。この方法については以下のページで解説していますので、そちらを参照してインストールして下さい。

以上で必要なツールのインストールについては完了です。

REAPER上で歌声の音声ファイルを生成する方法

それでは簡単なメロディ＆歌詞を作って、NEUTRINOによる音声合成結果を得るまでの工程を順番にやっていきましょう。

MIDIでメロディを作成

以下の手順でTrackとMIDI Itemを作って、MIDI編集を行います。

Trackパネルの空いてる場所をダブルクリックして、新しいTrackを作成
Trackのタイムライン上で、Ctrlキーを押しながらマウス左ボタンのドラッグでMIDI Itemを作成
作成したMIDI ItemをダブルクリックしてMIDI Editorを開き、メロディを打ち込む

という感じで、以下のようなメロディを作ったとします。

譜面エディタで歌詞の入力

ここからは歌詞などの入力のため、MIDI Editorの表示をピアノロールから譜面表示に切り替えます。MIDI Editorのメニューから [View > Mode: musical notation] を選択すると表示が切り替わります。

　↓ こんな感じに表示が切り替わります
NT_NotationMode02

以下の手順で歌詞を入力してみましょう。

音符のあたりを右クリックして [Lyrics...] を選択し、歌詞編集（Edit Lyric）ウィンドウを表示
Edit Lyricウィンドウにテキストボックスがあるので、音符に対応する歌詞を入力
[Forward] ボタン（もしくはテキストボックスでEnterキー）を押すと、次の音符へ移動
2.～3.を繰り返して、音符に歌詞を付けていく

↓ 上記の手順で実際に歌詞を付けている様子

譜面エディタでブレスの入力

音符にアーティキュレーションでアクセント設定を行うことで、その音符の直後にブレスを挿入することが出来ます。

ブレスの設定は本来REAPER上では出来ないのですが、NEUTRINOが音声合成に利用しないアクセント記号でマークを付けておくことで、後工程のPeloReaper ExtensionによるMusicXML処理時に自動的にブレス記号に置換される仕組みになっています。

アクセントは音符を右クリックして [ Articulation > Accent ] でセット出来ます。

　↓

譜面エディタでメロディの音符が下段に表示されてしまう場合の対処方法

REAPERのMIDI EditorでA#3以下の音符を入力すると、譜面ビューで音符が下段に表示されてしまうようですが、この場合音声合成がうまくいかなくなります。この場合は、下段に移動してしまった音符を選択して右クリックから [Staff ＞ Top] を選んで、上段に移動して下さい。

↓ 移動後

MusicXMLファイルを保存

歌詞・ブレスの設定が済んだら、MusicXMLファイルを書き出します。MIDI Editorのメニューから [ File > Notation: Export (PDF, MusicXML)... ] を選択して、MusicXMLとして保存します。

※後の工程でこの保存したMusicXMLファイルを指定することになるので、保存場所を覚えておきましょう（ここでは R:\HelloNeutrino.xml に保存したとして話を進めます）。

NEUTRINO自動化機能で音声合成

MusicXMLファイルの準備が出来たら、あとはPeloReaper ExtensionのNEUTRINO自動化機能でWavファイルを生成してDAWに取り込むところまで一気に処理出来ます。以下の手順でやってみましょう。

REAPERのメインウィンドウのメニューから [Actions > Show action list...] でActionリストを表示
[[PeloReaper] Neutrino: Execute Neutrino Automation (Using MusicXML)...] というActionを実行し、NEUTRINO Automation Settingsウィンドウを表示
下図の画像を参考に、NEUTRINOインストール場所や保存したMusicXMLの場所を指定
[Singer(Model)]が空欄の場合は右側にある [Refresh] ボタンで歌声ライブラリのキャラクター一覧を最新の状態にしてから、音声合成に利用するキャラクターを選択
[ OK ]ボタンで音声合成を開始
ログが表示されるのでしばらく待ちます（NEUTRINOの処理はかなり時間がかかります。実行開始時など時々固まったような感じになることがありますが、我慢して待ちましょう）
ログに Done. が表示されると、NEUTRINOによるwavファイルの生成が完了し、生成したwavファイルが自動的にREAPERのTrackにインポートされます。

説明の文章としては長くなりましたが、要するに毎回やることはMusicXMLと歌声ライブラリを指定してOKボタンを押すだけという簡単操作です。

ちなみに歌詞を付けた後～音声合成を行っている様子は以下の動画でも確認できますので、参考にしてみて下さい。

NEUTRINO自動化による様々なメリット

PeloReaper ExtensionによるNEUTRINO自動化機能の使い方は以上の通りですが、最後にこの機能を使った場合のメリットについてまとめておきます。

とにかく簡単、ボタン一発！
一度やり方を覚えてしまえば、毎回やるのはMusicXMLを指定することくらいです。wavに一発変換してTrackに自動的にインポートしてくれますし、まるでREAPERにNEUTRINOの機能が組み込まれたかと錯覚するレベルでシームレスに作業できます（言い過ぎ）。
Neutrino自動化のActionをツールバーなどに登録しておけば、更に作業が楽になります。
REAPERのみで作業が完結し、他のツールをまたがない
ブレス記号を入れるためだけにMuseScoreを使用していた場合、そういった手間が一切なくなります。また、後から曲を変更したりしたくなった場合などでは、曲を変更した部分について他のツール（MuseScoreなど）のデータも変更に追従して直したりしなければ・・・みたいな手間も一切発生しません。なので、より柔軟なワークフローを構築することが可能になります。
MIDI Item単位で処理出来るので、調声なども繰り返しトライしやすい
NEUTRINOの音声合成処理時間は、譜面の長さやPCスペックなどによってかなり長くなってしまう場合があります。MIDI Itemを比較的短く区切って音声合成を行えば、処理にかかる時間を短縮でき、何度もトライしたい場合に有利になります。
また、REAPERでは複数のMIDI Itemをglueという機能で連結したりすることも出来ますので、歌詞等の設定を終えたMIDI Itemたちを連結して、曲全体の歌声を一回でまとめて生成するといった事も容易に行えます。

やはり作曲する側の立場であれば、作曲以外のオペレーションは楽に越したことはないですよね。特に今までNeutrinoを使って音声合成を行ってきて作業が面倒だと感じていた人であれば、これらのメリットに魅力を感じて頂けるのではないでしょうか。

また、この機能を実装＆公開してからしばらく経過してしまいましたが（記事書くタイミング遅すぎ）、調声支援ツールなどの補助ツールもどんどん進化していたりするので、そういったものとの連携も今後考えていきたいところではありますね。

兎にも角にも、少しでも歌を作る人の助けとなれば幸いです。

（追記）NEUTRINO自動化機能の更新情報

NEUTRINO自動化機能の更新情報を以下のページにまとめていますので、より新しい機能等について知りたい場合は見てみて下さい。

タグ：: #NEUTRINO; #REAPER; #使い方; #インストール; #きりたん; #イタコ; #めろう; #簡単; #調声; #ボカロ

2021/06/2223:17
texepelon
コメント:0

630

PeloReaper Extension Plugin for Cockos REAPER

PeloReaper Extension is an extension plugin for Cockos REAPER made by pelori.
( Latest version: ver.2024.08.12, Change Log )
※日本語での説明はこちら

Please be sure to use PeloReaper ver. 2023.10.19 or later for REAPER 7.x or later.
※REAPER 7.x以降でプラグインが読み込まれない不具合がありましたので、REAPER 7.x以降では必ずPeloReaper ver.2023.10.19以降をご利用下さい。

Install (ReaPack)

You can install the PeloReaper Extension via ReaPack on your REAPER.
(ReaPack is a package manager for Cockos REAPER.)

REAPER Main menu: Extensions > ReaPack > Import repositories...
```
https://github.com/pelori/PeloReaper/raw/master/index.xml
```
REAPER Main menu: Extensions > ReaPack > Browse packages...
Right click "PeloReaper Extension", "PeloReaper MiscData", and Click "Install vXXXX.XX.XX"
Click the "OK" button to complete.
Restart REAPER

Detailed installation instructions are explained in this article.

System Requirements:

Please note that since PeloReaper Extension ver.2023.07.30, the following runtimes have to be installed due to the revamped build environment and framework.
Windows 11 or newer (Windows only)

REAPER v6.42～ (64bit ONLY)
Microsoft Visual C++ 2022 Runtime (x64) (Required since ver.2023.07.30)
Install the Visual Studio 2015-2022 (x64) version.
If you install via winget：
winget install Microsoft.VCRedist.2015+.x64
Microsoft .NET 7 Desktop Runtime (Required since ver.2023.07.30)
Install the .NET Desktop Runtime (x64) version.
If you install via winget：
winget install Microsoft.DotNet.DesktopRuntime.7

Users Guide

After install PeloReaper extension, open PDF manual with executing following action.

[PeloReaper] Misc: Open PeloReaper document (ExtensionGuide: English/Japanese)

Features

VOICEVOX Integration

This function performs speech synthesis using VOICEVOX and automatically imports wav files. batch processing using CSV files is also supported.

Features:

Batch TTS(Text to Speech) processing with CSV file
TTS with item notes of empty items on dialogue tracks
Set the speaker ID to track as track name with GUI
Import/Export dialogue tracks from/to CSV files
Import/Export text files for VOICEVOX Editor
External connection settings and switching actions
Actions for executing VOICEVOX Editor/Server
Editing the item notes for dialogue with GUI

VOICEPEAK Integration

This function performs speech synthesis using VOICEPEAK and automatically imports wav files. batch processing using CSV files is also supported.

※Warning: Please note that VOICEPEAK v1.1.0 beta 2 or later, which can be downloaded after VOICEPEAK purchase & user registration, is required.

Features:

Batch TTS(Text to Speech) processing with CSV file
TTS with item notes of empty items on dialogue tracks
Import/Export dialogue tracks from/to CSV files
Set the narrator name to track as track name with GUI
Editing the item notes for dialogue with GUI

GameSynth Integration

This feature allows you to render GameSynth patches easily and import wave files automatically.

GameSynth is a game sound production tool made by tsugi-studio. For more details, please refer to the official website.

Features:

Render GameSynth patches (which saved in preset patch folders) and import wave files
Generate totally random patches and wave files

MediaFolder

This function was born from the idea of "I want to select media by launching multiple MediaExplorer at the same time and displaying multiple folders."

Features:

Selects media on MediaExplorer synchronously to the selection of file on MediaFolder
Displaying multiple MediaFolder windows, window grouping and actions for controlling them
Moving EditCursor, Switch track selection (with focusing MediaFolder window)
Selecting files randomly
Inserting media (Tempo matched, Grid sized, as new takes)
Inserting media randomly from selected files on MediaFolder window
Quick-Path that can be assigned to number keys(0-9), (Global/Window-Local)
Favorite path (Bookmark list)
☆Favorite rank, Tags, Import tags from media file (if available), searching files
Window color settings
And more...

NEUTRINO Automation

※About NEUTRINO： see official site.
※Supported NEUTRINO version is v2.x ONLY (PeloReaper ver.2023.07.05～)

Features:

Run NEUTRINO automatically with your MusicXML file and import a result wave file
(Accent articulations will be converted into Breath articulations automatically)

Also see here for updates about the NEUTRINO automation tool.

■MIDI

Features:

Send Note ON/OFF on MIDI Editor (as Virtual Keyboard)
- Send MIDI note ON according to scale setting on MIDI Editor
- Function switchable actions (MIDI Note ON, Insert Note)
MIDI CC manipulation
- Insert multiple pitch CC events under selected notes range
- Interpolate selected CC values (Linear, EaseIn, EaseOut, EaseInOut)
- Interpolate selected CC values (min-max value range)
Scale Snapping features
- Move pitch cursor according to scale (Up/Down, Jump to scale tone directly)
- Insert interval note from pitch cursor according to scale
- Insert chromatic scale interval note from pitch cursor (ignoring scale snapping)
Note selection
- Select notes at Pitch/Edit cursor (Horizontal/Vertical selection)
- Move/Add notes selection (smart-move version)
- Select bass notes
Note velocity manipulation
- Set note velocity to specific value (1～127 or percentage)
- Interpolate some notes velocities (Linear, EaseIn, EaseOut, EaseInOut)
- Set note velocity to random value
Other useful features
- Jump pitch cursor to some notes pitch directly
- Delete note without selecting
- Delete notes except for Lowest pitch notes
- Detect overlapping notes and correct them
- MIDIEditor: Toggle key snap

■FavSrc

FavSrc is for collaborating with your favorite resource folders. You can export/import some media files such as wave, midi, video, and image files from/to your item.

FavSrc01

Features:

Export item media sources to your favorite folders directly
Import some media randomly from your favorite folders
Use subfolders of each favorite folder for more detailed categorizing
Show favorite folder path in MediaExplorer and WindowsExplorer directly

Use-cases examples:

When you made a nice sample(kick, sfx, ...) on REAPER, glue it and copy to your favorite folder directly using FavSrc actions.
You can import some samples from your favorite sample folders.
You can import short MIDI snippets from your favorite MIDI folders.
Showing your favorite folder path in MediaExplorer directly, you can choose some media files more quickly (maybe your workflow would be improved a little).

■Misc

Some useful functions are available.

Generating items for video subtitles from item-notes of selected items(with Video Processor text-overlay)
Create video image sequence(thumbnails) track of selected video items
Open REAPER project file from wave file which has BWF(bext) info
Copy item(take) media source to its local project media folder and refer to it
Show item(take) media source path in WindowsExplorer

■Dancer

You can see some characters dance (sync with REAPER's playing tempo and beats).
Image mode (no animation dancer) for BG image (dancer stage, etc...)
Some REAPER Actions for changing dance
Compatible with Fruity Dance(in FL Studio) sprite sheet! (png+txt)

■FX-Randomizer

Randomize your Track/Item(take) FX(VST, VSTi, JSFX) parameters
Parameter Names Filtering (multiple words can be specified)
Change parameter random-range(min, max)
Parameter morphing (between captured parameters and randomized parameters)

Videos

FavSrc

FX-Randomizer

Misc

インストール (ReaPack)

PeloReaperはReaPackを使ってREAPERへインストールできます。
（ReaPack はREAPER用のパッケージマネージャー）

REAPERのメインメニュー： Extensions > ReaPack > Import repositories...
でReaPack登録用のウィンドウが出るので下記のURLを記入してOKボタンで登録
```
https://github.com/pelori/PeloReaper/raw/master/index.xml
```
REAPERのメインメニュー： Extensions > ReaPack > Browse packages...
"PeloReaper Extension", "PeloReaper MiscData"を右クリックし、"Install vXXXX.XX.XX"
ウィンドウ右下の "OK" ボタンをクリックすれば、PeloReaperがインストールされる
REAPERを再起動（これで反映されます）

上記のインストール方法がよく分からない場合はこちらのページをご覧下さい。

動作に必要な環境:

PeloReaper Extension ver.2023.07.30からビルド環境とフレームワークの刷新により、以下のランタイムのインストールが必須となりますのでご注意下さい。
Windows 11以降（Windows版のみです、Mac版はありません）

REAPER v6.42～ (64bitのみ対応)
Microsoft Visual C++ 2022 Runtime (x64)
Visual Studio 2015-2022向けのx64版をインストールして下さい。
wingetでインストールする場合：
winget install Microsoft.VCRedist.2015+.x64
Microsoft .NET 7 Desktop Runtime
.NETデスクトップランタイムのx64版をインストールして下さい。
wingetでインストールする場合：
winget install Microsoft.DotNet.DesktopRuntime.7

ユーザーズガイド

PeloReaper Extensionをインストール後, 以下のActionを実行することでPDFマニュアルを開くことが出来ます。

[PeloReaper] Misc: Open PeloReaper document (ExtensionGuide: English/Japanese)