初稿：2021/06/22 23:17 - 最終更新：2023/07/06
今回は最も簡単かつ効率的にREAPERでNEUTRINO（AIきりたん）を歌わせる方法の解説です。MuseScoreも使わず、バッチファイルも記述せず、REAPERのみで完結します。
NEUTRINOとは
このページに辿り着いたということは恐らくご存じかとは思いますが、NEUTRINOはニューラルネットワークを活用した無料のボーカルシンセサイザーです。東北きりたんなどの様々な音声ライブラリを利用出来、比較的容易に良質な歌声が手に入ることから人気のソフトになっています。
一方でNEUTRINOの標準的な使い方の場合、バッチファイルの設定を編集するスキルが必要だったり、ブレス記号を入力するためにMuseScore等のツールを経由する必要性が出てきたりなど、なかなか面倒かつ敷居の高いものになっているという印象でした。
そこで、筆者はNEUTRINOの面倒な作業を自動化するREAPER拡張機能を実装しました（PeloReaper Extension for REAPERに実装されています）。これを使えばNEUTRINOの音声合成を非常に簡単に実行することが出来、合成した音声ファイルも自動的にDAWのトラックに取り込んでくれます。
以下、この拡張機能の導入方法から使い方までを詳細に解説していきます。
各種ツールのインストール
まずは必要なツールを導入しましょう。
NEUTRINOのインストール
NEUTRINO公式のDOWNLOADページへ行き、NEUTRINO-Windows_vX.XXX.zip（最新版のものでOK）をダウンロードします。
ダウンロードしたzipファイルを解凍するとNEUTRINOフォルダが出てきますので、それを任意の場所に置きます（ここでは、C:\local\NEUTRINO に配置したものとして話を進めます）。
↑ こんな感じになるように配置
NEUTRINOのインストールは以上で完了です。
歌声ライブラリを追加したい場合
歌声ライブラリをインストールしたい場合は、DOWNLOADページの [歌声ライブラリ] というボタンをダブルクリックして中に入り、各種キャラクターのzipファイルをダウンロードします。
（※東北きりたんがNEUTRINOのzipに含まれているため、この工程は必須ではありません）
↓
キャラクターのzipファイルを解凍すると、キャラ名のフォルダとREADMEファイルが出てきますので、NEUTRINO/modelフォルダ内にコピーするだけでOKです。
REAPERのインストール
REAPERのDownloadページからインストーラーをダウンロードして、インストールして下さい。ここでは64bit版のREAPERをインストールする必要があります。
PeloReaper Extension for REAPER のインストール
筆者が制作・配布しているPeloReaper ExtensionをReaPack（パッケージマネージャー）でインストールします。この方法については以下のページで解説していますので、そちらを参照してインストールして下さい。
以上で必要なツールのインストールについては完了です。
REAPER上で歌声の音声ファイルを生成する方法
それでは簡単なメロディ＆歌詞を作って、NEUTRINOによる音声合成結果を得るまでの工程を順番にやっていきましょう。
MIDIでメロディを作成
以下の手順でTrackとMIDI Itemを作って、MIDI編集を行います。
- Trackパネルの空いてる場所をダブルクリックして、新しいTrackを作成
- Trackのタイムライン上で、Ctrlキーを押しながらマウス左ボタンのドラッグでMIDI Itemを作成
- 作成したMIDI ItemをダブルクリックしてMIDI Editorを開き、メロディを打ち込む
という感じで、以下のようなメロディを作ったとします。
譜面エディタで歌詞の入力
ここからは歌詞などの入力のため、MIDI Editorの表示をピアノロールから譜面表示に切り替えます。MIDI Editorのメニューから [View > Mode: musical notation] を選択すると表示が切り替わります。
↓ こんな感じに表示が切り替わります
以下の手順で歌詞を入力してみましょう。
- 音符のあたりを右クリックして [Lyrics...] を選択し、歌詞編集（Edit Lyric）ウィンドウを表示
- Edit Lyricウィンドウにテキストボックスがあるので、音符に対応する歌詞を入力
- [Forward] ボタン（もしくはテキストボックスでEnterキー）を押すと、次の音符へ移動
- 2.～3.を繰り返して、音符に歌詞を付けていく
↓ 上記の手順で実際に歌詞を付けている様子
譜面エディタでブレスの入力
音符にアーティキュレーションでアクセント設定を行うことで、その音符の直後にブレスを挿入することが出来ます。
ブレスの設定は本来REAPER上では出来ないのですが、NEUTRINOが音声合成に利用しないアクセント記号でマークを付けておくことで、後工程のPeloReaper ExtensionによるMusicXML処理時に自動的にブレス記号に置換される仕組みになっています。
アクセントは音符を右クリックして [ Articulation > Accent ] でセット出来ます。
↓
譜面エディタでメロディの音符が下段に表示されてしまう場合の対処方法
REAPERのMIDI EditorでA#3以下の音符を入力すると、譜面ビューで音符が下段に表示されてしまうようですが、この場合音声合成がうまくいかなくなります。この場合は、下段に移動してしまった音符を選択して右クリックから [Staff ＞ Top] を選んで、上段に移動して下さい。
↓ 移動後
MusicXMLファイルを保存
歌詞・ブレスの設定が済んだら、MusicXMLファイルを書き出します。MIDI Editorのメニューから [ File > Notation: Export (PDF, MusicXML)... ] を選択して、MusicXMLとして保存します。
※後の工程でこの保存したMusicXMLファイルを指定することになるので、保存場所を覚えておきましょう（ここでは R:\HelloNeutrino.xml に保存したとして話を進めます）。
NEUTRINO自動化機能で音声合成
MusicXMLファイルの準備が出来たら、あとはPeloReaper ExtensionのNEUTRINO自動化機能でWavファイルを生成してDAWに取り込むところまで一気に処理出来ます。以下の手順でやってみましょう。
- REAPERのメインウィンドウのメニューから [Actions > Show action list...] でActionリストを表示
- [[PeloReaper] Neutrino: Execute Neutrino Automation (Using MusicXML)...] というActionを実行し、NEUTRINO Automation Settingsウィンドウを表示
- 下図の画像を参考に、NEUTRINOインストール場所や保存したMusicXMLの場所を指定
- [Singer(Model)]が空欄の場合は右側にある [Refresh] ボタンで歌声ライブラリのキャラクター一覧を最新の状態にしてから、音声合成に利用するキャラクターを選択
- [ OK ]ボタンで音声合成を開始
- ログが表示されるのでしばらく待ちます（NEUTRINOの処理はかなり時間がかかります。実行開始時など時々固まったような感じになることがありますが、我慢して待ちましょう）
- ログに Done. が表示されると、NEUTRINOによるwavファイルの生成が完了し、生成したwavファイルが自動的にREAPERのTrackにインポートされます。
説明の文章としては長くなりましたが、要するに毎回やることはMusicXMLと歌声ライブラリを指定してOKボタンを押すだけという簡単操作です。
ちなみに歌詞を付けた後～音声合成を行っている様子は以下の動画でも確認できますので、参考にしてみて下さい。
NEUTRINO自動化による様々なメリット
PeloReaper ExtensionによるNEUTRINO自動化機能の使い方は以上の通りですが、最後にこの機能を使った場合のメリットについてまとめておきます。
- とにかく簡単、ボタン一発！
一度やり方を覚えてしまえば、毎回やるのはMusicXMLを指定することくらいです。wavに一発変換してTrackに自動的にインポートしてくれますし、まるでREAPERにNEUTRINOの機能が組み込まれたかと錯覚するレベルでシームレスに作業できます（言い過ぎ）。
Neutrino自動化のActionをツールバーなどに登録しておけば、更に作業が楽になります。
- REAPERのみで作業が完結し、他のツールをまたがない
ブレス記号を入れるためだけにMuseScoreを使用していた場合、そういった手間が一切なくなります。また、後から曲を変更したりしたくなった場合などでは、曲を変更した部分について他のツール（MuseScoreなど）のデータも変更に追従して直したりしなければ・・・みたいな手間も一切発生しません。なので、より柔軟なワークフローを構築することが可能になります。 - MIDI Item単位で処理出来るので、調声なども繰り返しトライしやすい
NEUTRINOの音声合成処理時間は、譜面の長さやPCスペックなどによってかなり長くなってしまう場合があります。MIDI Itemを比較的短く区切って音声合成を行えば、処理にかかる時間を短縮でき、何度もトライしたい場合に有利になります。
また、REAPERでは複数のMIDI Itemをglueという機能で連結したりすることも出来ますので、歌詞等の設定を終えたMIDI Itemたちを連結して、曲全体の歌声を一回でまとめて生成するといった事も容易に行えます。
やはり作曲する側の立場であれば、作曲以外のオペレーションは楽に越したことはないですよね。特に今までNeutrinoを使って音声合成を行ってきて作業が面倒だと感じていた人であれば、これらのメリットに魅力を感じて頂けるのではないでしょうか。
また、この機能を実装＆公開してからしばらく経過してしまいましたが（記事書くタイミング遅すぎ）、調声支援ツールなどの補助ツールもどんどん進化していたりするので、そういったものとの連携も今後考えていきたいところではありますね。
兎にも角にも、少しでも歌を作る人の助けとなれば幸いです。
（追記）NEUTRINO自動化機能の更新情報
NEUTRINO自動化機能の更新情報を以下のページにまとめていますので、より新しい機能等について知りたい場合は見てみて下さい。
このブログにコメントするにはログインが必要です。
さんログアウト
この記事には許可ユーザしかコメントができません。