今回は最も簡単かつ効率的にREAPERでNEUTRINO(AIきりたん)を歌わせる方法の解説です。MuseScoreも使わず、バッチファイルも記述せず、REAPERのみで完結します。


NEUTRINOとは

NeutrinoImage01

このページに辿り着いたということは恐らくご存じかとは思いますが、NEUTRINOはニューラルネットワークを活用した無料のボーカルシンセサイザーです。東北きりたんなどの様々な音声ライブラリを利用出来、比較的容易に良質な歌声が手に入ることから人気のソフトになっています。

一方でNEUTRINOの標準的な使い方の場合、バッチファイルの設定を編集するスキルが必要だったり、ブレス記号を入力するためにMuseScore等のツールを経由する必要性が出てきたりなど、なかなか面倒かつ敷居の高いものになっているという印象でした。

そこで、筆者はNEUTRINOの面倒な作業を自動化するREAPER拡張機能を実装しました(PeloReaper Extension for REAPERに実装されています)。これを使えばNEUTRINOの音声合成を非常に簡単に実行することが出来、合成した音声ファイルも自動的にDAWのトラックに取り込んでくれます。

以下、この拡張機能の導入方法から使い方までを詳細に解説していきます。


各種ツールのインストール

まずは必要なツールを導入しましょう。

NEUTRINOのインストール

NT_DLPage01

NEUTRINO公式のDOWNLOADページへ行き、NEUTRINO-Windows_vX.XXX.zip(最新版のものでOK)をダウンロードします。

NT_DLPage02

ダウンロードしたzipファイルを解凍するとNEUTRINOフォルダが出てきますので、それを任意の場所に置きます(ここでは、C:\local\NEUTRINO に配置したものとして話を進めます)。

NT_InstallDir01
↑ こんな感じになるように配置

NEUTRINOのインストールは以上で完了です。


歌声ライブラリを追加したい場合

歌声ライブラリをインストールしたい場合は、DOWNLOADページの [歌声ライブラリ] というボタンをダブルクリックして中に入り、各種キャラクターのzipファイルをダウンロードします。
(※東北きりたんがNEUTRINOのzipに含まれているため、この工程は必須ではありません)

NT_DLPage03
 ↓
NT_DLPage04

キャラクターのzipファイルを解凍すると、キャラ名のフォルダとREADMEファイルが出てきますので、NEUTRINO/modelフォルダ内にコピーするだけでOKです。

NT_AddModel01

REAPERのインストール

REAPERのDownloadページからインストーラーをダウンロードして、インストールして下さい。ここでは64bit版のREAPERをインストールする必要があります


PeloReaper Extension for REAPER のインストール

筆者が制作・配布しているPeloReaper ExtensionをReaPack(パッケージマネージャー)でインストールします。この方法については以下のページで解説していますので、そちらを参照してインストールして下さい。

以上で必要なツールのインストールについては完了です。


REAPER上で歌声の音声ファイルを生成する方法

それでは簡単なメロディ&歌詞を作って、NEUTRINOによる音声合成結果を得るまでの工程を順番にやっていきましょう。

MIDIでメロディを作成

以下の手順でTrackとMIDI Itemを作って、MIDI編集を行います。

  1. Trackパネルの空いてる場所をダブルクリックして、新しいTrackを作成
    PRNT_CreateMidi01
  2. Trackのタイムライン上で、Ctrlキーを押しながらマウス左ボタンのドラッグでMIDI Itemを作成
    PRNT_CreateMidi02
  3. 作成したMIDI ItemをダブルクリックしてMIDI Editorを開き、メロディを打ち込む
    PRNT_CreateMidi03

という感じで、以下のようなメロディを作ったとします。

NT_MelodyMIDI01

譜面エディタで歌詞の入力

ここからは歌詞などの入力のため、MIDI Editorの表示をピアノロールから譜面表示に切り替えます。MIDI Editorのメニューから [View > Mode: musical notation] を選択すると表示が切り替わります。

NT_NotationMode01
 ↓ こんな感じに表示が切り替わります
NT_NotationMode02

以下の手順で歌詞を入力してみましょう。

  1. 音符のあたりを右クリックして [Lyrics...] を選択し、歌詞編集(Edit Lyric)ウィンドウを表示
  2. Edit Lyricウィンドウにテキストボックスがあるので、音符に対応する歌詞を入力
  3. [Forward] ボタン(もしくはテキストボックスでEnterキー)を押すと、次の音符へ移動
  4. 2.~3.を繰り返して、音符に歌詞を付けていく

↓ 上記の手順で実際に歌詞を付けている様子

NT_Lyrics01

譜面エディタでブレスの入力

音符にアーティキュレーションでアクセント設定を行うことで、その音符の直後にブレスを挿入することが出来ます。

ブレスの設定は本来REAPER上では出来ないのですが、NEUTRINOが音声合成に利用しないアクセント記号でマークを付けておくことで、後工程のPeloReaper ExtensionによるMusicXML処理時に自動的にブレス記号に置換される仕組みになっています。

アクセントは音符を右クリックして [ Articulation > Accent ] でセット出来ます。

NT_SetBreath01
 ↓
NT_SetBreath02

MusicXMLファイルを保存

歌詞・ブレスの設定が済んだら、MusicXMLファイルを書き出します。MIDI Editorのメニューから [ File > Notation: Export (PDF, MusicXML)... ] を選択して、MusicXMLとして保存します。

NT_SaveMusicXML

※後の工程でこの保存したMusicXMLファイルを指定することになるので、保存場所を覚えておきましょう(ここでは R:\HelloNeutrino.xml に保存したとして話を進めます)。


NEUTRINO自動化機能で音声合成

MusicXMLファイルの準備が出来たら、あとはPeloReaper ExtensionのNEUTRINO自動化機能でWavファイルを生成してDAWに取り込むところまで一気に処理出来ます。以下の手順でやってみましょう。

  1. REAPERのメインウィンドウのメニューから [Actions > Show action list...] でActionリストを表示
  2. [[PeloReaper] Neutrino: Execute Neutrino Automation (Using MusicXML)...] というActionを実行し、NEUTRINO Automation Settingsウィンドウを表示
    NT_PRNeutrinoAction
  3. 下図の画像を参考に、NEUTRINOインストール場所や保存したMusicXMLの場所を指定
    NT_PRNTAutomationSettings01
  4. [Singer(Model)]が空欄の場合は右側にある [Refresh] ボタンで歌声ライブラリのキャラクター一覧を最新の状態にしてから、音声合成に利用するキャラクターを選択
  5. [ OK ]ボタンで音声合成を開始
  6. ログが表示されるのでしばらく待ちます(NEUTRINOの処理はかなり時間がかかります。実行開始時など時々固まったような感じになることがありますが、我慢して待ちましょう)
    NT_NeutrinoLog01
  7. ログに Done. が表示されると、NEUTRINOによるwavファイルの生成が完了し、生成したwavファイルが自動的にREAPERのTrackにインポートされます。
    NT_NeutrinoLog02
    NT_NTSynthResult01

説明の文章としては長くなりましたが、要するに毎回やることはMusicXMLと歌声ライブラリを指定してOKボタンを押すだけという簡単操作です。

ちなみに歌詞を付けた後~音声合成を行っている様子は以下の動画でも確認できますので、参考にしてみて下さい。


NEUTRINO自動化による様々なメリット

PeloReaper ExtensionによるNEUTRINO自動化機能の使い方は以上の通りですが、最後にこの機能を使った場合のメリットについてまとめておきます。

  • とにかく簡単、ボタン一発!
    一度やり方を覚えてしまえば、毎回やるのはMusicXMLを指定することくらいです。wavに一発変換してTrackに自動的にインポートしてくれますし、まるでREAPERにNEUTRINOの機能が組み込まれたかと錯覚するレベルでシームレスに作業できます(言い過ぎ)。
    Neutrino自動化のActionをツールバーなどに登録しておけば、更に作業が楽になります。
    NT_PRNTActionIcon01
  • REAPERのみで作業が完結し、他のツールをまたがない
    ブレス記号を入れるためだけにMuseScoreを使用していた場合、そういった手間が一切なくなります。また、後から曲を変更したりしたくなった場合などでは、曲を変更した部分について他のツール(MuseScoreなど)のデータも変更に追従して直したりしなければ・・・みたいな手間も一切発生しません。なので、より柔軟なワークフローを構築することが可能になります。
  • MIDI Item単位で処理出来るので、調声なども繰り返しトライしやすい
    NEUTRINOの音声合成処理時間は、譜面の長さやPCスペックなどによってかなり長くなってしまう場合があります。MIDI Itemを比較的短く区切って音声合成を行えば、処理にかかる時間を短縮でき、何度もトライしたい場合に有利になります。
    また、REAPERでは複数のMIDI Itemをglueという機能で連結したりすることも出来ますので、歌詞等の設定を終えたMIDI Itemたちを連結して、曲全体の歌声を一回でまとめて生成するといった事も容易に行えます。

やはり作曲する側の立場であれば、作曲以外のオペレーションは楽に越したことはないですよね。特に今までNeutrinoを使って音声合成を行ってきて作業が面倒だと感じていた人であれば、これらのメリットに魅力を感じて頂けるのではないでしょうか。

また、この機能を実装&公開してからしばらく経過してしまいましたが(記事書くタイミング遅すぎ)、調声支援ツールなどの補助ツールもどんどん進化していたりするので、そういったものとの連携も今後考えていきたいところではありますね。

兎にも角にも、少しでも歌を作る人の助けとなれば幸いです。