NEUTRINO

PeloReaper Extensionの情報やダウンロードはこちらからどうぞ。
PeloReaper Extension for REAPER is here.
ReaperBanner01_50p

REAPERだけで簡単にNEUTRINO(AIきりたん)を歌わせる方法

今回は最も簡単かつ効率的にREAPERでNEUTRINO(AIきりたん)を歌わせる方法の解説です。MuseScoreも使わず、バッチファイルも記述せず、REAPERのみで完結します。


NEUTRINOとは

NeutrinoImage01

このページに辿り着いたということは恐らくご存じかとは思いますが、NEUTRINOはニューラルネットワークを活用した無料のボーカルシンセサイザーです。東北きりたんなどの様々な音声ライブラリを利用出来、比較的容易に良質な歌声が手に入ることから人気のソフトになっています。

一方でNEUTRINOの標準的な使い方の場合、バッチファイルの設定を編集するスキルが必要だったり、ブレス記号を入力するためにMuseScore等のツールを経由する必要性が出てきたりなど、なかなか面倒かつ敷居の高いものになっているという印象でした。

そこで、筆者はNEUTRINOの面倒な作業を自動化するREAPER拡張機能を実装しました(PeloReaper Extension for REAPERに実装されています)。これを使えばNEUTRINOの音声合成を非常に簡単に実行することが出来、合成した音声ファイルも自動的にDAWのトラックに取り込んでくれます。

以下、この拡張機能の導入方法から使い方までを詳細に解説していきます。


各種ツールのインストール

まずは必要なツールを導入しましょう。

NEUTRINOのインストール

NT_DLPage01

NEUTRINO公式のDOWNLOADページへ行き、NEUTRINO-Windows_vX.XXX.zip(最新版のものでOK)をダウンロードします。

NT_DLPage02

ダウンロードしたzipファイルを解凍するとNEUTRINOフォルダが出てきますので、それを任意の場所に置きます(ここでは、C:\local\NEUTRINO に配置したものとして話を進めます)。

NT_InstallDir01
↑ こんな感じになるように配置

NEUTRINOのインストールは以上で完了です。


歌声ライブラリを追加したい場合

歌声ライブラリをインストールしたい場合は、DOWNLOADページの [歌声ライブラリ] というボタンをダブルクリックして中に入り、各種キャラクターのzipファイルをダウンロードします。
(※東北きりたんがNEUTRINOのzipに含まれているため、この工程は必須ではありません)

NT_DLPage03
 ↓
NT_DLPage04

キャラクターのzipファイルを解凍すると、キャラ名のフォルダとREADMEファイルが出てきますので、NEUTRINO/modelフォルダ内にコピーするだけでOKです。

NT_AddModel01

REAPERのインストール

REAPERのDownloadページからインストーラーをダウンロードして、インストールして下さい。ここでは64bit版のREAPERをインストールする必要があります


PeloReaper Extension for REAPER のインストール

筆者が制作・配布しているPeloReaper ExtensionをReaPack(パッケージマネージャー)でインストールします。この方法については以下のページで解説していますので、そちらを参照してインストールして下さい。

以上で必要なツールのインストールについては完了です。


REAPER上で歌声の音声ファイルを生成する方法

それでは簡単なメロディ&歌詞を作って、NEUTRINOによる音声合成結果を得るまでの工程を順番にやっていきましょう。

MIDIでメロディを作成

以下の手順でTrackとMIDI Itemを作って、MIDI編集を行います。

  1. Trackパネルの空いてる場所をダブルクリックして、新しいTrackを作成
    PRNT_CreateMidi01
  2. Trackのタイムライン上で、Ctrlキーを押しながらマウス左ボタンのドラッグでMIDI Itemを作成
    PRNT_CreateMidi02
  3. 作成したMIDI ItemをダブルクリックしてMIDI Editorを開き、メロディを打ち込む
    PRNT_CreateMidi03

という感じで、以下のようなメロディを作ったとします。

NT_MelodyMIDI01

譜面エディタで歌詞の入力

ここからは歌詞などの入力のため、MIDI Editorの表示をピアノロールから譜面表示に切り替えます。MIDI Editorのメニューから [View > Mode: musical notation] を選択すると表示が切り替わります。

NT_NotationMode01
 ↓ こんな感じに表示が切り替わります
NT_NotationMode02

以下の手順で歌詞を入力してみましょう。

  1. 音符のあたりを右クリックして [Lyrics...] を選択し、歌詞編集(Edit Lyric)ウィンドウを表示
  2. Edit Lyricウィンドウにテキストボックスがあるので、音符に対応する歌詞を入力
  3. [Forward] ボタン(もしくはテキストボックスでEnterキー)を押すと、次の音符へ移動
  4. 2.~3.を繰り返して、音符に歌詞を付けていく

↓ 上記の手順で実際に歌詞を付けている様子

NT_Lyrics01

譜面エディタでブレスの入力

音符にアーティキュレーションでアクセント設定を行うことで、その音符の直後にブレスを挿入することが出来ます。

ブレスの設定は本来REAPER上では出来ないのですが、NEUTRINOが音声合成に利用しないアクセント記号でマークを付けておくことで、後工程のPeloReaper ExtensionによるMusicXML処理時に自動的にブレス記号に置換される仕組みになっています。

アクセントは音符を右クリックして [ Articulation > Accent ] でセット出来ます。

NT_SetBreath01
 ↓
NT_SetBreath02

MusicXMLファイルを保存

歌詞・ブレスの設定が済んだら、MusicXMLファイルを書き出します。MIDI Editorのメニューから [ File > Notation: Export (PDF, MusicXML)... ] を選択して、MusicXMLとして保存します。

NT_SaveMusicXML

※後の工程でこの保存したMusicXMLファイルを指定することになるので、保存場所を覚えておきましょう(ここでは R:\HelloNeutrino.xml に保存したとして話を進めます)。


NEUTRINO自動化機能で音声合成

MusicXMLファイルの準備が出来たら、あとはPeloReaper ExtensionのNEUTRINO自動化機能でWavファイルを生成してDAWに取り込むところまで一気に処理出来ます。以下の手順でやってみましょう。

  1. REAPERのメインウィンドウのメニューから [Actions > Show action list...] でActionリストを表示
  2. [[PeloReaper] Neutrino: Execute Neutrino Automation (Using MusicXML)...] というActionを実行し、NEUTRINO Automation Settingsウィンドウを表示
    NT_PRNeutrinoAction
  3. 下図の画像を参考に、NEUTRINOインストール場所や保存したMusicXMLの場所を指定
    NT_PRNTAutomationSettings01
  4. [Singer(Model)]が空欄の場合は右側にある [Refresh] ボタンで歌声ライブラリのキャラクター一覧を最新の状態にしてから、音声合成に利用するキャラクターを選択
  5. [ OK ]ボタンで音声合成を開始
  6. ログが表示されるのでしばらく待ちます(NEUTRINOの処理はかなり時間がかかります。実行開始時など時々固まったような感じになることがありますが、我慢して待ちましょう)
    NT_NeutrinoLog01
  7. ログに Done. が表示されると、NEUTRINOによるwavファイルの生成が完了し、生成したwavファイルが自動的にREAPERのTrackにインポートされます。
    NT_NeutrinoLog02
    NT_NTSynthResult01

説明の文章としては長くなりましたが、要するに毎回やることはMusicXMLと歌声ライブラリを指定してOKボタンを押すだけという簡単操作です。

ちなみに歌詞を付けた後~音声合成を行っている様子は以下の動画でも確認できますので、参考にしてみて下さい。


NEUTRINO自動化による様々なメリット

PeloReaper ExtensionによるNEUTRINO自動化機能の使い方は以上の通りですが、最後にこの機能を使った場合のメリットについてまとめておきます。

  • とにかく簡単、ボタン一発!
    一度やり方を覚えてしまえば、毎回やるのはMusicXMLを指定することくらいです。wavに一発変換してTrackに自動的にインポートしてくれますし、まるでREAPERにNEUTRINOの機能が組み込まれたかと錯覚するレベルでシームレスに作業できます(言い過ぎ)。
    Neutrino自動化のActionをツールバーなどに登録しておけば、更に作業が楽になります。
    NT_PRNTActionIcon01
  • REAPERのみで作業が完結し、他のツールをまたがない
    ブレス記号を入れるためだけにMuseScoreを使用していた場合、そういった手間が一切なくなります。また、後から曲を変更したりしたくなった場合などでは、曲を変更した部分について他のツール(MuseScoreなど)のデータも変更に追従して直したりしなければ・・・みたいな手間も一切発生しません。なので、より柔軟なワークフローを構築することが可能になります。
  • MIDI Item単位で処理出来るので、調声なども繰り返しトライしやすい
    NEUTRINOの音声合成処理時間は、譜面の長さやPCスペックなどによってかなり長くなってしまう場合があります。MIDI Itemを比較的短く区切って音声合成を行えば、処理にかかる時間を短縮でき、何度もトライしたい場合に有利になります。
    また、REAPERでは複数のMIDI Itemをglueという機能で連結したりすることも出来ますので、歌詞等の設定を終えたMIDI Itemたちを連結して、曲全体の歌声を一回でまとめて生成するといった事も容易に行えます。

やはり作曲する側の立場であれば、作曲以外のオペレーションは楽に越したことはないですよね。特に今までNeutrinoを使って音声合成を行ってきて作業が面倒だと感じていた人であれば、これらのメリットに魅力を感じて頂けるのではないでしょうか。

また、この機能を実装&公開してからしばらく経過してしまいましたが(記事書くタイミング遅すぎ)、調声支援ツールなどの補助ツールもどんどん進化していたりするので、そういったものとの連携も今後考えていきたいところではありますね。

兎にも角にも、少しでも歌を作る人の助けとなれば幸いです。


PeloReaper Extension Plugin for Cockos REAPER

PeloReaper Extension is an extension plugin for Cockos REAPER made by pelori.
( Latest version: ver.2021.03.19, Change Log )
※日本語での説明はこちら

Install (ReaPack)

You can install the PeloReaper Extension via ReaPack on your REAPER.
(ReaPack is a package manager for Cockos REAPER.)
  1. REAPER Main menu: Extensions > ReaPack > Import repositories... 
    https://github.com/pelori/PeloReaper/raw/master/index.xml
  2. REAPER Main menu: Extensions > ReaPack > Browse packages...
  3. Right click "PeloReaper Extension", "PeloReaper MiscData", and Click "Install vXXXX.XX.XX"
  4. Click the "OK" button to complete.
  5. Restart REAPER

Detailed installation instructions are explained in this article.

System Requirements:

  • Windows 10 or newer
  • REAPER v6.19~ (64bit ONLY)
  • Microsoft VisualStudio 2019 Visual C++ Runtime (Required since ver.2021.01.24)
  • .NET Framework 4.7.2 Runtime (Required since ver.2021.01.24)

Users Guide

After install PeloReaper extension, open PDF manual with executing following action.

[PeloReaper] Misc: Open PeloReaper Document (ExtensionGuide: English/Japanese)

Features

GameSynth Integration (New! ver.2021.01.24)

This feature allows you to render GameSynth patches easily and import wave files automatically.

GameSynth01

GameSynth is a game sound production tool made by tsugi-studio. For more details, please refer to the official website.

Features:
  • Render GameSynth patches (which saved in preset patch folders) and import wave files
  • Generate totally random patches and wave files

MediaFolder (New! ver.2020.12.27)

This function was born from the idea of "I want to select media by launching multiple MediaExplorer at the same time and displaying multiple folders."

MediaFolder01
Features:
  • Selects media on MediaExplorer synchronously to the selection of file on MediaFolder
  • Displaying multiple MediaFolder windows, window grouping and actions for controlling them
  • Moving EditCursor, Switch track selection (with focusing MediaFolder window)
  • Selecting files randomly
  • Inserting media (Tempo matched, Grid sized, as new takes)
  • Inserting media randomly from selected files on MediaFolder window
  • Quick-Path that can be assigned to number keys(1-9)
  • Favorite path (Bookmark list)
  • ☆Favorite rank, Tags, Import tags from media file (if available), searching files
  • Window color settings
  • And more...

NEUTRINO Automation

※About NEUTRINO: see official site.

Features:
  • Run NEUTRINO automatically with your MusicXML file and import a result wave file
    (Accent articulations will be converted into Breath articulations automatically)

■MIDI

Features:
  • Send Note ON/OFF on MIDI Editor (as Virtual Keyboard)
    • Send MIDI note ON according to scale setting on MIDI Editor
    • Function switchable actions (MIDI Note ON, Insert Note)
  • MIDI CC manipulation
    • Insert multiple pitch CC events under selected notes range
    • Interpolate selected CC values (Linear, EaseIn, EaseOut, EaseInOut)
    • Interpolate selected CC values (min-max value range)
      InterpolateCCTypes
  • Scale Snapping features
    • Move pitch cursor according to scale (Up/Down, Jump to scale tone directly)
    • Insert interval note from pitch cursor according to scale
    • Insert chromatic scale interval note from pitch cursor (ignoring scale snapping)
  • Note selection
    • Select notes at Pitch/Edit cursor (Horizontal/Vertical selection)
    • Move/Add notes selection (smart-move version)
    • Select bass notes
  • Note velocity manipulation
    • Set note velocity to specific value (1~127 or percentage)
    • Interpolate some notes velocities (Linear, EaseIn, EaseOut, EaseInOut)
    • Set note velocity to random value
      velocities01
  • Other useful features
    • Jump pitch cursor to some notes pitch directly
    • Delete note without selecting
    • Delete notes except for Lowest pitch notes
    • Detect overlapping notes and correct them
    • MIDIEditor: Toggle key snap
      MIDI_KeySnap

■FavSrc

FavSrc is for collaborating with your favorite resource folders. You can export/import some media files such as wave, midi, video, and image files from/to your item.

FavSrc01

Features:
  • Export item media sources to your favorite folders directly
  • Import some media randomly from your favorite folders
  • Use subfolders of each favorite folder for more detailed categorizing
  • Show favorite folder path in MediaExplorer and WindowsExplorer directly
Use-cases examples:
  • When you made a nice sample(kick, sfx, ...) on REAPER, glue it and copy to your favorite folder directly using FavSrc actions.
  • You can import some samples from your favorite sample folders.
  • You can import short MIDI snippets from your favorite MIDI folders.
  • Showing your favorite folder path in MediaExplorer directly, you can choose some media files more quickly (maybe your workflow would be improved a little).

■Misc

Some useful functions are available.

  • Open REAPER project file from wave file which has BWF(bext) info
  • Copy item(take) media source to its local project media folder and refer to it
  • Show item(take) media source path in WindowsExplorer

■Dancer

  QS_20180215-024141
  • You can see some characters dance (sync with REAPER's playing tempo and beats).
  • Image mode (no animation dancer) for BG image (dancer stage, etc...)
  • Some REAPER Actions for changing dance
  • Compatible with Fruity Dance(in FL Studio) sprite sheet! (png+txt)

■FX-Randomizer

  QS_20180215-023913
  • Randomize your Track/Item(take) FX(VST, VSTi, JSFX) parameters
  • Parameter Names Filtering (multiple words can be specified)
  • Change parameter random-range(min, max)
  • Parameter morphing (between captured parameters and randomized parameters)


Videos

FavSrc

FX-Randomizer


Misc






インストール (ReaPack)

PeloReaperはReaPackを使ってREAPERへインストールできます。
ReaPack はREAPER用のパッケージマネージャー)
  1. REAPERのメインメニュー: Extensions > ReaPack > Import repositories...
    でReaPack登録用のウィンドウが出るので下記のURLを記入してOKボタンで登録 
    https://github.com/pelori/PeloReaper/raw/master/index.xml
  2. REAPERのメインメニュー: Extensions > ReaPack > Browse packages...
  3. "PeloReaper Extension", "PeloReaper MiscData"を右クリックし、"Install vXXXX.XX.XX"
  4. ウィンドウ右下の "OK" ボタンをクリックすれば、PeloReaperがインストールされる
  5. REAPERを再起動(これで反映されます)

上記のインストール方法がよく分からない場合はこちらのページをご覧下さい。

動作に必要な環境:

  • Windows 10以降
  • REAPER v6.19~ (64bitのみ対応)
  • Microsoft Visual C++ 2015 ランタイム
  • .NET Framework 4.5.2 ランタイム

ユーザーズガイド

PeloReaper Extensionをインストール後, 以下のActionを実行することでPDFマニュアルを開くことが出来ます。

[PeloReaper] Misc: Open PeloReaper Document (ExtensionGuide: English/Japanese)

主な機能

GameSynth Integration (New! ver.2021.01.24)

GameSynthのPatchをレンダリングして、wavファイルを自動的にインポートする機能です。

GameSynth01

GameSynthはtsugi-studioが開発・販売しているオーディオ制作ソフトです。詳細は公式サイトをご覧下さい。

機能:
  • GameSynthのPatchをレンダリングしてwavファイルをインポート
  • 完全にランダムなPatchを生成してそれをレンダリングしたwavファイルをインポート

MediaFolder (New! ver.2020.12.27)

MediaExplorerを複数同時に立ち上げて複数のフォルダを表示しながらメディアを選びたいなー、という発想から生まれたMedia選択のための機能。

MediaFolder01
機能:
  • MediaFolderで選択した項目をMediaExplorer上で同期選択、自動再生
  • 複数のMediaFolderウィンドウ表示、ウィンドウのグループ化と表示制御Action
  • MediaFolderウィンドウでファイルを選びながらEditCursorや選択Trackの移動
  • ファイルのランダム選択
  • メディア挿入(テンポマッチ、Gridサイズ)
  • 選択したファイルをランダム挿入
  • 1~9の数値に割り当てられるQuickPath
  • パスのBookmarkリスト
  • ☆ランク設定、タグ設定、メディアからのタグ情報吸出し、検索機能
  • ウィンドウカラー設定
  • などなど…

NEUTRINO Automation

※NEUTRINOについては、オフィシャルページをご覧下さい。

機能:
  • NEUTRINOを自動実行してREAPERで作成したMusicXMLファイルを歌声wavファイルに変換
    (REAPERの譜面エディタで入力したアクセント記号をブレスに自動変換する機能付き)

■MIDI

機能:
  • MIDI Editor上でNote ON/OFFを送信(Virtual Keyboard)
    • MIDIエディタのスケール設定に従ってNote ONメッセージを発行
    • 機能のスイッチが可能なアクション(MIDI Note ON, Note挿入)
  • MIDI CC設定
    • 選択ノート全体範囲に複数のピッチCCを自動挿入
    • CCの値を補間設定(Linear, EaseIn, EaseOut, EaseInOut)
    • 選択CC値を補間設定(選択CC値の最小値・最大値を範囲に利用)
      InterpolateCCTypes
  • スケールスナップ
    • ピッチカーソルをスケール設定に従って移動(上下・特定のスケールトーンにジャンプ)
    • スケール設定に従ってピッチカーソルからの音程でノート挿入
    • スケールスナップ(KeySnap)が有効な場合でもそれを無視してクロマチックな音程でノート挿入
  • ノート選択
    • カーソルが重なるNoteの一括選択(水平・垂直方向)
    • ノート選択の移動・選択追加(スマート移動版)
    • 低音のノートだけを選択
  • ノートのベロシティ設定
    • ノートベロシティを特定の値に設定(1~127、パーセント指定)
    • ノートベロシティの補間設定(Linear, EaseIn, EaseOut, EaseInOut)
    • ノートベロシティのランダム設定(範囲指定)
      velocities01
  • その他の有用な機能
    • ピッチカーソルを存在するノートのピッチにジャンプ
    • 選択せずにNoteを削除(カーソル位置)
    • 最低音以外のノートを削除(コードのルート以外を消すのに便利)
    • 同じピッチで重なったノートの検出と修正
    • MIDIEditor: key snapオプション切替
      MIDI_KeySnap

■FavSrc

FavSrcはREAPERとお気に入りフォルダを連携させるものです。wavファイルやMIDI、動画、画像などのファイルをお気に入りフォルダにエクスポートしたり、逆にインポートしたり出来ます。

FavSrc01

機能:
  • Itemのメディアソースを自分のお気に入りフォルダに直接コピーすることが出来ます
  • お気に入りフォルダからランダムにいくつかのメディアをインポート出来ます
  • お気に入りフォルダにサブフォルダを作ってより詳細な分類訳も可能
  • お気に入りフォルダをMediaExplorerやWindowsのExplorerで直接開くことが出来ます
利用方法の例:
  • いい感じのサンプル(ドラムのキックやSEとか)が作れた時などに、FavSrcのアクションを使ってお気に入りフォルダへすぐコピーして集めておく
  • お気に入りフォルダからいくつかのメディアをサクっと読み込むのに便利
  • MIDIファイルも扱えるので、細切れのMIDI(リズムパターンとか)をインポート
  • MediaExplorerなども直接開けるので、曲作りなどでサンプルを選ぶ際も便利(1クリック分工数を減らせたりする場合があるので、多少はワークフローの改善に役立つかも)

■Misc

その他の機能がいくつか使えるようになっています。

  • BWF(bext)情報を持ったWaveファイルからREAPERプロジェクトファイルを開く機能
  • Itemのメディアソース参照をローカルプロジェクトにコピーしたMediaに置き換えるAction
  • メディアソースのパスの場所をWindowsのExplorerで開くAction

■Dancer

  QS_20180215-024141
  • REAPERのテンポやビートに同期してキャラを躍らせることが出来ます
  • 背景(上図のステージなど)用のアニメーションをしないImage mode
  • ダンスを再生途中で変更するためのAction
  • FL StudioのFruity Danceスプライトシートフォーマット互換

■FX-Randomizer

  QS_20180215-023913
  • TrackFX/TakeFX(VST, VSTi, JSFX)のパラメータをランダムに設定可能
  • パラメータ名のフィルタ機能搭載
  • パラメータランダム設定の範囲を設定可能
  • パラメータモーフィング機能
    (キャプチャしたパラメータとランダム化したパラメータとの間をモーフィング)


動画

各機能の動画についてはこちらをご覧ください。




Copyright © 2018 Pelori All rights reserved.


このブログについて
ぺろりがREAPERで遊びたいというだけのブログかもしれない

必ずこちらをお読みください

twitter: @pelori

管理人用
  • ライブドアブログ