PeloReaper

PeloReaper Extensionの情報やダウンロードはこちらからどうぞ。
PeloReaper Extension for REAPER is here.
ReaperBanner01_w250 AudioSoftBanner01_w250

VOICEVOXと連携してREAPER上で直接音声合成する方法

初稿:2022/11/17 18:10 - 最終更新:2022/11/26

キャラクターボイス系の音声合成ソフトは沢山ありますが、近年商用利用も簡単に可能なものが増えてきました。その中でフリーで誰でも使えるVOICEVOXというソフトがあるのですが、今回PeloReaper ExtensionにVOICEVOX Integrationを実装して利用しやすくしてみました。以下、この機能の使い方を紹介していきます。


VOICEVOXとは

VOICEVOX01

VOICEVOXは「無料で使える中品質なテキスト読み上げソフトウェア」としてフリーで配布されているソフトで、テキストから音声合成(Text to Speech、TTS)を行うことが可能です。

音声合成を行えるキャラクターが多数含まれているため、最初からいろいろなキャラクターのかけあいを作ったりすることが出来ます(ボイボ寮といった世界観設定もある)。キャラクター毎に個別に利用可能な範囲が定められていたりするため、それぞれの規約を熟読して使うかどうかを判断しましょう。


PeloReaper ExtensionのVOICEVOX Integrationについて

VOICEVOXで特にありがたいのは、内部の音声合成エンジンの部分(VOICEVOX ENGINE、VOICEVOX CORE)もそれぞれ分けて配布されており、APIが公開されている点です。これによってVOICEVOXを別のソフトに組み込むことが比較的容易になっています。

筆者はこれらのAPIを用いて、PeloReaper ExtensionにVOICEVOXを簡単に利用するための機能を実装しました。具体的には、REAPERからVOICEVOX ENGINEへ通信を行って音声合成をう機能が追加されています。


環境構築方法

PeloReaper Extension for REAPERをインストール

以下の記事を参考に、PeloReaper Extension for REAPERを事前にインストールしておいて下さい。


VOICEVOXのインストール

次にVOICEVOXを本家のページからダウンロードしてインストールします。zip版であれば任意のフォルダに解凍するだけです。

VOICEVOX_DL01

解凍したらVOICEVOX.exeを実行して、VOICEVOX Editorを起動します。起動したらVOICEVOXが正しく動作するかどうか確認して下さい(何かセリフを入力して言葉を音声で再生できればOK)。

VOICEVOX_Test01

これで準備完了です。VOICEVOX Editorは音声合成用のサーバー(VOICEVOIX ENGINE)として利用される(REAPER側からこれに通信して使用される)ため、Editorをこのまま起動しっぱなしにしておいて下さい

要するにVOICEVOX Editorを起動しておくだけなので、簡単ですね。

※ちなみにインストーラー版だとQ&Aのページにあるように、以下の場所にインストールされるようです。

C:\Users\(ユーザー名)\AppData\Local\Programs\VOICEVOX

REAPER上で音声合成を行う

REAPERで以下のActionを実行します。

[PeloReaper] VOICEVOX: Generate dialogue with VOICEVOX ENGINE TTS...

キャラ・スタイルの選択とテキスト入力が出来ますので、それぞれ入力して [Generate] ボタンを押せば、音声合成が行われて結果のwavファイルがREAPERのタイムライン(Arrange View)にインポートされます。これだけなので、簡単ですね。

tts01
(gifのプレビューが壊れていますが、クリックすると正常に見られます)

ちなみに上記ダイアログのテキストボックスは複数行入力できるようになっており、行を分けるとそれぞれが1つのwavファイルとして生成されるようになっています。


CSVファイルを使って沢山のセリフを一括音声合成

セリフが沢山あるという場合、一括で音声合成を実行できると便利なので、CSVファイルでの一括音声合成機能も実装しました。行ごとにキャラクターや配置時刻も指定可能です。

CSVファイルを用意して音声合成を実行

CSVファイルの仕様はPeloReaperのマニュアルPDFに記載されているのでそちらに譲るとして、CSVの行ごとに以下のよ情報を用意します。

  • SpeakerID
    キャラクター(話者)の名前と発声スタイルを表すID(SpeakerIDの書き方は後述
  • セリフテキスト
    音声合成されるセリフのテキスト
  • 配置時刻
    秒もしくはタイムコード(HH:MM:SS:FF)で指定
VOICEVOX_CSV

Excelだとこんな感じに記入してから、CSVファイルとしてファイルに保存します(Excelメニューの「ファイル>名前を付けて保存>CSV(コンマ区切り)で保存)。

VOICEVOX_CSV_Text
↑ 書き出したCSVファイル

1行ごとに必ず3つのフィールドを必要とするため、先頭行にヘッダを書いています。SpeakerIDが何らかのキャラ・スタイルに該当しない場合、その行は無視されるため、このヘッダ行は無視されることになります。

CSVファイルを用意出来たら、以下のActionでそのCSVファイルを選択すれば、一括で音声合成が行われてwavファイルが自動的にREAPERにインポートされます。

[PeloReaper] VOICEVOX: Generate dialogue with VOICEVOX ENGINE TTS (CVS: ShiftJIS)...

CSVTest01
↑ 実行例(gifのプレビューが壊れていますが、クリックすると正常に見られます)

SpeakerIDについて

SpeakerIDは以下のいずれかの方法で知ることができます。

  • 「話者名:スタイル名」(コロンは半角英数)
    という形式でSpeakerIDになります(下記Speaker情報CSVを見ると分かります)。
  • 以下のActionを実行してCSVにSpeaker情報一覧を保存し、そのCSVファイルを見る
    [PeloReaper] VOICEVOX: Save VOICEVOX speaker infos to csv file...
    下図の「SpeakerID(Text)」「SpeakerID(Num)」の列のどちらの値も使用できます。
    SpeakerIDCSV03

セリフTrackを用いたセリフ作成と音声合成の効率化

セリフTrackとEmpty Itemを用いることで、台本作成やセリフの配置作業を効率的に行う仕組みを実装しましたので、それについて説明します。

Empty Itemについて

REAPERのItemにはメモ書き(Item Notes)を設定出来ますが、Empty Itemを用いるとItem上にそのメモ書きを表示してくれるという便利な機能があります。セリフをEmpty Itemで配置して、それらを一括で音声合成することも可能です。

ちなみにEmpty Itemは何かTrackを選択し(配置先)、時間選択範囲を指定して、

Insert empty item

というActionを実行すれば作成できます。このEmpty Itemをダブルクリックするとメモ書き(Item Notes)を記入するダイアログが出ますので、そこでセリフを設定します。

EmptyItem01

セリフTrackの作成

Empty Itemを配置したTrackの名前にSpeakerIDを記載することで、このTrackがセリフTrackになります(後でこの名前は音声合成などに用いられます)。

↓ セリフTrackを作成した例
DialogueTracks01


選択したセリフ入りEmpty Itemから音声合成

セリフTrack上にある、セリフを記入したEmpty Itemたちを選択状態にして、以下のActionを実行すれば即座に音声合成を行うことが出来ます。

[PeloReaper] VOICEVOX: Generate dialogue from selected item notes with VOICEVOX ENGINE TTS

↓ クリックで拡大
TTSFromItems

セリフTrackのCSVエクスポート・インポート

セリフTrackを選択して以下のActionを実行することで、選択したセリフTrackの情報をCSVファイルに書き出すことが出来ます。

[PeloReaper] VOICEVOX: Save selected dialogue tracks to csv file...

逆に以下のActionでCSVをインポートすることも可能です。

[PeloReaper] VOICEVOX: Create dialogue empty items from csv file (CSV: UTF8/ShiftJIS)...

これらのActionを使うことでセリフTrackの情報を読み書き出来るので、セリフの台本をREAPER上で作ったり、CSVをExcelで編集することで作ったりと、方法を自由に選択出来るようになっています。


VOICEVOX Editorが読み書きできるテキストファイルを扱う

VOICEVOX Editorはテキストファイル(中身はCSVファイル)を読み込んで、話者・スタイル・セリフを一括インポートする機能(逆に書き出す機能も)を搭載しています。

PeloReaperではセリフTrackをこの形式でエクスポート・インポートするための、以下のActionも実装しました(使い方はセリフTrackのCSVエクスポート・インポートと同様)。

[PeloReaper] VOICEVOX: Save selected dialogue tracks to csv file (for VOICEVOX Editor)... [PeloReaper] VOICEVOX: Create dialogue empty items from csv file (CSV: UTF8/ShiftJIS, VOICEVOX Editor Text)...

VOICEVOX Editor側で音声を細かく調整したいという場合等に使うと便利です。


別のPCで実行しているVOICEVOX ENGINEをTTSサーバとして使用

これは上級編の内容になるのでここでは割愛しますが、PeloReaperのマニュアルに解説がありますので、興味のある方はそれを見てトライしてみてください。

PeloRaperのマニュアルは以下のActionで表示することができます。

[PeloReaper] Misc: Open PeloReaper document (ExtensionGuide: Japanese/English)

音声の調整について

音声の調整についてはREAPER上で出来ませんが、今のところ以下のような使い方を想定しています。

  1. 音声合成を実際にやってみて、読み方がそもそもおかしいとかイントネーションがおかしいといった場合は、VOICEVOX Editorのユーザー辞書登録(設定>読み方&アクセント辞書)で調整する(大抵の他のTTSソフトでもこの辞書育成が肝になっているので、慣れている人にとってはお馴染みかと思います)。
  2. どうしても細かい発音調整が必要なセリフに関してのみ、VOICEVOX Editorでセリフ入力&調整してwavを書き出し、手動でREAPERにインポートする。

そのうちもうちょっと良いワークフローが思いつくかもしれませんが、現状での筆者の利用方法想定は上記のような感じです。


最後に

VOICEVOXについては自分もまだ触り始めたばかりですが、非常に便利で発音も思った以上に良くて今後重宝しそうです。キャラクターも豊富ですし(ただしライセンス内容把握は必須)、某動画サイトなどで解説動画作ったりしている人には強力な味方となりそうです。

REAPER上でサクっとVOICEVOXを呼び出せたら作業が楽になるかなー、と今回の機能を実装してみましたが、興味のある人に使ってもらえたら嬉しいです。


REAPERでのNEUTRINO自動化ツール更新情報

Neutrino_Logo01

このページはPeloReaper ExtensionのNEUTRINO自動化機能について、Extensionの更新で強化・修正された箇所を紹介するページです。

NEUTRINO本体については、下記の本家サイトをご覧下さい。


PeloReaper ExtensionのNEUTRINO自動化機能についてはこちらをご覧下さい。

ver.2022.04.29で追加・修正された機能

NEUTRINO自動化機能を実行するダイアログで設定可能なパラメータを増やしました。NEUTRINO ver.1.0.0で指定可能なパラメータを(たぶん)全て指定出来ます。

NeutrinoAutoNew01

主なパラメータは以下の通りですが、それぞれの詳細はNEUTRINO公式ブログを参照して下さい。

  • NSF版(高音質・重い)とWorld版(通常音質・軽い)の切替(Use NSFで切替)
  • Style Shiftに対応(いわゆる「キー変更+ピッチ変更ガチャ」と呼ばれるテクニック)
  • Worldのピッチ・フォルマントのシフト・スムージング、ブレス強化度合い指定

Neutrino公式ブログはこちら

あと、細かいところで言えば、[OK] ボタンが [Run NEUTRINO] ボタンに変わったり、NEUTRINO v1.0.0以降推奨になったりしました(v1.0.0以降じゃないと使えないパラメータがあるため)。

その他、NEUTRINO自動化機能実行中にログにエラーが出て、うまく波形がインポートされないといった不具合も発見したので、そういった細かい部分の修正も行いました。


PeloReaper Extension for REAPERのインストール方法

PeloReaper_Dancers

PeloReaper Extension for REAPERは筆者が制作・配布しているREAPER用の拡張機能です。PeloReaper Extensionに関しての詳細は以下のページをご覧下さい。

インストール方法については上記のページにも記載していますが、ReaPackなどについてある程度知識のある人向けな説明しかなかったので、より初心者向けのページを用意しました。

※上記ページの動作環境に記載の通り、Windows版のみでMac版はありません


ReaPackについて

ReaPackはREAPER用のパッケージマネージャーです。PeloReaper ExtensionはReaPack経由でインストール出来るようになっているため、まずはReaPackの使い方を知っておく必要があります。

ReaPackの使い方については以下のページにまとめておきましたので、そちらをご覧下さい。

上記のページを参考にして、ReaPackをインストールしましょう(説明にはいろいろ書いてありますが、やることはDLLをダウンロードして適切な場所に置くだけです)。


PeloReaper Extensionのインストール方法

ReaPackがインストール済みであれば、あとは以下の手順でPeloReaper Extensionのパッケージをインストール出来ます。

  1. REAPERのメニューから [Extensions > ReaPack > Import repositories...] を選択します。
    PRInst_ImportRepo
  2. 表示されたウィンドウのテキストボックスにPeloReaperのレポジトリURL(Index URL)を記入して、[OK]ボタンをクリックします。
    https://github.com/pelori/PeloReaper/raw/master/index.xml
    PRInst_ImportRepo2
  3. REAPERのメニューから [Extensions > ReaPack > Browse packages...] を選択して、パッケージ一覧を表示します。
    PRInst_BrowsePkg01
  4. 表示されたウィンドウ上部のFilterに [ pelo ] くらいまで入力すると、パッケージが絞り込まれてPeloReaper関連のパッケージが表示されます。
    PRInst_BrowsePkg02
  5. 以下の項目を選択し、右クリックのメニューから [ Install vXXXX.XX.XX ] を選択します(複数いっぺんに選択している場合は [Install/update selection])。するとパッケージ名左側に [ I ] が表示され、インストール予定のものとしてマークされます。
    • PeloReaper Extension
    • PeloReaper MiscData
    PRInst_InstallPkg01
    ↓ インストール予定としてマークされる
    PRInst_InstallPkg02
  6. ウィンドウ右下の [OK] ボタンをクリックすると、マークされたパッケージが実際にインストールされます。
  7. PeloReaper Extensionはインストール後にREAPERの再起動が必要なので、一旦REAPERを終了してからもう一度起動します。
  8. REAPERのメニューから [Actions > Show action list...] でActionリストウィンドウを表示し、上部のFilterに [PeloReaper] と打ち込むと、PeloReaper Extensionが提供するActionが表示されます。Actionが表示されていれば、インストール成功です。
    PRInst_PeloReaperActions2

必要なランタイムのインストール

PeloReaper Extensionには以下のランタイムが必要になりますので、インストールして下さい(必要なランタイムがインストールされていないと、各種ウィンドウが表示されなかったりといった不具合に直結します)。

※注意点
既にこれらかもしくはより新しいバージョンのものがインストールされている場合に、インストールが失敗する場合がありますが、その場合はインストール失敗しても恐らく問題ないと思われます。


PeloReaper Extensionのマニュアル

PeloReaper ExtensionのマニュアルはPDFファイルが一緒にインストールされます。REAPER上で以下のActionを実行することで、PDFファイルを開くことが出来ます。

[PeloReaper] Misc: Open PeloReaper Document (ExtensionGuide: Japanese)
[PeloReaper] Misc: Open PeloReaper Document (ExtensionGuide: English)

PDFが開けない場合はAdobe Acrobat Reader等PDFが読めるソフトを導入してみて下さい。


このブログについて
ぺろりがREAPERで遊びたいというだけのブログかもしれない

必ずこちらをお読みください

twitter: @pelori

管理人用
  • ライブドアブログ