Kokoro TTSとSuperClonica：ローカル音声合成の小型モデル2つ

Kokoro-82Mとは

KokoroはStyleTTS 2とISTFTNetデコーダーをベースに、パブリックドメインや寛容なライセンスの音声、合成音声など数百時間で学習されています。重みはApache 2.0で、作者は商用製品での利用をはっきり歓迎しています。

インストールはpip install kokoroで、ほかにespeak-ngが必要です。英語の辞書にない単語や一部の言語の読みを担当し、日本語にはmisaki[ja]の追加インストールが要ります。出力は24 kHzです。別ライブラリのkokoro-jsを使えば、Transformers.jsでブラウザ内だけでモデルを動かせます。

KokoroとSupertonic 3の対応言語

v1.0の54音声の内訳は、アメリカ英語20、イギリス英語8、中国語（普通話）8、日本語5、ヒンディー語4、スペイン語3、ブラジルポルトガル語3、イタリア語2、フランス語1です。音声リスト自体が、音素変換の弱さと学習データの少なさから英語以外の対応は手薄な場合があると注意しており、日本語音声の評価はC+からC-です。

Supertonic 3は31言語に対応し、日本語のほか、Kokoroにないロシア語・ドイツ語・韓国語・ポーランド語・ウクライナ語・トルコ語も話せます。Kokoroの言語のうち中国語以外はすべてカバーしていますが、中国語が必要ならKokoroには音声があり、Supertonic 3にはまだありません。

プリセット音声か、自分だけの音声か

Kokoroには決まったプリセット音声が付属します。モデルカードによるとエンコーダーは公開されておらず、公式パッケージには録音から新しい音声を作る機能がありません。

SuperClonicaはオリジナル音声が中心です。カタログには個人の作者によるSupertonic 3の音声が並び、どれもデモ付きで価格は米ドル、無料のものもあります。合うものがなければ、参考録音をもとに音声を依頼できます。予算は結果を承認するまで残高に確保されます。自分のNVIDIA GPUで、5〜10秒のきれいな録音から無料で学習することもできます。どちらの場合も、オフラインで動くJSONファイル1つが手に入ります。

普通のCPUでの速度

Kokoroは計測していないので、ここでは速度の数字を出しません。8200万パラメータとSupertonic 3より少し小さいので、ご自分のハードウェアと文章で試してください。

SuperClonicaについては、8コアのデスクトップCPUでリアルタイムの6.4〜9.7倍速と見積もっています。10秒の文なら約1.0〜1.6秒です。エンジンはCPUでSupertonic 3の標準クライアントより平均61%速く、長い文章を短く区切って読み上げるので単語の繰り返しや途切れが起きにくく、同じ音声ファイルを変換なしで読み込めます。

Kokoroを選ぶべき場面

Kokoroにない言語、より多くの日本語音声、プリセット以外の声、自分の録音から作った声が必要なら、SuperClonicaが向いています。次のような場合はKokoroのほうが合っています。

• 英語の読み上げ用に、無料の小さなモデルが欲しく、プリセット音声で足りる。
• Supertonic 3がまだ対応していない中国語が必要。
• 条件のもっとも緩いライセンスがよい。Apache 2.0にはOpenRAIL-Mのような禁止用途のリストがない。
• ブラウザで音声を生成するアプリで、kokoro-jsがすでに技術スタックに合っている。