モデルの比較

F5-TTSとSuperClonica：ゼロショットのクローンか、CPUでの高速読み上げか

F5-TTSは、フローマッチングとDiffusion Transformerにもとづくオープンな音声合成モデルです。2024年10月に初公開され、2025年3月に改良版のv1ベースモデルが出ました。ゼロショットで声をクローンでき、短い参考音声とそのテキストを渡せば、その声で話します。SuperClonicaの仕組みは違い、声を一度Supertonic 3のファイルに学習させ、あとは普通のCPUで速く動かします。

CPUで使える、あるいは商用で使えるF5-TTSの代替を探しているなら、何が変わるかを以下にまとめました。

CPU向けの音声を試す エンジンをインストール

F5-TTSの仕組み

F5-TTSはConvNeXt V2を組み合わせたDiffusion Transformerで、Emiliaデータセットの公開多言語データ約10万時間で学習されています。公式のベースモデルは中国語・英語版です。参考音声と書き起こしを渡して使い、書き起こしを空にすると音声認識モデルが補いますが、そのぶんGPUメモリを余計に使います。

コミュニティによって他の言語向けに追加学習されたモデルもあり、リポジトリからリンクされています。当社の表では、公式ベースモデルの2言語として数えています。

CPUとGPUでのF5-TTSの速度

GPUではF5-TTSは高速です。リポジトリによると、NVIDIA L20 1枚・16ステップで、TensorRT-LLMならRTF 0.0402、PyTorchなら0.1467です。

CPUでは当社の表で最も遅いモデルです。ZipVoiceの論文では、Xeon Platinum 8457Cの1スレッド・32ステップでRTF 37.284が計測されています。最新の16スレッドのデスクトップCPUで実効2.5〜7.5倍速くなると仮定すると、リアルタイムより5〜15倍遅い計算になり、10秒の文に50〜150秒かかります。SuperClonicaなら約1.0〜1.6秒です。

品質と声色の安定性

当社の評価では、F5-TTSは品質が5点満点中3点、声色の安定性も3点で、SuperClonicaは4.5点と5点です。ゼロショットのクローンはリクエストのたびに参考音声から声を組み立て直すため、結果は渡す音声に左右されます。学習済みの音声ファイルなら、毎回同じ声色から始められます。

ライセンス：商用利用の前に確認を

F5-TTSのコードはMITライセンスです。一方、学習済みモデルは学習データEmiliaの都合でCC-BY-NCライセンスとなっており、標準の条件では公式の重みを商用利用できません。

Supertonic 3はOpenRAIL-Mで、非商用条項ではなく禁止用途のリストを定めた無償のライセンスです。SuperClonicaで購入した音声は自分のプロジェクト用で、転売はできません。

F5-TTSを選ぶべき場面

Supertonic 3の31言語の製品、GPUのないPC、速度の差が何時間にもなる長文なら、SuperClonicaが向いています。次のような場合はF5-TTSが合っています。

  • ゼロショットのクローンを使った研究や非商用の実験。
  • GPUでの中国語・英語の音声、または自分の言語向けのコミュニティモデル。
  • 学習の手間なしに、いますぐ短い音声からクローンを作りたい。