Fish Audio・Fish SpeechとSuperClonicaの比較
Fish Audioはオープンな音声合成モデルの中でも特に表現力の高いモデルを作っており、当社の比較でもS2 Proに最高の品質評価をつけています。一方で、GPU向けの大きなモデルでもあります。SuperClonicaはその逆で、普通のCPUでも速く、オフラインで動く小さなSupertonic 3の音声ファイルです。
GPUがない、あるいはアプリに音声を組み込みたいという理由でFish AudioやFish Speechの代替を探しているなら、この先を読んでください。表現力を最優先したい場合や中国語が必要な場合は、Fish Audioのほうが合っているはずです。
Fish Audio、Fish Speech、S2 Proの関係
Fish AudioはオープンモデルをGitHubのfish-speechリポジトリで公開しており、初期のモデルはその名前で呼ばれていました。たとえばFish Speech 1.5は13言語に対応し、ライセンスはCC-BY-NC-SA-4.0です。新しいモデルはFish Audio S2、S2 Proという名前になっています。
比較表に載せているS2 Proは、デュアル自己回帰(Dual-AR)構成です。40億パラメータのモデルがメインのコードブックを予測し、4億パラメータのモデルが残り9つを補います。モデルカードによると80以上の言語に対応し、[whisper in small voice]や[pitch up]のような自由記述のタグをテキストに入れられます。リポジトリには、さらに新しく大きなFish Audio Drama 3も掲載されていますが、当社の表ではまだ扱っていません。
Fish Audio S2 ProとSuperClonica:CPUでの速度
8コアのデスクトップCPUを想定した当社の見積もりでは、S2 Proは音声1秒あたり4〜10秒の計算が必要です。10秒のセリフなら40〜100秒かかります。SuperClonicaなら約1.0〜1.6秒です。
これは当社の表で最も粗い数字です。公開されたCPUベンチマークがないため、GGUFクライアントのs2.cppとモデル構造から、実効メモリ帯域30〜50GB/sを仮定して算出しました。GPUなら話は別で、Fish AudioはNVIDIA H200 1枚でRTF 0.195、最初の音声まで約100msと公表しています。
Fish Audioが優れている点
表現力のある音声では、Fish Audio S2 Proに明確な強みがあります。
- 品質:当社の表で5点満点中5点。SuperClonicaは4.5点です。
- 言語:中国語を含む80以上。Supertonic 3は31言語で、中国語はまだ非対応です。
- 学習なしのボイスクローン:fish-speechリポジトリによると、10〜30秒の参考音声で声質を再現できます。
- 感情のコントロール:ささやき、笑い、強調、声の高さをテキスト内のタグで指定できます。
ライセンスと商用利用
S2 Proの重みはFish Audio Research Licenseで公開されています。研究と非商用の利用は無料ですが、商用利用にはFish Audioとの別ライセンスが必要です。リポジトリのコードとその他の重みはFish Audio Community Licenseです。
Supertonic 3はOpenRAIL-Mで公開されています。非商用条項ではなく、禁止用途のリストを定めた無償のライセンスで、本人の同意なく他人になりすますことも禁止用途の一つです。SuperClonicaで購入した音声は自分のプロジェクト用で、転売はできません。
Fish AudioとSuperClonicaの選び方
CPUでの速度と声色の安定性ではSuperClonicaが上で、どちらも5点満点中5点、S2 Proは1点と4点です。ノートPCで何時間もナレーションを作る場合や、プレイヤーのPCで音声を生成する場合には、品質の最後の半星よりこちらが効いてきます。
- Fish Audio S2 Pro:高性能なGPUがあり、中国語やより珍しい言語、短い音声からの即時クローン、感情タグが必要な場合。
- SuperClonica:CPUで、オフラインで、予測できる速度で動かしたい場合や、配布するアプリに組み込む場合。