Chatterbox TTSとSuperClonica：即時クローンか、学習済みの音声ファイルか

Chatterboxのモデル

Multilingual V3は汎用モデルで、アラビア語、デンマーク語、ドイツ語、ギリシャ語、英語、スペイン語、フィンランド語、フランス語、ヘブライ語、ヒンディー語、イタリア語、日本語、韓国語、マレー語、オランダ語、ノルウェー語、ポーランド語、ポルトガル語、ロシア語、スウェーデン語、スワヒリ語、トルコ語、中国語に対応します。中国語、中南米とスペインのスペイン語、ブラジルとポルトガルのポルトガル語、ヒンディー語には個別の追加学習モデルもあります。

Turboは低遅延の英語音声エージェント向けで、[laugh]や[cough]といったタグを解釈します。NanoはTurboと同じ構造で1.1億パラメータ、Resemble AIによると8コアのCPUでリアルタイムの3倍速で動きます。パッケージはpip install chatterbox-ttsでインストールでき、Python 3.11で検証されています。

短い音声からのクローンか、学習済みの声か

Chatterboxでは、リクエストのたびに参考音声を渡し、モデルがそこから声を組み立て直します。新しい声を得るいちばん速い方法で、結果は渡す音声に左右されます。

SuperClonicaは声を一度だけ学習します。必要なのは、正確な書き起こし付きの5〜10秒のきれいな録音と、自分のPCのNVIDIA GPUです。学習は無料で、JSONも無料でダウンロードできます。GPUがなければ作者に依頼でき、予算は結果を承認するまで確保されます。カタログからデモ付きの既製音声を選ぶこともできます。その後は、どのリクエストも同じファイルから始まります。

CPUでのChatterboxの速度

当社はChatterboxを計測していません。Resemble AIが示すNanoの数字は8コアのCPUでリアルタイムの3倍速で、大きいモデルの例はCUDAで動かしています。

SuperClonicaについては、8コアのデスクトップCPUでリアルタイムの6.4〜9.7倍速と見積もっています。2つの数字は別々のテストと文章によるものなので、目安として受け取り、ご自分のPCで計測してください。

ライセンスと透かし

Chatterboxのコードと重みはMITで、もっとも制限の少ないライセンスの1つです。Chatterboxが生成するファイルにはすべてResemble AIのPerTh透かしが入ります。耳には聞こえず、MP3圧縮や編集にも耐えるよう作られた印で、あとから合成音声だと判別できるようにするためのものです。

Supertonic 3はOpenRAIL-Mで、禁止用途のリストを定めた無償のライセンスです。SuperClonicaで購入した音声は自分のプロジェクト用で、転売はできません。

Chatterboxを選ぶべき場面

固定した音声ファイルが欲しい場合、Supertonic 3の31言語でCPUでも速い読み上げが必要な場合、作者に声を作ってもらいたい場合は、SuperClonicaが向いています。次の用途ではChatterboxのほうが合っています。

• 学習なしで、短い音声からすぐにクローンしたい。
• Supertonic 3が対応していない中国語、ヘブライ語、マレー語、スワヒリ語。
• 笑い声や咳などの非言語タグを使った、表現豊かな英語。
• モデルの重みにMITライセンスが必要なプロジェクト。