Chatterbox TTS 与 SuperClonica:即时克隆还是训练好的音色文件
Chatterbox 是 Resemble AI 推出的一系列开源文字转语音模型,采用 MIT 许可证。每个模型都能用一小段参考音频零样本克隆声音。这个系列包括:5 亿参数、支持 23 种语言(含中文)的 Multilingual V3,3.5 亿参数的英语 Turbo,面向 CPU 的 1.1 亿参数英语 Nano,以及若干单语言微调模型,其中有专门的普通话模型。
SuperClonica 走的是相反的路:声音一次性训练成 Supertonic 3 文件,之后在普通 CPU 上快速运行,但 Supertonic 3 目前不支持中文。Chatterbox 不在我们的对比表中,我们不给出自己的速度或音质评分。
Chatterbox 的各个模型
Multilingual V3 是通用模型,支持阿拉伯语、丹麦语、德语、希腊语、英语、西班牙语、芬兰语、法语、希伯来语、印地语、意大利语、日语、韩语、马来语、荷兰语、挪威语、波兰语、葡萄牙语、俄语、瑞典语、斯瓦希里语、土耳其语和中文。另有单独微调的模型,覆盖普通话、拉美和西班牙西班牙语、巴西和葡萄牙葡萄牙语以及印地语。
Turbo 面向低延迟的英语语音助手,支持 [laugh]、[cough] 等标签。Nano 与 Turbo 架构相同,参数 1.1 亿;据 Resemble AI 介绍,它在 8 个 CPU 核心上可达实时速度的 3 倍。安装命令是 pip install chatterbox-tts,在 Python 3.11 上测试过。
用一段音频克隆,还是训练好的音色
使用 Chatterbox 时,每次请求都要附上参考录音,模型据此重建声音。这是得到新声音最快的方式,结果取决于您给的音频。
SuperClonica 只训练一次。需要一段 5 到 10 秒、带准确文本的干净录音,以及您自己电脑上的 NVIDIA 显卡;训练免费,JSON 也免费下载。没有显卡的话,可以请作者定制,预算冻结到您接受结果为止,或者在目录里挑带试听的现成音色。之后每次请求都从同一个文件出发。这些都限于 Supertonic 3 支持的语言,不含中文。
Chatterbox 在 CPU 上的速度
我们没有实测过 Chatterbox。Resemble AI 给出的 Nano 数据是在 8 个 CPU 核心上达到实时速度的 3 倍;更大的模型的示例都在 CUDA 上运行。
SuperClonica 按我们的估算,在 8 核台式机 CPU 上是实时速度的 6.4–9.7 倍。两组数据来自不同的测试和文本,只能作为参考,请在自己的电脑上实测。
许可证与水印
Chatterbox 的代码和权重都采用 MIT,是最宽松的许可证之一。Chatterbox 生成的每个文件都带有 Resemble AI 的 PerTh 水印,这是一种听不见的标记,设计上能经受 MP3 压缩和剪辑,便于事后识别合成语音。
Supertonic 3 采用 OpenRAIL-M,免授权费,附有禁止用途清单。在 SuperClonica 购买的音色用于您自己的项目,不能转售。
什么时候选 Chatterbox 更好
如果您想要固定的音色文件、在 CPU 上快速合成 Supertonic 3 支持的 31 种语言,或者请作者为您制作音色,SuperClonica 更合适。以下情况选 Chatterbox:
- 中文语音合成,Supertonic 3 目前不支持中文,而 Chatterbox 有专门的普通话模型。
- 用一段音频即时克隆,不需要训练。
- 带笑声、咳嗽等非语言标签的英语表现力语音。
- 项目需要模型权重采用 MIT 许可证。