模型对比

Coqui XTTS-v2 与 SuperClonica:Coqui TTS 的替代方案

XTTS-v2 是 Coqui 的声音克隆模型,随开源库 Coqui TTS 一起发布。只要一小段参考音频,它就能用这个声音说 17 种语言,包括中文,还能把一个声音带到另一种语言里。

如果今天打算在它上面做项目,有两点要知道:原仓库 coqui-ai/TTS 已不再维护,XTTS 权重的许可证也不允许商用。如果您在找 Coqui TTS 的替代方案,下面是 SuperClonica 的对比情况。需要先说明的是,Supertonic 3 目前不支持中文。XTTS 不在我们的对比表中,我们不给出它的速度或音质评分。

XTTS-v2 能做什么

XTTS-v2 只需几秒音频就能克隆声音:模型卡说 6 秒,文档说 3 秒。支持英语、西班牙语、法语、德语、意大利语、葡萄牙语、波兰语、土耳其语、俄语、荷兰语、捷克语、阿拉伯语、中文、日语、匈牙利语、韩语和印地语,输出 24 kHz 音频,并能从参考音频迁移情绪和风格。

它支持流式合成,作者称延迟低于 200 毫秒,但没有说明硬件。文档中的示例都在 CUDA 上运行,并附带微调代码。

XTTS 许可证:为什么不能商用

XTTS-v2 的权重采用 Coqui Public Model License。它只允许非商业使用,而且不仅约束模型,也约束生成的音频:只要您因为模型或其输出直接或间接获得报酬,就超出了许可范围。企业只能用于测试、评估和非商业研究。

Coqui TTS 的代码本身是 MPL-2.0,所以障碍在权重,不在代码。Supertonic 3 采用 OpenRAIL-M:免授权费,没有“仅限非商业”条款,而是列出禁止用途。在 SuperClonica 购买的音色用于您自己的项目,不能转售。

Coqui TTS 的现状

原仓库 coqui-ai/TTS 已不再维护。Idiap 维护着一个分支,在 PyPI 上以 coqui-tts 发布,提供 Linux、macOS 和 Windows 的预编译包,并加入了克隆音色缓存等新功能。XTTS-v2 的权重和许可证没有变化。

每次请求都克隆,还是训练好的音色文件

XTTS 每次请求都要从参考音频重建声音,结果取决于您给的音频。SuperClonica 则把声音一次性训练成 Supertonic 3 音色文件:一段 5 到 10 秒、带准确文本的干净录音,加上您自己的 NVIDIA 显卡,不收费。也可以请作者定制,或在目录里挑选。但请注意,这些音色只能说 Supertonic 3 支持的 31 种语言,不含中文。

之后这个文件在普通 CPU 上离线运行。按我们的估算,SuperClonica 在 8 核台式机 CPU 上是实时速度的 6.4–9.7 倍,一句 10 秒的话约 1.0–1.6 秒。

什么时候选 XTTS-v2 更好

商业项目、没有 GPU 的电脑、想把音色作为文件保存,选 SuperClonica。以下情况 XTTS-v2 仍然适合:

  • 个人、研究和业余项目,非商业许可证不构成障碍。
  • 几秒音频即时克隆,不需要训练。
  • 中文语音合成,Supertonic 3 目前不支持中文。
  • 已经基于 Coqui TTS 库搭好的流程。