模型对比

F5-TTS 与 SuperClonica:零样本克隆还是 CPU 上的快速合成

F5-TTS 是基于流匹配(flow matching)和 Diffusion Transformer 的开源语音合成模型,2024 年 10 月首次发布,2025 年 3 月推出改进的 v1 基础模型。它支持零样本声音克隆:给一段简短的参考音频和对应文本,就能用这个声音说话,官方基础模型支持中文和英文。SuperClonica 的思路不同:先把声音训练成一个 Supertonic 3 音色文件,之后在普通 CPU 上就能快速运行,但目前不支持中文。

如果您在找能在 CPU 上跑、或者能商用的 F5-TTS 替代方案,下面是需要知道的区别。

F5-TTS 的工作方式

F5-TTS 是结合 ConvNeXt V2 的 Diffusion Transformer,使用 Emilia 数据集中约 10 万小时的公开多语言数据训练。官方基础模型为中英双语。使用时提供参考录音和对应文本;如果文本留空,会调用语音识别模型自动转写,但会多占用显存。

社区还针对其他语言做了微调,仓库中有相应链接。我们的表按官方基础模型计为 2 种语言。

F5-TTS 在 CPU 和 GPU 上的速度

在 GPU 上 F5-TTS 很快:仓库数据显示,在单张 NVIDIA L20 上、16 步时,用 TensorRT-LLM 的 RTF 为 0.0402,用 PyTorch 为 0.1467。

在 CPU 上,它是我们表里最慢的模型。ZipVoice 论文在 Xeon Platinum 8457C 的单线程上、32 步时测得 RTF 为 37.284。假设一台现代 16 线程台式机 CPU 能带来 2.5–7.5 倍的有效加速,结果是比实时慢 5–15 倍:一句 10 秒的话要 50–150 秒。SuperClonica 约 1.0–1.6 秒。

音质与音色稳定性

我们给 F5-TTS 的音质打 3 分、音色稳定性 3 分(满分 5 分),SuperClonica 分别为 4.5 分和 5 分。零样本克隆每次请求都要从参考音频重建声音,结果取决于所给的音频;训练好的音色文件则每次都从同一个音色出发。

许可证:商用前务必确认

F5-TTS 的代码采用 MIT 许可证,但由于训练数据 Emilia 的限制,预训练模型采用 CC-BY-NC 许可证,按默认条款官方权重不能商用。

Supertonic 3 采用 OpenRAIL-M 许可证:免费,没有“仅限非商业”条款,而是列出了禁止用途。在 SuperClonica 购买的音色用于您自己的项目,不能转售。

什么时候选 F5-TTS

如果产品使用 Supertonic 3 支持的 31 种语言、设备没有 GPU,或者要处理速度差距会累积成几个小时的长文本,SuperClonica 更合适。以下情况则更适合 F5-TTS:

  • 零样本克隆相关的研究和非商业实验。
  • 在 GPU 上生成中文或英文语音,或使用社区为您的语言微调的模型。
  • 现在就要用一段音频克隆声音,不想经过训练。