Fish Audio、Fish Speech 与 SuperClonica 对比
Fish Audio 做出了开源语音合成里表现力最强的一批模型,在我们自己的对比中,S2 Pro 的音质评分也是最高的。但它是一款为 GPU 设计的大模型。SuperClonica 走的是另一条路:一个很小的 Supertonic 3 音色文件,在普通 CPU 上也能快速、离线运行。
如果您找 Fish Audio 或 Fish Speech 的替代方案,是因为没有显卡,或者想把语音直接集成进应用里,可以继续往下看。但要注意:Supertonic 3 目前不支持中文。如果您需要中文语音或最强的表现力,Fish Audio 很可能更合适。
Fish Audio、Fish Speech 和 S2 Pro 是什么关系
Fish Audio 把开源模型发布在 GitHub 的 fish-speech 仓库,早期模型也以此命名,例如 Fish Speech 1.5 支持 13 种语言,许可证为 CC-BY-NC-SA-4.0。较新的模型叫 Fish Audio S2 和 S2 Pro。
我们对比表中的 S2 Pro 采用双自回归(Dual-AR)结构:一个 40 亿参数的模型预测主码本,一个 4 亿参数的模型补全其余 9 个码本。根据模型卡,它支持 80 多种语言,可以在文本里插入自由格式的标签,比如 [whisper in small voice] 或 [pitch up]。仓库里还列出了更新、更大的 Fish Audio Drama 3,我们的对比表暂未收录。
Fish Audio S2 Pro 与 SuperClonica 的 CPU 速度
按我们对 8 核台式机 CPU 的估算,S2 Pro 每生成 1 秒音频需要 4–10 秒计算,一句 10 秒的台词要 40–100 秒。SuperClonica 大约 1.0–1.6 秒。
这是我们表里最粗略的一个数字。由于没有公开的 CPU 基准测试,我们根据 GGUF 客户端 s2.cpp 和模型结构,按 30–50 GB/s 的有效内存带宽推算而来。换成 GPU 就是另一回事了:Fish Audio 公布的数据是在单张 NVIDIA H200 上 RTF 为 0.195,首个音频约 100 毫秒输出。
Fish Audio 更强的地方
在富有表现力的语音上,Fish Audio S2 Pro 的优势很明显。
- 音质:在我们的表里满分 5 分得 5 分,SuperClonica 是 4.5 分。
- 语言:80 多种,中文属于一级支持语言。Supertonic 3 只有 31 种,暂不支持中文。
- 免训练声音克隆:据 fish-speech 仓库介绍,10–30 秒参考音频就能复刻音色。
- 情感控制:在文本里用自由标签控制耳语、笑声、重音和音高。
许可证与商用
S2 Pro 的权重采用 Fish Audio Research License:研究和非商业用途免费,商用需要另外向 Fish Audio 取得许可。仓库代码和其他权重采用 Fish Audio Community License。
Supertonic 3 采用 OpenRAIL-M 许可证。这是一份免费许可,没有“仅限非商业”条款,而是列出了禁止用途,例如未经同意冒充他人。在 SuperClonica 购买的音色用于您自己的项目,不能转售。
Fish Audio 还是 SuperClonica
在 CPU 速度和音色稳定性上,SuperClonica 更好:两项都是 5 分,S2 Pro 分别是 1 分和 4 分。如果要在笔记本上做几个小时的旁白,或在玩家电脑上生成语音,这比音质上最后半颗星更重要。
- 选 Fish Audio S2 Pro:有性能不错的 GPU,需要中文或更小众的语言,想用短音频即时克隆,或要用情感标签。
- 选 SuperClonica:语音要在 CPU 上离线、以可预期的速度运行,或要集成进您发布的应用,且语言在 Supertonic 3 支持的 31 种之内。