Kyutai TTS 替代方案:更多语言、你自己的声音、无需 GPU
Kyutai TTS 是法国研究机构 Kyutai 发布的开源流式文字转语音模型:收到文本开头几个词就开始说话,因此很适合语音助手。它支持英语和法语,声音以预先计算好的嵌入形式提供。
本指南总结模型卡的内容、什么时候选 Kyutai TTS,以及什么时候更适合基于小模型 Supertonic 3 的 SuperClonica。注意:SuperClonica 引擎不支持中文朗读,可以朗读英语等 31 种语言。
Kyutai TTS 简介
虽然名字里写着 1.6b,模型卡说它实际有 18 亿参数:10 亿的主干加 6 亿的 depth transformer。它支持英语和法语,采用流式输出,第一批词一到就开始出声。权重以 CC-BY 4.0 发布,通过 Kyutai 的 Python 包 moshi 运行,示例代码使用 CUDA GPU。
声音与克隆
Kyutai 选择把声音克隆限制在预先计算的声音嵌入上,这些嵌入发布在单独的 tts-voices 仓库中:你只能从提供的声音里挑选,而不能克隆任意录音。模型卡还说明没有加水印。
SuperClonica 的不同之处
SuperClonica 在没有 GPU 的普通处理器上运行小得多的 Supertonic 3 模型,每个声音都能说 31 种语言,从英语、法语到俄语、日语和韩语。目录中有旁白和角色声音,十个标准声音免费,工作室还能用你 5 到 10 秒的干净录音训练声音。面向应用的托管 Speech API 同样支持流式音频,方法见我们的流式 API 指南。
怎么选
如果你在自己的 GPU 上构建英语或法语助手,并看重它的流式设计和开放权重,选 Kyutai TTS。如果你需要更多语言、没有 GPU 的笔记本或服务器、角色声音或你自己的声音,选 SuperClonica。Kyutai 还做了更小的 Pocket TTS,我们的 Pocket TTS 指南做了比较。在 SuperClonica 声音页面输入 30 到 100 个字符即可免费试听,或用 python -m pip install superclonica-cpu 安装引擎。中文文本暂不支持。