XTTS v2 替代方案:Coqui 关闭后的变化与选择
请注意:Supertonic 3 目前不支持中文,文中的 SuperClonica 声音可朗读其支持的 31 种语言。Coqui 的 XTTS v2 仍是最知名的开源语音模型之一:它用 6 秒片段克隆声音,支持 17 种语言。人们寻找替代方案有两个原因:其权重采用 Coqui Public Model License,只允许非商业使用;而能够出售商业许可的公司已在 2024 年前后关闭。
免费的 SuperClonica 引擎在普通处理器上运行 Supertonic 3 模型,支持 31 种语言,其标准声音可以商用。本指南如实比较两者,并说明何时 XTTS v2 仍是更好的选择。
XTTS v2 简介
XTTS v2 在生成时根据一段短样本模仿声音,所以任何录音都能在几秒内变成声音。它支持英语、西班牙语、法语、德语、意大利语、葡萄牙语、波兰语、土耳其语、俄语、荷兰语、捷克语、阿拉伯语、中文、日语、匈牙利语、韩语和印地语,输出 24 kHz 音频。代码在社区分支 idiap/coqui-ai-TTS 中延续,以 MPL 2.0 许可的 coqui-tts 包发布,但该许可只针对代码,不针对模型:CPML 只允许在你不获得任何直接或间接报酬的情况下使用权重及其生成的音频。它在 NVIDIA 显卡上运行效果最好。
免费对比音质
在目录中任意声音的页面,粘贴一句你用 XTTS v2 生成过的 30 到 100 个字符的文字,选择语言并点击朗读。几秒钟即可对比,无需注册。
SuperClonica 的不同之处
朗读在普通处理器上运行:在我们的测试中,Ryzen 7 5800X 的四个线程朗读一个短句用时 0.43 秒,显卡只会让它更快。它支持 31 种语言,包括 XTTS v2 没有的瑞典语、希腊语、乌克兰语、越南语和印尼语,但暂不支持中文。十个标准声音 M1 至 M5 和 F1 至 F5 可依据 OpenRAIL-M 模型许可商用。用 python -m pip install superclonica-cpu 安装,或者通过 SuperClonica API 使用同样的声音,无需自己运行任何东西。
你自己的声音
XTTS v2 每次说话都要根据样本克隆。在 SuperClonica 中,声音只需在工作室用 5 到 10 秒的干净录音训练一次,使用带 NVIDIA 显卡的电脑,或委托作者代为训练。之后它是一个小文件,可在任何处理器上离线朗读。只克隆你自己的声音或已同意者的声音;经同意训练的声音可商用,角色声音仅限粉丝和戏仿项目。
如何选择
需要从样本即时克隆的个人或研究项目、中文内容,以及你有 NVIDIA 显卡时,选择 XTTS v2。凡是有收入的用途、XTTS v2 不支持的语言、现成的角色和旁白声音,以及在普通服务器上简单部署,选择 SuperClonica。也可以先用同一段文字测试两者。