StyleTTS 2 与 Parler-TTS 的替代方案:支持 31 种语言
StyleTTS 2 和 Parler-TTS 是两个知名的开源文字转语音项目。StyleTTS 2 的论文报告在英语数据集上达到接近人类的评分,Hugging Face 的 Parler-TTS 则允许用文字描述声音。两者首先都是研究代码:StyleTTS 2 仓库最后更新于 2024 年,Parler-TTS 最后更新于 2024 年 12 月。请注意:Supertonic 3 暂不支持中文。
免费的 SuperClonica 引擎是一个可在普通处理器上运行的 pip 包,支持 31 种语言,并附带现成声音的目录。本指南如实比较两者,并说明什么时候 StyleTTS 2 或 Parler-TTS 更合适。
StyleTTS 2 与 Parler-TTS 概览
对于英语研究、微调实验或用文字描述的声音,两者都是严肃的工具。
- StyleTTS 2:在 LJSpeech 和 LibriTTS 上训练的英语模型,代码采用 MIT 许可,LibriTTS 模型可从参考音频迁移风格。
- 其预训练模型附带条件:除非你获准使用该声音,否则需告知听众语音是合成的。推理依赖 GPL 许可的音素化工具 espeak-ng。
- Parler-TTS:英语的 Mini(8.8 亿参数)和 Large(23 亿参数),以及支持八种欧洲语言的 Mini Multilingual v1.1,均采用 Apache 2.0。
- Parler-TTS 的声音通过描述性别、语速和音高的文字来设定,或从 34 位具名说话人中选择。
免费对比音色
在任意声音页面粘贴一句你用 StyleTTS 2 或 Parler-TTS 生成过的话,30 到 100 个字符,选择语言并点击生成按钮。几秒后就能用你自己的文本比较,无需注册。
SuperClonica 的不同之处
它可在普通处理器上运行:在我们的测试中,短句在 Ryzen 7 5800X 的四个线程上用时 0.43 秒。
- 31 种语言,包括俄语、日语、韩语、土耳其语、印地语和阿拉伯语;不包括中文。
- 现成的声音:十个标准声音和 170 多个带免费试听的目录声音。
- 每个声音是约 0.3 MB 的 JSON 文件,可以说模型支持的全部语言。
- 一条命令即可安装(python -m pip install superclonica-cpu),或使用带 HTTP API 的 Docker 镜像。
用文字描述声音,还是训练声音
Parler-TTS 每次请求都接收新的描述,StyleTTS 2 则适配参考音频的风格。在 SuperClonica 中,声音在配有 NVIDIA 显卡的电脑上用 5 到 10 秒的干净录音在工作室训练一次,或在交易所请作者训练定制。之后它可以在任何处理器上运行,并支持全部 31 种语言,带有原录音口音的痕迹。请只克隆其主人同意的声音。
如何选择
英语研究和微调请选 StyleTTS 2;想用文字描述声音、且使用英语或其八种欧洲语言时请选 Parler-TTS。需要其他语言、现成的旁白和角色声音、处理器上的速度,以及一条 pip 命令或一个 Docker 镜像即可完成的安装时,请选 SuperClonica。