在自己的 NVIDIA GPU 上训练 TTS 声音
从零训练语音合成模型需要数小时的干净录音和强大的硬件。大多数人并不需要这样:他们需要的是一个能让好模型说话的新声音。SuperClonica 训练的正是这个:为开源多语言模型 Supertonic 3 训练一个声音,只需一段 5 到 10 秒的干净录音。请注意:Supertonic 3 暂不支持中文,可朗读英语、日语、韩语等 31 种语言。
本指南介绍所需条件、如何把带 NVIDIA 显卡的电脑接入为 worker、工作室中的训练流程,以及如何使用或出售训练好的声音。用自己的硬件训练是免费的。
训练的是什么,为什么这么快
基础模型已经会说 31 种语言。训练是为它找到一个声音:一个描述录音音色和说话方式的小 JSON 文件。所以一段短参考录音就够了,训练好的声音也能在普通处理器上离线运行。
电脑配置要求
worker 客户端运行在 Windows 上;模式在 worker 卡片上选择,“自动”模式下 worker 会等待空闲内存,15 分钟后切换到“迷你”模式。
- Windows 10/11(64 位),NVIDIA RTX 20 系列或更新的显卡(GTX 16 也可以),驱动 580 及以上。
- 完整质量:12 GB 显存(最好 16 GB)和 32 GB 内存。
- 迷你模式:8 GB 显存和 16 GB 内存,声音相似度会略低。
- 15 GB 可用磁盘空间,并开启 Windows 页面文件。
第 1 步:创建声音和参考录音
在工作室中创建声音并添加参考录音:一段 5 到 10 秒的干净录音及其逐字准确的文本。在安静的房间录制,只有一个说话人,音量稳定,用声音应有的说话方式。请使用自己的声音或已获对方同意的声音。
第 2 步:把电脑接入为 worker
打开“我的 worker”,添加一个 worker 并下载 SuperClonicaWorker.zip:其中包含客户端和你的 worker.json(含平台地址和个人令牌)。解压后运行 SuperClonicaWorker.exe,首次启动会下载其余所需文件,之后自动更新。worker 只训练你的声音。
第 3 步:训练并比较检查点
在参考录音上点击“训练”,选择步数并开始;页面会根据以往训练估算 500 步所需时间。训练过程中,按试听和与参考录音的相似度比较检查点,并继续训练最有希望的那个。
第 4 步:使用或出售声音
在训练页面免费下载 JSON,用免费的 SuperClonica 引擎离线朗读任何文本:python -m pip install superclonica-cpu,然后 superclonica --text "Hello!" --voice my-voice.json --lang en --output hello.wav。如果愿意,可以配上封面、说明和价格在目录中发布,或在交易所接其他用户的声音订单。