口型同步动画的 AI 配音
口型同步是短动画最耗时的环节:每句台词都要录音,每段录音都要按时间对好口型。脚本一改,两件事都得重做。请注意:Supertonic 3 暂不支持中文,台词可以用英语、日语、韩语等 31 种语言配音。
使用免费的 SuperClonica 引擎,声音直接由文字生成;免费开源的 Rhubarb Lip Sync 再把声音转换成带时间轴的口型,供 Moho、OpenToonz、After Effects、Spine 等工具使用。本指南介绍连接两者的两条命令,以及如何不重新录音就持续修改脚本。
从脚本到会说话的嘴
既然你已经有准确的脚本,就可以把它作为提示交给 Rhubarb,口型会明显更可靠。
- SuperClonica 把脚本中的每句台词生成为 WAV 文件。
- Rhubarb Lip Sync 读取 WAV 或 Ogg Vorbis,把口型及其时间写成 TSV、XML、JSON,或供 Moho 和 OpenToonz 使用的 DAT。
- Rhubarb 列出了与 After Effects、Moho、OpenToonz、Spine、Vegas Pro 和 Visionaire Studio 的集成;Blender 用户可借助社区插件。
- 这些声音支持 31 种语言,暂不支持中文。
在线免费挑选声音
在任意声音页面输入角色的一句台词,30 到 100 个字符,选择语言并点击生成按钮。几秒后就能听出声音是否适合角色,无需注册。
生成并分析一句台词
每个文件只放一句台词,并让文本、WAV 和口型数据同名,动画软件就总能找到正确的组合。
- 安装引擎:python -m pip install superclonica-cpu。
- 从文本文件生成台词:superclonica --text-file line01.txt --voice M2 --lang en --output line01.wav。
- 把同一段文本作为对白交给 Rhubarb 并分析录音:rhubarb -d line01.txt -o line01.tsv line01.wav。
- 非英语台词请使用与语言无关的识别器:rhubarb -r phonetic -d line01.txt -o line01.tsv line01.wav。默认识别器只支持英语。
改脚本,而不是重开录音
台词变了,就修改它的文本文件并重新运行两条命令:新的声音和新的口型时间会一起生成,因此动态分镜每天都可以修改而无需录音。固定 --seed 可让未改动的台词保持同一条录音,--speed(0.7 到 2.0)可让台词适配镜头长度,--normalize 可统一各场景音量。
用于发布作品的声音
用于发布的电影、剧集或游戏,请使用模型的十个标准声音 M1 至 M5 和 F1 至 F5,用同意授权的演员录音在 SuperClonica 工作室训练的你自己的声音,或在交易所定制的声音。目录中由粉丝制作的角色声音适用于同人动画和恶搞,未获版权方认可。