指南

Sesame AI 语音与 CSM-1B:演示、开源模型与替代方案

Sesame 的对话式语音演示(人们熟知的 Maya 和 Miles 两个声音)让很多人印象深刻,Sesame 还发布了开源语音模型 CSM-1B。两者并不相同,如果你想在自己的项目中使用这个声音,这一点很重要。

本指南根据 CSM-1B 的模型卡介绍这个开源模型是什么、运行需要什么、使用规则,以及什么时候 SuperClonica 这类开箱即用的引擎更简单。注意:SuperClonica 引擎不支持中文朗读,可以朗读英语等 31 种语言。

演示与开源模型

模型卡称,Sesame 的交互式语音演示由 CSM 的微调版本驱动。发布的 CSM-1B 是基础版 Conversational Speech Model,因此直接使用时听起来和表现都不会与演示完全相同。CSM 根据文本和音频上下文生成语音,借此在多轮对话中保持同一说话人。

CSM-1B 是什么

CSM 由 Llama 主干和一个输出 Mimi 音频编码的较小音频解码器组成。它于 2025 年 3 月 13 日以 Apache-2.0 许可证发布,从 Hugging Face Transformers 4.52.1 版起获得原生支持。主要语言是英语;模型卡称其他语言能力有限,效果可能较差。下载前需要同意分享你的 Hugging Face 联系信息。

运行方式与规则

模型卡中的示例代码在有 CUDA 显卡时使用显卡,否则回退到处理器。模型卡禁止在未经本人明确同意的情况下模仿真实人物、制作欺骗性内容或用于违法、有害目的。

在普通电脑上开箱即用的替代方案

如果你现在就需要语音,而不是研究模型,可以用 python -m pip install superclonica-cpu 安装免费的 SuperClonica 引擎,然后运行 superclonica --text "Hey, good to hear from you." --voice F1 --lang en --output hello.wav。它在普通处理器上离线运行,支持 31 种语言,附带 M1 到 M5、F1 到 F5 共十个基础声音。引擎采用 Apache 2.0 许可证,Supertonic 3 模型采用 OpenRAIL-M,在其限制范围内允许商业使用。中文文本暂不支持。

声音与你自己的声音

可以在声音页面免费试听声音库:粘贴 30 到 100 个字符即可,无需账号。想要自己的声音,录一段 5 到 10 秒的干净语句,在工作室中训练;在自己的 NVIDIA 显卡上训练是免费的。另外,声音库中的免费声音 Maya 是 SuperClonica 自己的声音,与 Sesame 无关。