Голос Sesame AI и CSM-1B: демо, открытая модель и альтернатива
Разговорное голосовое демо Sesame с голосами, которые все знают как Maya и Miles, впечатлило многих, а ещё Sesame выпустила открытую модель речи CSM-1B. Это не одно и то же, и это важно, если вы хотите использовать голос в своём проекте.
В этом руководстве по карточке модели CSM-1B — что это за открытая модель, что нужно для запуска, какие правила использования и когда проще взять готовый движок вроде SuperClonica.
Демо и открытая модель
В карточке модели сказано, что интерактивное голосовое демо Sesame работает на дообученной версии CSM. Выпущенная CSM-1B — базовая модель Conversational Speech Model, поэтому «из коробки» она не будет звучать и вести себя точно как демо. CSM генерирует речь из текста вместе с аудиоконтекстом — так она сохраняет голос говорящего между репликами.
Что такое CSM-1B
CSM использует основу Llama и меньший аудиодекодер, который выдаёт аудиокоды Mimi. Модель вышла 13 марта 2025 года под лицензией Apache-2.0 и поддерживается в Hugging Face Transformers начиная с версии 4.52.1. Основной язык — английский; по карточке, другие языки работают ограниченно и, скорее всего, плохо. Чтобы скачать модель, нужно согласиться передать свои контактные данные Hugging Face.
Запуск и правила
Пример кода в карточке использует видеокарту CUDA, если она есть, а иначе переключается на процессор. Карточка запрещает использовать модель для имитации реальных людей без их явного согласия, для обманного контента и в незаконных или вредных целях.
Готовая альтернатива на обычном компьютере
Если речь нужна сейчас, а не исследовательская модель, поставьте бесплатный движок SuperClonica командой python -m pip install superclonica-cpu и запустите superclonica --text "Hey, good to hear from you." --voice F1 --lang ru --output hello.wav. Он работает офлайн на обычном процессоре, говорит на 31 языке и включает десять стоковых голосов, M1–M5 и F1–F5. Движок выпущен под Apache 2.0, а модель Supertonic 3 — под OpenRAIL-M, которая разрешает коммерческое использование в рамках своих ограничений.
Голоса и ваш собственный голос
Послушайте голоса каталога бесплатно на их страницах: вставьте 30–100 символов, регистрация не нужна. Для своего голоса запишите чистую фразу на 5–10 секунд и обучите его в студии; обучение на своей видеокарте NVIDIA бесплатно. Бесплатный голос Maya в каталоге — собственный голос SuperClonica и к Sesame отношения не имеет.