Альтернатива GLM-TTS и Maya-1, которая работает на CPU
GLM-TTS и Maya-1 — две выразительные открытые модели синтеза речи на основе больших языковых моделей. GLM-TTS под лицензией MIT клонирует голос по 3–10 секундам аудио, управляет эмоциями с помощью обучения с подкреплением и оптимизирована для смешанного китайского и английского текста. Maya-1 — около 3,3 миллиарда параметров, она строит голос по письменному описанию и знает больше 20 эмоций и манер речи.
SuperClonica запускает Supertonic 3 — около 99 миллионов параметров — на 31 языке на обычном процессоре. Это руководство сравнивает их по фактам из карточек моделей; GLM-TTS и Maya-1 мы не тестировали, поэтому оценок скорости и качества для них нет.
GLM-TTS
Двухэтапная система: языковая модель на основе Llama превращает текст в речевые токены, затем декодер делает звук. Она клонирует любого говорящего по фрагменту в 3–10 секунд, стримит для интерактивных приложений и с помощью обучения с подкреплением делает интонацию и эмоции естественнее. Сильнее всего — на смешанном китайском и английском тексте, под свободной лицензией MIT.
Maya-1
Вместо клонирования или выбора готового голоса вы описываете голос словами — возраст, тембр, акцент, темп — и добавляете выразительные пометки прямо в текст. В карточке указано около 3,3 миллиарда параметров и Apache 2.0 в метаданных репозитория, с примечаниями о лицензиях компонентов, которые стоит прочитать перед коммерческим использованием.
Чем отличается SuperClonica
Supertonic 3 — около 99 миллионов параметров, этого хватает для обычного CPU; по нашей оценке, движок работает в 6,4–9,7 раза быстрее реального времени на настольном 8-ядерном процессоре. Он говорит на 31 языке, включая русский, и каждый голос говорит на всех. Поставьте его командой python -m pip install superclonica-cpu и запустите superclonica --text "Привет" --voice F1 --lang ru --output hello.mp3.
Готовые голоса вместо подсказок
Вместо того чтобы каждый раз клонировать или описывать голос, SuperClonica предлагает около 190 голосов каталога — от дикторов и анонсеров до героев игр и аниме; каждый — небольшой файл, который покупается один раз, а десять стандартных голосов бесплатны и подходят для коммерции. На странице любого голоса можно бесплатно озвучить фразу от 30 до 100 символов.
Что выбрать
GLM-TTS — для китайского, быстрого клонирования и эмоций, Maya-1 — для создания новых голосов по описанию, если у вас есть видеокарта для больших моделей. SuperClonica — для 31 языка на CPU, готовых голосов персонажей и API синтеза речи с бесплатными 3 минутами в сутки.