СРАВНЕНИЕ МОДЕЛЕЙ

Coqui XTTS-v2 или SuperClonica: альтернатива Coqui TTS

XTTS-v2 — модель клонирования голоса от Coqui, выпущенная вместе с открытой библиотекой Coqui TTS. По короткому референсу она говорит этим голосом на 17 языках, в том числе на русском, и умеет переносить голос с одного языка на другой.

Если вы собираетесь строить на ней проект сегодня, важны две вещи: исходный репозиторий coqui-ai/TTS больше не поддерживается, а лицензия весов XTTS не разрешает коммерческое использование. Если вы ищете альтернативу Coqui TTS, вот как с ней соотносится SuperClonica. XTTS нет в нашей сравнительной таблице, поэтому оценок скорости и качества для неё мы не даём.

Выбрать готовый голос Установить SuperClonica

Что умеет XTTS-v2

XTTS-v2 клонирует голос по нескольким секундам аудио: в карточке модели говорится о 6-секундном фрагменте, в документации — о 3 секундах. Языки: английский, испанский, французский, немецкий, итальянский, португальский, польский, турецкий, русский, нидерландский, чешский, арабский, китайский, японский, венгерский, корейский и хинди. Звук на выходе 24 кГц, эмоции и манера переносятся с референса.

Модель умеет потоковый синтез, и авторы заявляют задержку меньше 200 мс, не уточняя железо. Примеры в документации запускают её на CUDA, код для дообучения есть.

Лицензия XTTS: почему коммерция исключена

Веса XTTS-v2 распространяются по Coqui Public Model License. Она разрешает только некоммерческое использование, причём касается не только модели, но и сгенерированного звука: как только вы прямо или косвенно получаете деньги за модель или её результат, вы выходите за рамки лицензии. Компаниям разрешено лишь тестирование, оценка и некоммерческие исследования.

Сам код Coqui TTS выпущен под MPL-2.0, так что препятствие не в коде, а в весах. Supertonic 3 выпущена под OpenRAIL-M — бесплатной лицензией со списком запрещённых применений вместо запрета на коммерцию. Голоса, купленные в SuperClonica, предназначены для ваших проектов, перепродавать их нельзя.

Coqui TTS сегодня

Исходный репозиторий coqui-ai/TTS больше не поддерживается. Idiap ведёт форк, который публикуется в PyPI как coqui-tts: с готовыми сборками для Linux, macOS и Windows и новыми функциями вроде кэширования клонированных голосов. Веса XTTS-v2 и их лицензия остались прежними.

Клонирование на каждый запрос или обученный файл голоса

XTTS восстанавливает голос из референса при каждом запросе, поэтому результат зависит от переданной записи. SuperClonica один раз обучает голос в файл Supertonic 3: чистая запись от 5 до 10 секунд с точной расшифровкой, ваша видеокарта NVIDIA, без оплаты. Голос можно и заказать у автора или выбрать в каталоге.

Дальше файл работает офлайн на обычном процессоре. По нашей оценке, SuperClonica озвучивает текст в 6,4–9,7 раза быстрее реального времени на настольном 8-ядерном CPU: фраза на 10 секунд — примерно за 1,0–1,6 секунды.

Когда лучше выбрать XTTS-v2

SuperClonica — для платных проектов, компьютеров без видеокарты и голосов, которые нужно сохранить файлом. XTTS-v2 по-прежнему подходит для таких случаев:

  • личные, исследовательские и хобби-проекты, где некоммерческая лицензия не мешает;
  • мгновенное клонирование по нескольким секундам записи, без этапа обучения;
  • китайская речь, которой в Supertonic 3 пока нет;
  • конвейеры, уже построенные на библиотеке Coqui TTS.