СРАВНЕНИЕ МОДЕЛЕЙ

Chatterbox TTS или SuperClonica: мгновенный клон или обученный файл голоса

Chatterbox — семейство открытых моделей синтеза речи от Resemble AI под лицензией MIT. Каждая модель клонирует голос без обучения по короткому референсу. В семействе есть Multilingual V3 на 500 миллионов параметров и 23 языка, английская Turbo на 350 миллионов, английская Nano на 110 миллионов для работы на CPU и набор моделей, дообученных под отдельные языки.

SuperClonica идёт обратным путём: голос один раз обучают в файл Supertonic 3, и дальше он быстро работает на обычном процессоре. Chatterbox нет в нашей сравнительной таблице, поэтому собственных оценок скорости и качества для неё мы не даём.

Послушать готовые голоса Установить SuperClonica

Модели Chatterbox

Multilingual V3 — основная модель: арабский, датский, немецкий, греческий, английский, испанский, финский, французский, иврит, хинди, итальянский, японский, корейский, малайский, нидерландский, норвежский, польский, португальский, русский, шведский, суахили, турецкий и китайский. Отдельные дообученные модели есть для китайского, латиноамериканского и европейского испанского, бразильского и европейского португальского и хинди.

Turbo рассчитана на голосовых агентов с низкой задержкой на английском и понимает теги вроде [laugh] и [cough]. Nano устроена так же, но весит 110 миллионов параметров; по данным Resemble AI, она работает в 3 раза быстрее реального времени на 8 ядрах CPU. Пакет ставится командой pip install chatterbox-tts, его проверяли на Python 3.11.

Клон по записи или обученный голос

В Chatterbox вы передаёте референсную запись с каждым запросом, и модель восстанавливает голос по ней. Это самый быстрый путь к новому голосу, а результат зависит от записи.

SuperClonica обучает голос один раз. Нужна чистая запись от 5 до 10 секунд с точной расшифровкой и видеокарта NVIDIA в вашем компьютере; обучение бесплатное, JSON скачивается бесплатно. Без видеокарты можно заказать голос у автора — бюджет резервируется, пока вы не примете результат, — или выбрать готовый голос с демо в каталоге. После этого каждый запрос начинается с одного и того же файла.

Скорость Chatterbox на CPU

Мы Chatterbox не замеряли. По данным Resemble AI, Nano работает в 3 раза быстрее реального времени на 8 ядрах CPU; примеры для больших моделей запускаются на CUDA.

Для SuperClonica наша оценка — в 6,4–9,7 раза быстрее реального времени на настольном 8-ядерном CPU. Цифры получены в разных тестах и на разных текстах, так что это лишь отправная точка: замерьте на своём компьютере.

Лицензии и водяные знаки

Код и веса Chatterbox выпущены под MIT — одной из самых свободных лицензий. В каждый файл, который генерирует Chatterbox, встраивается водяной знак PerTh от Resemble AI: неслышная метка, которая переживает сжатие в MP3 и монтаж, чтобы синтезированную речь можно было потом распознать.

Supertonic 3 выпущена под OpenRAIL-M — бесплатной лицензией со списком запрещённых применений. Голоса, купленные в SuperClonica, предназначены для ваших проектов, перепродавать их нельзя.

Когда лучше выбрать Chatterbox

SuperClonica подходит, если нужен постоянный файл голоса, быстрая речь на CPU на 31 языке Supertonic 3 или голос, сделанный для вас автором. Chatterbox лучше для таких задач:

  • мгновенный клон по записи, без этапа обучения;
  • китайский, иврит, малайский или суахили — их в Supertonic 3 нет;
  • выразительная английская речь со смехом, кашлем и другими неречевыми тегами;
  • проекты, которым нужна лицензия MIT на веса модели.