Альтернатива Kyutai TTS: больше языков, свои голоса, без видеокарты
Kyutai TTS — открытая потоковая модель синтеза речи от французской лаборатории Kyutai: она начинает говорить уже после первых слов текста, поэтому привлекательна для голосовых ассистентов. Она говорит на английском и французском, а её голоса поставляются как готовые эмбеддинги.
В этом руководстве — что говорит карточка модели, когда стоит выбрать Kyutai TTS и когда лучше подходит SuperClonica на небольшой модели Supertonic 3.
Коротко о Kyutai TTS
Несмотря на 1.6b в названии, по карточке модели в ней 1,8 миллиарда параметров: основа на 1 миллиард и depth-трансформер на 600 миллионов. Она говорит на английском и французском и работает потоково: звук начинается, как только приходят первые слова. Веса опубликованы под CC-BY 4.0, модель запускается через Python-пакет moshi от Kyutai, а пример кода использует видеокарту с CUDA.
Голоса и клонирование
Kyutai решила ограничить клонирование голоса готовыми голосовыми эмбеддингами, опубликованными в отдельном репозитории tts-voices: вы выбираете из предложенных голосов, а не клонируете любую запись. В карточке также сказано, что водяных знаков нет.
Чем отличается SuperClonica
SuperClonica работает на Supertonic 3 — гораздо меньшей модели — на обычном процессоре без видеокарты, и каждый голос говорит на 31 языке: от английского и французского до русского, японского и корейского. В каталоге есть дикторы и голоса персонажей, десять стандартных голосов бесплатны, а студия обучает голос по вашей чистой записи на 5–10 секунд. Для приложений облачный Speech API тоже отдаёт звук потоком — как, показывает наше руководство по потоковому API.
Что выбрать
Выбирайте Kyutai TTS, если делаете англо- или франкоязычного ассистента на своей видеокарте и нужны его потоковая архитектура и открытые веса. Выбирайте SuperClonica, если нужно больше языков, ноутбук или сервер без видеокарты, голоса персонажей или ваш собственный голос. У Kyutai есть и маленькая Pocket TTS — её сравнивает наше руководство по Pocket TTS. Попробуйте любой голос SuperClonica бесплатно на его странице фразой на 30–100 символов или поставьте движок командой python -m pip install superclonica-cpu.