Альтернатива StyleTTS 2 и Parler-TTS на 31 языке
StyleTTS 2 и Parler-TTS — два известных открытых проекта синтеза речи. Статья StyleTTS 2 сообщает об оценках на уровне человека на английских датасетах, а Parler-TTS от Hugging Face позволяет описать голос обычными словами. Оба — прежде всего исследовательский код: репозиторий StyleTTS 2 последний раз обновлялся в 2024 году, Parler-TTS — в декабре 2024-го.
Бесплатный движок SuperClonica — это pip-пакет, который работает на обычном процессоре, говорит на 31 языке и идёт с каталогом готовых голосов. В этом руководстве — честное сравнение и когда лучше выбрать StyleTTS 2 или Parler-TTS.
StyleTTS 2 и Parler-TTS вкратце
Для исследований на английском, экспериментов с дообучением или голосов, описанных словами, оба — серьёзные инструменты.
- StyleTTS 2: английские модели, обученные на LJSpeech и LibriTTS, код под MIT и перенос стиля с референсного клипа в модели LibriTTS.
- У предобученных моделей есть условие: сообщать слушателям, что речь синтезирована, если у вас нет разрешения на этот голос. Инференс опирается на фонемизатор espeak-ng под GPL.
- Parler-TTS: Mini на 880 млн параметров и Large на 2,3 млрд — английские, плюс Mini Multilingual v1.1 на восьми европейских языках, все под Apache 2.0.
- Голос в Parler-TTS задаётся текстовым описанием пола, темпа и высоты или одним из 34 дикторов по имени.
Сравните звучание бесплатно
На странице любого голоса вставьте фразу, которую озвучивали в StyleTTS 2 или Parler-TTS, от 30 до 100 символов, выберите язык и нажмите «Озвучить». Через несколько секунд можно сравнить на своём тексте, без регистрации.
Чем отличается SuperClonica
Он работает на обычном процессоре: в наших тестах короткая фраза занимала 0,43 с на четырёх потоках Ryzen 7 5800X.
- 31 язык, включая русский, японский, корейский, турецкий, хинди и арабский; китайского среди них нет.
- Готовые голоса: десять стандартных и более 170 голосов каталога с бесплатными демо.
- Каждый голос — JSON-файл размером около 0,3 МБ, и он говорит на всех языках модели.
- Установка одной командой, python -m pip install superclonica-cpu, или Docker-образ с HTTP API.
Описать голос или обучить его
Parler-TTS получает новое описание с каждым запросом, а StyleTTS 2 подстраивает стиль под референсный клип. В SuperClonica голос обучается один раз в студии по чистой записи длиной 5–10 секунд на компьютере с видеокартой NVIDIA или заказывается на бирже у автора, который его обучит. Дальше он работает на любом процессоре и на всех 31 языках, с оттенком акцента исходной записи. Клонируйте только голоса, владельцы которых согласны.
Что выбрать
Выбирайте StyleTTS 2 для исследований и дообучения на английском, а Parler-TTS — когда хотите описывать голос словами на английском или одном из восьми европейских языков. Выбирайте SuperClonica для остальных языков, готовых голосов дикторов и персонажей, скорости на процессоре и установки одной командой pip или одним Docker-образом.