СРАВНЕНИЕ МОДЕЛЕЙ

Fish Audio и Fish Speech или SuperClonica

Fish Audio делает одни из самых выразительных открытых моделей синтеза речи, и в нашем сравнении S2 Pro получила высшую оценку качества. Но это большая модель, рассчитанная на видеокарты. SuperClonica устроена наоборот: небольшой файл голоса Supertonic 3, который быстро работает на обычном процессоре и без интернета.

Если вы ищете альтернативу Fish Audio или Fish Speech, потому что видеокарты нет или озвучку нужно встроить в приложение, читайте дальше. Если нужна максимальная выразительность или китайский язык, Fish Audio, скорее всего, подойдёт лучше.

Послушать голоса Supertonic 3 Установить движок SuperClonica

Fish Audio, Fish Speech и S2 Pro: что есть что

Fish Audio публикует открытые модели в репозитории fish-speech на GitHub, и ранние версии назывались так же: например, Fish Speech 1.5 знает 13 языков и распространяется по лицензии CC-BY-NC-SA-4.0. Новые модели называются Fish Audio S2 и S2 Pro.

S2 Pro из нашей таблицы устроена по схеме Dual-AR: модель на 4 млрд параметров предсказывает основной кодбук, а модель на 400 млн — остальные девять. В карточке модели указано 80+ языков и теги в свободной форме прямо в тексте, например [whisper in small voice] или [pitch up]. В репозитории уже есть и более новая и крупная модель Fish Audio Drama 3, её в нашей таблице пока нет.

Fish Audio S2 Pro и SuperClonica: скорость на CPU

По нашей оценке для настольного 8-ядерного процессора S2 Pro тратит 4–10 секунд на каждую секунду аудио: фраза на 10 секунд займёт 40–100 секунд. SuperClonica озвучит её примерно за 1,0–1,6 секунды.

Это самая грубая оценка в нашей таблице. Публичного замера на CPU нет, поэтому мы считали по GGUF-клиенту s2.cpp и архитектуре модели, исходя из эффективной пропускной способности памяти 30–50 ГБ/с. На видеокарте картина другая: Fish Audio указывает RTF 0,195 и около 100 мс до первого звука на одной NVIDIA H200.

В чём Fish Audio сильнее

У Fish Audio S2 Pro есть преимущества, важные для выразительной речи.

  • Качество: 5 из 5 в нашей таблице против 4,5 у SuperClonica.
  • Языки: 80+, включая китайский. У Supertonic 3 их 31, китайского пока нет.
  • Клонирование на лету: по данным репозитория fish-speech, для тембра хватает 10–30 секунд записи, обучать ничего не нужно.
  • Управление эмоциями: теги в тексте для шёпота, смеха, акцентов и высоты голоса.

Лицензии и коммерческое использование

Веса S2 Pro распространяются по Fish Audio Research License: исследования и некоммерческое использование бесплатны, для коммерческого нужна отдельная лицензия от Fish Audio. Код репозитория и остальные веса — под Fish Audio Community License.

Supertonic 3 выпущена под OpenRAIL-M — бесплатной лицензией со списком запрещённых применений (например, выдавать себя за других людей без их согласия), а не с запретом на коммерцию. Голос, купленный в SuperClonica, предназначен для ваших проектов, перепродавать его нельзя.

Fish Audio или SuperClonica: что выбрать

SuperClonica выигрывает по скорости на CPU и стабильности тембра: 5 из 5 по обоим пунктам против 1 и 4 у S2 Pro. Для многочасовой озвучки на ноутбуке или речи, которая генерируется на компьютере игрока, это важнее последней половинки звезды за качество.

  • Fish Audio S2 Pro — если есть мощная видеокарта, нужен китайский или редкий язык, мгновенное клонирование по короткой записи или теги эмоций.
  • SuperClonica — если озвучка должна работать на процессоре, офлайн, с предсказуемой скоростью или внутри приложения, которое вы отдаёте пользователям.