РУКОВОДСТВО

Голос ИИ для анимации с липсинком

Липсинк — это то, на что короткая анимация тратит больше всего времени: каждой реплике нужна запись, а каждой записи — формы рта, выставленные по времени. Когда сценарий меняется, всё приходится делать заново.

С бесплатным движком SuperClonica голос получается из текста, а бесплатный открытый Rhubarb Lip Sync превращает этот голос в формы рта с таймингом для Moho, OpenToonz, After Effects, Spine и других программ. В этом руководстве — две команды, которые их связывают, и как править сценарий, ничего не перезаписывая.

Выбрать голос Установить движок SuperClonica

От сценария к говорящему рту

Поскольку точный сценарий у вас уже есть, Rhubarb может использовать его как подсказку, и формы рта получаются заметно надёжнее.

  • SuperClonica озвучивает каждую реплику сценария в файл WAV.
  • Rhubarb Lip Sync читает WAV или Ogg Vorbis и пишет формы рта с таймингом в TSV, XML, JSON или DAT для Moho и OpenToonz.
  • У Rhubarb есть интеграции с After Effects, Moho, OpenToonz, Spine, Vegas Pro и Visionaire Studio; в Blender используют дополнения от сообщества.
  • Голоса говорят на 31 языке; китайский пока не поддерживается.

Подберите голоса бесплатно онлайн

На странице любого голоса впишите реплику персонажа, от 30 до 100 символов, выберите язык и нажмите «Озвучить». Через несколько секунд вы услышите, подходит ли голос персонажу, без регистрации.

Озвучьте и разберите реплику

Держите по одной реплике в файле и называйте текст, WAV и данные рта одинаково, чтобы программа анимации всегда брала нужную пару.

  • Установите движок: python -m pip install superclonica-cpu.
  • Озвучьте реплику из её текстового файла: superclonica --text-file line01.txt --voice M2 --lang ru --output line01.wav.
  • Дайте Rhubarb тот же текст как диалог и проанализируйте запись: rhubarb -d line01.txt -o line01.tsv line01.wav.
  • Для реплик не на английском используйте распознаватель, не зависящий от языка: rhubarb -r phonetic -d line01.txt -o line01.tsv line01.wav. Распознаватель по умолчанию работает только с английским.

Меняйте сценарий, а не сессию записи

Когда реплика меняется, поправьте её текстовый файл и снова выполните две команды: новый голос и новый тайминг рта приходят вместе, так что аниматик может меняться каждый день без сессии записи. Фиксированный --seed сохраняет тот же дубль для неизменных реплик, --speed от 0,7 до 2,0 подгоняет реплику под план, а --normalize выравнивает громкость между сценами.

Голоса для публикуемой анимации

Для фильма, сериала или игры, которые вы публикуете, используйте десять стандартных голосов модели, от M1 до M5 и от F1 до F5, собственный голос, обученный в студии SuperClonica по записи актёра, давшего согласие, или голос, заказанный на бирже. Фанатские голоса персонажей в каталоге — для фанатской анимации и пародий, правообладатели их не одобряли.