GUIDE

Voix IA pour l’animation avec lip sync

Le lip sync est ce qui prend le plus de temps dans une courte animation : chaque réplique demande un enregistrement, et chaque enregistrement des formes de bouche calées dessus. Quand le script change, il faut tout refaire.

Avec le moteur gratuit SuperClonica, la voix vient du texte, et Rhubarb Lip Sync, gratuit et open source, transforme cette voix en formes de bouche minutées pour Moho, OpenToonz, After Effects, Spine et d’autres outils. Ce guide montre les deux commandes qui les relient et comment continuer à modifier le script sans rien réenregistrer.

Voir les voix Installer le moteur SuperClonica

Du script à la bouche qui parle

Comme vous avez déjà le script exact, Rhubarb peut s’en servir d’indice, ce qui rend les formes de bouche nettement plus fiables.

  • SuperClonica vocalise chaque réplique du script en fichier WAV.
  • Rhubarb Lip Sync lit le WAV ou l’Ogg Vorbis et écrit les formes de bouche minutées en TSV, XML, JSON, ou DAT pour Moho et OpenToonz.
  • Rhubarb cite des intégrations avec After Effects, Moho, OpenToonz, Spine, Vegas Pro et Visionaire Studio ; sous Blender, on passe par des extensions de la communauté.
  • Les voix parlent 31 langues ; le chinois n’est pas encore pris en charge.

Choisir des voix gratuitement en ligne

Sur la page de n’importe quelle voix, saisissez une réplique de votre personnage, 30 à 100 caractères, choisissez la langue et cliquez sur le bouton de synthèse. En quelques secondes, vous entendez si la voix convient au personnage, sans compte.

Vocaliser et analyser une réplique

Gardez une réplique par fichier et donnez le même nom au texte, au WAV et aux données de bouche, pour que l’outil d’animation prenne toujours la bonne paire.

  • Installez le moteur : python -m pip install superclonica-cpu.
  • Vocalisez la réplique depuis son fichier texte : superclonica --text-file line01.txt --voice M2 --lang fr --output line01.wav.
  • Donnez à Rhubarb le même texte comme dialogue et analysez l’enregistrement : rhubarb -d line01.txt -o line01.tsv line01.wav.
  • Pour les répliques qui ne sont pas en anglais, utilisez le reconnaisseur indépendant de la langue : rhubarb -r phonetic -d line01.txt -o line01.tsv line01.wav. Le reconnaisseur par défaut ne gère que l’anglais.

Changer le script, pas la séance

Quand une réplique change, modifiez son fichier texte et relancez les deux commandes : la nouvelle voix et le nouveau minutage de la bouche arrivent ensemble, si bien qu’un animatique peut changer chaque jour sans séance d’enregistrement. Un --seed fixe garde la même prise pour les répliques inchangées, --speed entre 0,7 et 2,0 cale une réplique sur son plan, et --normalize égalise le volume entre les scènes.

Des voix pour une animation publiée

Pour un film, une série ou un jeu que vous publiez, utilisez les dix voix de base du modèle, de M1 à M5 et de F1 à F5, votre propre voix entraînée dans le studio SuperClonica à partir de l’enregistrement d’un comédien qui a donné son accord, ou une voix commandée sur la bourse. Les voix de personnages faites par des fans sont pour l’animation de fans et la parodie, et ne sont pas approuvées par les ayants droit.