ANLEITUNG

KI-Stimme für Lip-Sync-Animation

Lip Sync frisst bei einer kurzen Animation die meiste Zeit: Jede Zeile braucht eine Aufnahme, und jede Aufnahme Mundformen im richtigen Timing. Ändert sich das Skript, muss beides neu gemacht werden.

Mit der kostenlosen SuperClonica-Engine entsteht die Stimme aus Text, und das kostenlose Open-Source-Tool Rhubarb Lip Sync macht daraus getimte Mundformen für Moho, OpenToonz, After Effects, Spine und andere Programme. Dieser Leitfaden zeigt die zwei Befehle, die beides verbinden, und wie Sie das Skript weiter ändern, ohne etwas neu aufzunehmen.

Stimmen ansehen SuperClonica-Engine installieren

Vom Skript zum sprechenden Mund

Da Sie das genaue Skript schon haben, kann Rhubarb es als Hinweis nutzen, und die Mundformen werden deutlich zuverlässiger.

  • SuperClonica vertont jede Zeile des Skripts als WAV-Datei.
  • Rhubarb Lip Sync liest WAV oder Ogg Vorbis und schreibt die Mundformen mit Timing als TSV, XML, JSON oder DAT für Moho und OpenToonz.
  • Rhubarb nennt Integrationen mit After Effects, Moho, OpenToonz, Spine, Vegas Pro und Visionaire Studio; in Blender nutzt man Add-ons der Community.
  • Die Stimmen sprechen 31 Sprachen; Chinesisch wird noch nicht unterstützt.

Stimmen gratis online auswählen

Geben Sie auf der Seite einer beliebigen Stimme eine Zeile Ihrer Figur ein, 30 bis 100 Zeichen, wählen Sie die Sprache und klicken Sie auf die Schaltfläche zum Vertonen. In wenigen Sekunden hören Sie, ob die Stimme zur Figur passt, ohne Konto.

Eine Zeile vertonen und analysieren

Halten Sie eine Zeile pro Datei und geben Sie Text, WAV und Munddaten denselben Namen, damit das Animationsprogramm immer das richtige Paar nimmt.

  • Installieren Sie die Engine: python -m pip install superclonica-cpu.
  • Vertonen Sie die Zeile aus ihrer Textdatei: superclonica --text-file line01.txt --voice M2 --lang de --output line01.wav.
  • Geben Sie Rhubarb denselben Text als Dialog und analysieren Sie die Aufnahme: rhubarb -d line01.txt -o line01.tsv line01.wav.
  • Für Zeilen, die nicht englisch sind, nehmen Sie den sprachunabhängigen Erkenner: rhubarb -r phonetic -d line01.txt -o line01.tsv line01.wav. Der Standard-Erkenner ist nur für Englisch.

Das Skript ändern, nicht die Session

Ändert sich eine Zeile, bearbeiten Sie ihre Textdatei und führen die beiden Befehle erneut aus: Neue Stimme und neues Mund-Timing kommen zusammen, ein Animatic kann sich also täglich ändern, ohne Aufnahmesession. Ein fester --seed behält bei unveränderten Zeilen denselben Take, --speed zwischen 0,7 und 2,0 passt eine Zeile an ihre Einstellung an, und --normalize gleicht die Lautheit zwischen Szenen an.

Stimmen für veröffentlichte Animation

Für einen Film, eine Serie oder ein Spiel, das Sie veröffentlichen, nutzen Sie die zehn Standardstimmen des Modells, M1 bis M5 und F1 bis F5, Ihre eigene im SuperClonica-Studio trainierte Stimme aus der Aufnahme eines Sprechers, der zugestimmt hat, oder eine auf der Börse bestellte Stimme. Von Fans gemachte Figurenstimmen im Katalog sind für Fan-Animationen und Parodien und nicht von den Rechteinhabern bestätigt.