Coqui XTTS-v2 oder SuperClonica: eine Alternative zu Coqui TTS
XTTS-v2 ist das Modell zum Stimmenklonen von Coqui, veröffentlicht zusammen mit der Open-Source-Bibliothek Coqui TTS. Aus einem kurzen Referenzclip spricht es mit dieser Stimme in 17 Sprachen, darunter Deutsch, und kann eine Stimme von einer Sprache in eine andere übertragen.
Wer heute darauf aufbauen will, sollte zwei Dinge wissen: Das ursprüngliche Repository coqui-ai/TTS wird nicht mehr gepflegt, und die Lizenz der XTTS-Gewichte erlaubt keine kommerzielle Nutzung. Wenn Sie eine Alternative zu Coqui TTS suchen, lesen Sie hier, wie SuperClonica im Vergleich dasteht. XTTS steht nicht in unserer Vergleichstabelle, Tempo- oder Qualitätswerte nennen wir dafür nicht.
Was XTTS-v2 kann
XTTS-v2 klont eine Stimme aus wenigen Sekunden Audio: Die Model Card spricht von einem 6-Sekunden-Clip, die Dokumentation von 3 Sekunden. Es spricht Englisch, Spanisch, Französisch, Deutsch, Italienisch, Portugiesisch, Polnisch, Türkisch, Russisch, Niederländisch, Tschechisch, Arabisch, Chinesisch, Japanisch, Ungarisch, Koreanisch und Hindi, liefert 24 kHz und übernimmt Emotion und Stil aus der Referenz.
Streaming ist möglich, die Autoren nennen eine Latenz unter 200 ms, ohne die Hardware anzugeben. Die Beispiele der Dokumentation laufen auf CUDA, Code zum Nachtrainieren ist enthalten.
XTTS-Lizenz: warum kommerzielle Nutzung ausscheidet
Die Gewichte von XTTS-v2 stehen unter der Coqui Public Model License. Sie erlaubt nur nicht-kommerzielle Nutzung und gilt nicht nur für das Modell, sondern auch für das erzeugte Audio: Sobald Sie direkt oder indirekt für das Modell oder seine Ausgabe bezahlt werden, sind Sie außerhalb der Lizenz. Unternehmen dürfen es nur testen, evaluieren und für nicht-kommerzielle Forschung nutzen.
Der Code von Coqui TTS selbst steht unter MPL-2.0; das Hindernis sind also die Gewichte, nicht der Code. Supertonic 3 steht unter OpenRAIL-M, einer gebührenfreien Lizenz mit einer Liste verbotener Nutzungen statt einer Nicht-kommerziell-Klausel. Bei SuperClonica gekaufte Stimmen sind für Ihre eigenen Projekte bestimmt und dürfen nicht weiterverkauft werden.
Coqui TTS heute
Das ursprüngliche Repository coqui-ai/TTS wird nicht mehr gepflegt. Idiap führt einen Fork, der auf PyPI als coqui-tts erscheint, mit fertigen Paketen für Linux, macOS und Windows und neueren Funktionen wie einem Cache für geklonte Stimmen. Die XTTS-v2-Gewichte und ihre Lizenz sind unverändert.
Klonen bei jeder Anfrage oder eine trainierte Stimmdatei
XTTS baut die Stimme bei jeder Anfrage neu aus dem Referenzclip auf, das Ergebnis hängt also vom übergebenen Clip ab. SuperClonica trainiert die Stimme einmal in eine Supertonic-3-Datei: eine saubere Aufnahme von 5 bis 10 Sekunden mit exaktem Transkript, Ihre eigene NVIDIA-GPU, ohne Gebühr. Sie können die Stimme auch bei einem Autor in Auftrag geben oder im Katalog auswählen.
Danach läuft die Datei offline auf einer gewöhnlichen CPU. Nach unserer Schätzung spricht SuperClonica auf einem Desktop-Prozessor mit 8 Kernen 6,4- bis 9,7-mal schneller als Echtzeit, ein Satz von 10 Sekunden dauert etwa 1,0–1,6 Sekunden.
Wann XTTS-v2 die bessere Wahl ist
SuperClonica ist die Wahl für bezahlte Projekte, Rechner ohne GPU und Stimmen, die Sie als Datei behalten möchten. XTTS-v2 passt weiterhin in diesen Fällen:
- Private, Forschungs- und Hobbyprojekte, in denen die nicht-kommerzielle Lizenz nicht stört.
- Sofortiges Klonen aus wenigen Sekunden Audio, ohne Training.
- Chinesische Sprachausgabe, die Supertonic 3 noch nicht hat.
- Bestehende Pipelines auf Basis der Coqui-TTS-Bibliothek.