Chatterbox TTS ou SuperClonica : clonage instantané ou fichier de voix entraîné
Chatterbox est une famille de modèles ouverts de synthèse vocale de Resemble AI, sous licence MIT. Chaque modèle clone une voix en zero-shot à partir d’un court extrait de référence. La famille comprend Multilingual V3, avec 500 millions de paramètres et 23 langues, le modèle anglais Turbo avec 350 millions, le modèle anglais Nano avec 110 millions pour le CPU, et une série de modèles affinés pour une seule langue.
SuperClonica prend le chemin inverse : une voix est entraînée une fois dans un fichier Supertonic 3, puis tourne vite sur un processeur ordinaire. Chatterbox ne figure pas dans notre tableau comparatif, nous ne donnons donc pas nos propres notes de vitesse ou de qualité pour lui.
Les modèles Chatterbox
Multilingual V3 est le modèle généraliste : arabe, danois, allemand, grec, anglais, espagnol, finnois, français, hébreu, hindi, italien, japonais, coréen, malais, néerlandais, norvégien, polonais, portugais, russe, suédois, swahili, turc et chinois. Des modèles affinés à part couvrent le chinois, l’espagnol d’Amérique latine et d’Espagne, le portugais du Brésil et du Portugal, et le hindi.
Turbo vise les agents vocaux en anglais à faible latence et comprend des balises comme [laugh] et [cough]. Nano reprend son architecture avec 110 millions de paramètres ; selon Resemble AI, il tourne 3 fois plus vite que le temps réel sur 8 cœurs de CPU. Le paquet s’installe avec pip install chatterbox-tts et a été testé sous Python 3.11.
Cloner depuis un extrait ou une voix entraînée
Avec Chatterbox, vous passez un enregistrement de référence à chaque requête, et le modèle en reconstruit la voix. C’est le chemin le plus court vers une nouvelle voix, et le résultat dépend de l’extrait utilisé.
SuperClonica entraîne la voix une seule fois. Il vous faut un enregistrement propre de 5 à 10 secondes avec sa transcription exacte et un GPU NVIDIA dans votre propre ordinateur ; l’entraînement est gratuit et le JSON se télécharge gratuitement. Sans GPU, commandez la voix à un auteur, avec un budget réservé jusqu’à ce que vous acceptiez le résultat, ou choisissez une voix prête avec démos dans le catalogue. Ensuite, chaque requête part du même fichier.
Vitesse de Chatterbox sur CPU
Nous n’avons pas mesuré Chatterbox. Le chiffre de Resemble AI pour Nano est de 3 fois plus vite que le temps réel sur 8 cœurs de CPU ; les exemples des modèles plus gros tournent sur CUDA.
Pour SuperClonica, nous estimons 6,4 à 9,7 fois plus vite que le temps réel sur un CPU de bureau à 8 cœurs. Les deux chiffres viennent de tests et de textes différents : prenez-les comme point de départ et mesurez sur votre propre machine.
Licences et filigranes
Le code et les poids de Chatterbox sont sous MIT, l’une des licences les plus permissives qui soient. Chaque fichier généré par Chatterbox porte le filigrane PerTh de Resemble AI, une marque inaudible conçue pour résister à la compression MP3 et au montage, afin que la voix puisse ensuite être reconnue comme générée.
Supertonic 3 est sous OpenRAIL-M, une licence gratuite avec une liste d’usages interdits. Les voix achetées sur SuperClonica servent à vos propres projets et ne peuvent pas être revendues.
Quand Chatterbox est le meilleur choix
SuperClonica convient si vous voulez un fichier de voix fixe, une synthèse rapide sur CPU dans les 31 langues de Supertonic 3 ou une voix faite pour vous par un auteur. Chatterbox est meilleur pour :
- Le clonage instantané depuis un extrait, sans entraînement.
- Le chinois, l’hébreu, le malais ou le swahili, que Supertonic 3 ne couvre pas.
- Un anglais expressif avec rires, toux et autres balises non verbales.
- Les projets qui ont besoin de la licence MIT pour les poids du modèle.