Chatterbox TTS ou SuperClonica: clonagem na hora ou um arquivo de voz treinado
O Chatterbox é uma família de modelos abertos de texto para fala da Resemble AI, sob licença MIT. Todos clonam uma voz zero-shot a partir de um trecho curto de referência. A família tem o Multilingual V3, com 500 milhões de parâmetros e 23 idiomas; o Turbo, em inglês, com 350 milhões; o Nano, também em inglês, com 110 milhões para uso no CPU; e um conjunto de modelos ajustados para idiomas específicos.
O SuperClonica segue o caminho oposto: a voz é treinada uma vez em um arquivo do Supertonic 3 e depois roda rápido em um processador comum. O Chatterbox não está na nossa tabela comparativa, então não damos números próprios de velocidade nem de qualidade para ele.
Os modelos do Chatterbox
O Multilingual V3 é o modelo geral: árabe, dinamarquês, alemão, grego, inglês, espanhol, finlandês, francês, hebraico, hindi, italiano, japonês, coreano, malaio, holandês, norueguês, polonês, português, russo, sueco, suaíli, turco e chinês. Há modelos ajustados à parte para chinês, espanhol latino-americano e da Espanha, português do Brasil e de Portugal, e hindi.
O Turbo é voltado para agentes de voz em inglês com baixa latência e entende tags como [laugh] e [cough]. O Nano usa a mesma arquitetura com 110 milhões de parâmetros, e a Resemble AI informa que ele roda 3 vezes mais rápido que o tempo real em 8 núcleos de CPU. O pacote se instala com pip install chatterbox-tts e foi testado no Python 3.11.
Clonar a partir de um trecho ou uma voz treinada
No Chatterbox você passa uma gravação de referência a cada pedido, e o modelo reconstrói a voz a partir dela. É o caminho mais rápido para uma voz nova, e o resultado depende do trecho usado.
O SuperClonica treina a voz uma vez só. Você precisa de uma gravação limpa de 5 a 10 segundos com a transcrição exata e de uma GPU NVIDIA no seu computador; o treino é grátis e o JSON é baixado de graça. Sem GPU, encomende a voz de um autor, com o orçamento reservado até você aceitar o resultado, ou escolha uma voz pronta com demos no catálogo. Depois disso, todo pedido parte do mesmo arquivo.
Velocidade do Chatterbox no CPU
Nós não medimos o Chatterbox. O número da Resemble AI para o Nano é 3 vezes mais rápido que o tempo real em 8 núcleos de CPU; os exemplos dos modelos maiores rodam em CUDA.
Para o SuperClonica estimamos de 6,4 a 9,7 vezes mais rápido que o tempo real em um CPU de desktop com 8 núcleos. Os dois números vêm de testes e textos diferentes, então use-os como ponto de partida e meça no seu próprio computador.
Licenças e marcas d'água
O código e os pesos do Chatterbox estão sob MIT, uma das licenças mais permissivas que existem. Todo arquivo gerado pelo Chatterbox leva a marca d'água PerTh da Resemble AI, uma marca inaudível feita para resistir à compressão em MP3 e à edição, para que a fala possa ser reconhecida depois como gerada.
O Supertonic 3 está sob a OpenRAIL-M, uma licença livre de royalties com uma lista de usos proibidos. As vozes compradas no SuperClonica são para os seus próprios projetos e não podem ser revendidas.
Quando o Chatterbox é a melhor escolha
O SuperClonica serve quando você quer um arquivo de voz fixo, texto para fala rápido no CPU nos 31 idiomas do Supertonic 3 ou uma voz feita para você por um autor. O Chatterbox é melhor para:
- Clonar voz na hora a partir de um trecho, sem treino.
- Chinês, hebraico, malaio ou suaíli, que o Supertonic 3 não cobre.
- Inglês expressivo com risadas, tosses e outras tags não verbais.
- Projetos que precisam da licença MIT para os pesos do modelo.