Coqui XTTS-v2 ou SuperClonica: uma alternativa ao Coqui TTS
O XTTS-v2 é o modelo de clonagem de voz da Coqui, lançado junto com a biblioteca de código aberto Coqui TTS. A partir de um trecho curto de referência, ele fala com aquela voz em 17 idiomas, português incluído, e consegue levar uma voz de um idioma para outro.
Se você pensa em construir algo em cima dele hoje, duas coisas importam: o repositório original coqui-ai/TTS não é mais mantido, e a licença dos pesos do XTTS não permite uso comercial. Se você procura uma alternativa ao Coqui TTS, veja como o SuperClonica se compara. O XTTS não está na nossa tabela comparativa, então não damos números de velocidade nem de qualidade para ele.
O que o XTTS-v2 faz
O XTTS-v2 clona uma voz com poucos segundos de áudio: a página do modelo fala em um trecho de 6 segundos, a documentação em 3. Ele fala inglês, espanhol, francês, alemão, italiano, português, polonês, turco, russo, holandês, tcheco, árabe, chinês, japonês, húngaro, coreano e hindi, gera áudio em 24 kHz e transfere emoção e estilo da referência.
Ele faz streaming, e os autores falam em latência abaixo de 200 ms sem dizer em qual hardware. Os exemplos da documentação rodam em CUDA, e há código para ajuste fino.
Licença do XTTS: por que o uso comercial fica de fora
Os pesos do XTTS-v2 estão sob a Coqui Public Model License. Ela só permite uso não comercial e vale não só para o modelo, mas também para o áudio gerado: a partir do momento em que você recebe pagamento, direto ou indireto, pelo modelo ou pelo que ele gera, já está fora da licença. Empresas só podem usá-lo para testes, avaliação e pesquisa não comercial.
O código do Coqui TTS em si está sob MPL-2.0, então o obstáculo não é o código, e sim os pesos. O Supertonic 3 usa a OpenRAIL-M, uma licença livre de royalties com uma lista de usos proibidos no lugar de uma cláusula não comercial. As vozes compradas no SuperClonica são para os seus próprios projetos e não podem ser revendidas.
O Coqui TTS hoje
O repositório original coqui-ai/TTS não é mais mantido. O Idiap mantém um fork publicado no PyPI como coqui-tts, com pacotes prontos para Linux, macOS e Windows e novidades como cache de vozes clonadas. Os pesos do XTTS-v2 e a licença deles continuam os mesmos.
Clonar a cada pedido ou um arquivo de voz treinado
O XTTS reconstrói a voz a partir do trecho de referência a cada pedido, então o resultado depende do áudio que você passa. O SuperClonica treina a voz uma vez em um arquivo do Supertonic 3: uma gravação limpa de 5 a 10 segundos com a transcrição exata, a sua própria GPU NVIDIA, sem custo. Você também pode encomendar a voz de um autor ou escolher uma no catálogo.
Depois, o arquivo roda offline em um processador comum. Pela nossa estimativa, o SuperClonica converte texto em fala de 6,4 a 9,7 vezes mais rápido que o tempo real em um CPU de desktop com 8 núcleos: uma frase de 10 segundos em cerca de 1,0–1,6 segundo.
Quando o XTTS-v2 é a melhor escolha
Escolha o SuperClonica para projetos pagos, computadores sem GPU e vozes que você quer guardar como arquivo. O XTTS-v2 ainda serve nestes casos:
- Projetos pessoais, de pesquisa ou hobby, em que a licença não comercial não atrapalha.
- Clonar voz na hora com poucos segundos de áudio, sem treino.
- Fala em chinês, que o Supertonic 3 ainda não tem.
- Fluxos que já foram construídos sobre a biblioteca Coqui TTS.