Alternativa ao Kyutai TTS: mais idiomas, suas vozes e sem GPU
O Kyutai TTS é um modelo aberto de texto para fala em streaming do laboratório francês Kyutai: ele começa a falar logo depois das primeiras palavras do texto, o que o torna atraente para assistentes de voz. Ele fala inglês e francês, e as vozes vêm como embeddings pré-calculados.
Este guia resume o que diz o cartão do modelo, quando escolher o Kyutai TTS e quando o SuperClonica, baseado no pequeno modelo Supertonic 3, combina melhor.
O Kyutai TTS em resumo
Apesar do 1.6b no nome, o cartão diz que ele tem 1,8 bilhão de parâmetros: uma base de 1 bilhão e um depth transformer de 600 milhões. Ele fala inglês e francês e funciona em streaming: o áudio começa assim que chegam as primeiras palavras. Os pesos saem sob CC-BY 4.0, ele roda com o pacote Python moshi da Kyutai e o código de exemplo usa uma GPU CUDA.
Vozes e clonagem
A Kyutai decidiu limitar a clonagem de voz a embeddings pré-calculados, publicados em um repositório separado, tts-voices: você escolhe entre as vozes oferecidas em vez de clonar qualquer gravação. O cartão também diz que não há marca d’água.
No que o SuperClonica é diferente
O SuperClonica usa o Supertonic 3, um modelo bem menor, em um processador comum sem GPU, e cada voz fala 31 idiomas, do inglês e francês ao russo, japonês e coreano. O catálogo tem narradores e vozes de personagens, dez vozes padrão são grátis e o estúdio treina uma voz a partir da sua gravação limpa de 5 a 10 segundos. Para apps, a Speech API hospedada também transmite áudio em streaming, como mostra nosso guia da API em streaming.
Qual escolher
Escolha o Kyutai TTS se você constrói um assistente em inglês ou francês na sua própria GPU e quer o design em streaming e pesos abertos. Escolha o SuperClonica se precisa de mais idiomas, um notebook ou servidor sem GPU, vozes de personagens ou a sua própria voz. A Kyutai também faz o pequeno Pocket TTS, que nosso guia do Pocket TTS compara. Teste qualquer voz do SuperClonica grátis na página dela com 30 a 100 caracteres ou instale o motor com python -m pip install superclonica-cpu.