Fish Audio e Fish Speech comparados ao SuperClonica
A Fish Audio desenvolve alguns dos modelos abertos de texto para fala mais expressivos, e na nossa própria comparação o S2 Pro tem a maior nota de qualidade. Mas é um modelo grande, pensado para GPU. O SuperClonica vai no sentido oposto: um pequeno arquivo de voz do Supertonic 3 que roda rápido e offline em um processador comum.
Se você procura uma alternativa ao Fish Audio ou ao Fish Speech porque não tem GPU ou quer colocar voz dentro de um app, continue lendo. Se precisa do máximo de expressividade ou de chinês, o Fish Audio provavelmente é a ferramenta certa.
Fish Audio, Fish Speech e S2 Pro: o que é cada um
A Fish Audio publica seus modelos abertos em um repositório do GitHub chamado fish-speech, e as primeiras versões levavam esse nome: o Fish Speech 1.5, por exemplo, cobre 13 idiomas sob a licença CC-BY-NC-SA-4.0. Os modelos mais novos se chamam Fish Audio S2 e S2 Pro.
O S2 Pro, modelo da nossa tabela, usa um design autorregressivo duplo: um modelo de 4 bilhões de parâmetros prevê o codebook principal e outro de 400 milhões completa os outros nove. A página do modelo informa mais de 80 idiomas e tags livres dentro do texto, como [whisper in small voice] ou [pitch up]. O repositório já traz também o Fish Audio Drama 3, um modelo mais novo e maior que a nossa tabela ainda não cobre.
Fish Audio S2 Pro x SuperClonica: velocidade no CPU
Pela nossa estimativa para um processador de desktop de 8 núcleos, o S2 Pro precisa de 4 a 10 segundos de processamento para cada segundo de áudio: uma fala de 10 segundos leva de 40 a 100 segundos. O SuperClonica gera a mesma fala em cerca de 1,0 a 1,6 segundo.
É o número mais aproximado da nossa tabela. Não existe benchmark público em CPU, então calculamos a partir do cliente GGUF s2.cpp e da arquitetura do modelo, supondo uma largura de banda efetiva de memória de 30 a 50 GB/s. Na GPU o cenário muda: a Fish Audio informa RTF de 0,195 e cerca de 100 ms até o primeiro áudio em uma única NVIDIA H200.
Onde o Fish Audio é melhor
Para voz expressiva, o Fish Audio S2 Pro tem vantagens claras.
- Qualidade: 5 de 5 na nossa tabela, contra 4,5 do SuperClonica.
- Idiomas: mais de 80, incluindo chinês. O Supertonic 3 tem 31 e ainda não fala chinês.
- Clonar voz sem treino: segundo o repositório fish-speech, 10 a 30 segundos de referência bastam para reproduzir um timbre.
- Controle de emoção: tags livres no texto para sussurrar, rir, dar ênfase ou mudar o tom.
Licenças e uso comercial
Os pesos do S2 Pro são publicados sob a Fish Audio Research License: pesquisa e uso não comercial são gratuitos, e o uso comercial exige uma licença separada da Fish Audio. O código do repositório e os demais pesos ficam sob a Fish Audio Community License.
O Supertonic 3 é publicado sob a OpenRAIL-M, uma licença gratuita com uma lista de usos proibidos (por exemplo, se passar por outra pessoa sem o consentimento dela) em vez de uma cláusula não comercial. Uma voz comprada no SuperClonica é para os seus próprios projetos e não pode ser revendida.
Fish Audio ou SuperClonica: como escolher
O SuperClonica vence em velocidade no CPU e estabilidade do timbre: 5 de 5 nos dois, contra 1 e 4 do S2 Pro. Para horas de narração em um notebook, ou voz gerada no computador do jogador, isso pesa mais que a última meia estrela de qualidade.
- Fish Audio S2 Pro se você tem uma boa GPU, precisa de chinês ou de um idioma menos comum, quer clonar na hora a partir de um trecho curto ou usa tags de emoção.
- SuperClonica se a voz precisa rodar no CPU, offline, com velocidade previsível ou dentro de um app que você distribui.