Texto para fala para agentes de voz com IA: a camada de voz, rápida e barata
Um agente de voz com IA é uma cadeia: o reconhecimento de fala transforma as palavras de quem liga em texto, um modelo de linguagem escreve a resposta e o texto para fala a diz. O último passo decide como o agente soa e boa parte de quão rápido ele parece, e com cobrança por caractere costuma ser a maior conta.
A API de voz da SuperClonica foi feita para essa camada. Ela devolve o áudio em streaming a partir de cerca de 300 ms nas nossas medições, cobra por tempo e não por caractere, e deixa um agente falar com qualquer uma das 190 vozes do catálogo ou com uma voz que você mesmo treinou. Este guia mostra como conectá-la e onde estão os limites.
Fale frase a frase
Não espere o modelo terminar a resposta inteira. Leia a saída dele em streaming, corte no fim de cada frase e envie cada frase completa à API de voz assim que ficar pronta, com "stream": true. A primeira frase toca enquanto o modelo ainda escreve a próxima.
Frases curtas adiantam o primeiro som. Um monólogo longo também funciona: em streaming, um texto longo é dividido em partes, convertidas em vários workers ao mesmo tempo e tocadas a partir da primeira.
import os, requests
URL = "https://superclonica.com/api/v1/speech"
HEADERS = {"Authorization": "Bearer " + os.environ["SUPERCLONICA_KEY"]}
def say(sentence, voice="F1", language="en"):
with requests.post(URL, headers=HEADERS, stream=True, timeout=120,
json={"text": sentence, "voice": voice, "language": language, "stream": True}) as answer:
answer.raise_for_status()
for chunk in answer.iter_content(4096):
player.write(chunk) # an Ogg player or decoder of your choiceQue latência esperar
Nas nossas medições o primeiro som chega cerca de 300 ms após a requisição, mais o tempo de rede até o servidor. Ogg vem em streaming na hora; mp3 e wav só quando o texto passa de mais ou menos meio minuto de fala, então use Ogg para um agente. A API responde por HTTPS comum em partes: não há WebSocket, e cada frase é uma requisição.
Ligações telefônicas
A telefonia costuma pedir áudio μ-law a 8 kHz: o Twilio Media Streams, por exemplo, envia e recebe audio/x-mulaw a 8000 Hz. Decodifique o stream Ogg, reamostre para 8 kHz e codifique em μ-law antes de mandar para a ligação; o guia de vozes próprias para Twilio mostra a conversão para avisos gravados.
Como os planos limitam um agente
Um plano dá segundos de áudio em cada janela de 10 minutos: o Inicial, US$ 5 ao mês, converte 3 minutos por janela, Autor 8, Pro 20 e Estúdio 65. É o total de fala de todas as suas conversas juntas, então define quantas ligações podem falar ao mesmo tempo. Um agente fala talvez um terço da ligação, então o Inicial atende cerca de uma linha movimentada e o Pro umas cinco ou seis. Quando uma janela acaba, a API responde 429 com Retry-After; nada é cobrado por uma requisição recusada ou com falha.
A chave gratuita dá um minuto de áudio por dia: o bastante para montar e testar o agente antes de pagar.
Escolher a voz
Qualquer voz do catálogo funciona pela API com o ID mostrado na página dela, em qualquer plano. Vozes calmas de narrador e locutor combinam com suporte; as mais vivas, com vendas e jogos. Ouça primeiro as demos e gere a mesma frase de teste com duas ou três vozes nas páginas delas. Você também pode treinar uma voz com a sua própria gravação no site, por exemplo a voz da sua marca.
O Supertonic 3 fala 31 idiomas, mas ainda não chinês, e não tem SSML nem marcação de tempo por palavra; se o seu agente precisa disso, um TTS grande na nuvem serve melhor.