Synthèse vocale pour agents vocaux IA : la couche voix, rapide et économique
Un agent vocal IA est une chaîne : la reconnaissance vocale transforme les paroles de l’appelant en texte, un modèle de langage écrit la réponse et la synthèse vocale la prononce. Cette dernière étape décide de la voix de l’agent et d’une bonne part de sa rapidité perçue, et avec une facturation au caractère c’est souvent la plus grosse facture.
L’API vocale de SuperClonica est faite pour cette couche. Elle renvoie le son en flux dès environ 300 ms selon nos mesures, se facture au temps et non au caractère, et permet à un agent de parler avec n’importe laquelle des 190 voix du catalogue ou avec une voix que vous entraînez vous-même. Ce guide montre comment la brancher et où sont ses limites.
Parler phrase par phrase
N’attendez pas que le modèle ait fini toute sa réponse. Lisez sa sortie en flux, coupez-la à la fin de chaque phrase et envoyez chaque phrase complète à l’API vocale dès qu’elle est prête, avec "stream" : true. La première phrase se joue pendant que le modèle écrit encore la suivante.
Des phrases courtes avancent le premier son. Un long monologue fonctionne aussi : en flux, un long texte est découpé en morceaux, lus sur plusieurs workers à la fois et joués dès le premier morceau.
import os, requests
URL = "https://superclonica.com/api/v1/speech"
HEADERS = {"Authorization": "Bearer " + os.environ["SUPERCLONICA_KEY"]}
def say(sentence, voice="F1", language="en"):
with requests.post(URL, headers=HEADERS, stream=True, timeout=120,
json={"text": sentence, "voice": voice, "language": language, "stream": True}) as answer:
answer.raise_for_status()
for chunk in answer.iter_content(4096):
player.write(chunk) # an Ogg player or decoder of your choiceLa latence à attendre
Selon nos mesures, le premier son arrive environ 300 ms après la requête, plus le temps réseau jusqu’au serveur. L’Ogg arrive en flux tout de suite ; le mp3 et le wav seulement pour un texte de plus d’une demi-minute de parole environ, prenez donc l’Ogg pour un agent. L’API répond en HTTPS classique par morceaux : pas de WebSocket, et chaque phrase est une requête.
Les appels téléphoniques
La téléphonie demande en général de l’audio μ-law à 8 kHz : Twilio Media Streams, par exemple, envoie et reçoit de l’audio/x-mulaw à 8000 Hz. Décodez le flux Ogg, rééchantillonnez-le à 8 kHz et encodez-le en μ-law avant de l’envoyer dans l’appel ; le guide sur les voix personnalisées pour Twilio montre la conversion pour des messages préenregistrés.
Comment les offres limitent un agent
Une offre donne des secondes d’audio dans chaque fenêtre de 10 minutes : Débutant, à 5 $ par mois, lit 3 minutes par fenêtre, Auteur 8, Pro 20 et Studio 65. C’est la parole de toutes vos conversations réunies, elle fixe donc combien d’appels peuvent parler en même temps. Un agent parle environ un tiers de l’appel : Débutant suffit pour une ligne chargée, Pro pour cinq ou six. Quand une fenêtre est épuisée, l’API répond 429 avec Retry-After ; une requête refusée ou en échec n’est pas facturée.
La clé gratuite donne une minute d’audio par jour : de quoi construire et tester l’agent avant de payer.
Choisir la voix
Toute voix du catalogue fonctionne par l’API avec l’ID indiqué sur sa page, avec n’importe quelle offre. Les voix calmes de narrateur et d’annonceur conviennent au support, les voix plus vives à la vente et aux jeux. Écoutez d’abord les démos et faites lire la même phrase test à deux ou trois voix sur leurs pages. Vous pouvez aussi entraîner une voix à partir de votre enregistrement sur le site, par exemple la voix de votre marque.
Supertonic 3 parle 31 langues mais pas encore le chinois, et n’a ni SSML ni horodatage des mots ; si votre agent en a besoin, une grande synthèse vocale cloud conviendra mieux.