J'ai fait en sorte que mon agent vocal se sente plus rapide en diffusant des phrases, pas de l'audio

Ce qui est ennuyeux avec les agents vocaux, c'est que « le modèle est rapide » ne signifie pas que l'expérience est rapide.

J'avais un petit assistant vocal fonctionnant sur un appareil local, parlant à un backend de chat hébergé. L’appel LLM lui-même ne représentait qu’une partie de l’attente. Le chemin complet ressemblait davantage à ceci :

1. détection de mot de réveil
2. reconnaissance vocale
3. authentifié/chatappel
4. réponse du modèle
5. synthèse TTS locale
6. lecture audio

Si vous attendez la fin de l'étape 4 avant de commencer l'étape 5, l'utilisateur n'entend rien jusqu'à ce que la réponse complète soit terminée. Cela semble mort, même lorsque le backend fonctionne techniquement bien.

J'ai d...
[Courte citation de 8% de l'article original]