)
Créer des assistants IA en temps réel avec Google Live API
Le streaming bidirectionnel persistant permet aux modèles Gemini d’écouter, de voir et de répondre au fil d’une conversation naturelle, transformant les données et les outils d’entreprise en assistants vocaux en temps réel.
Le streaming bidirectionnel persistant comme fondement de l’IA en temps réel
Une Live API se distingue fondamentalement du fonctionnement requête-réponse des interfaces REST traditionnelles. Dans une interaction API classique, le client envoie une requête, le serveur la traite et renvoie une réponse, puis la connexion se ferme. Une Live API maintient la connexion après chaque échange, ce qui permet au client comme au serveur d’envoyer des données à tout moment sans rétablir la communication. Le serveur peut transmettre spontanément des mises à jour lorsqu’un état change, tandis que le client peut diffuser des entrées en continu sans attendre la confirmation des transmissions précédentes. Ce modèle de connexion persistante réduit la latence aller-retour, qui atteint généralement 300 à 500 millisecondes avec des appels de services en chaîne, à environ 30 millisecondes. Il permet ainsi des interactions dont le rythme se rapproche davantage d’un dialogue humain que de celui d’un système téléphonique automatisé.
Google a appliqué cette architecture de streaming à l’inférence IA en reliant directement le modèle bidirectionnel persistant à la famille de modèles Gemini. Dans Google Live API, le client est l’application de l’utilisateur et le serveur est le modèle Gemini lui-même. Les utilisateurs transmettent du texte, de l’audio et de la vidéo au modèle via une seule connexion WebSocket. Le modèle analyse ces données en continu et répond en temps réel par du texte, de la parole synthétisée ou une vidéo d’avatar. Ces capacités multimodales permettent de gérer simultanément, au sein d’une même session, une conversation vocale, l’analyse visuelle d’une webcam ou d’un écran et le traitement de texte, sans devoir orchestrer des services distincts pour chaque modalité.
Plusieurs fonctionnalités qui nécessiteraient habituellement un développement spécifique sont intégrées nativement au protocole de connexion. L’API prend en charge les conversations dans plus de 70 langues avec une synthèse vocale naturelle, ce qui évite de recourir à des services de synthèse vocale distincts. La détection d’activité vocale (VAD) s’effectue côté serveur : l’API détermine elle-même quand une personne a terminé de parler et déclenche la réponse du modèle sans traitement du signal côté client. La prise en compte du contexte est configurée lors de l’établissement de la connexion grâce à des prompts système qui définissent les règles de comportement, les connaissances métier et la manière de raisonner de l’assistant. Les appels de fonctions sont pris en charge à la fois par l’ancrage natif dans Google Search pour accéder à des informations actualisées et par des déclarations d’outils personnalisés permettant au modèle d’invoquer des services externes pendant la conversation. Ces fonctions natives réduisent sensiblement le travail d’ingénierie nécessaire à la création d’un assistant conversationnel prêt pour la production.
Architecture technique pour un assistant IA en temps réel
L’implémentation de référence développée par Machine Learning Reply organise l’application en quatre tâches asynchrones exécutées en parallèle et coordonnées au moyen de files d’attente partagées. Cette conception reflète le caractère intrinsèquement concurrent des conversations en temps réel : la capture audio, la capture vidéo, la communication avec le modèle et la lecture audio doivent fonctionner simultanément sans se bloquer mutuellement.
Le gestionnaire audio prend en charge l’ensemble des échanges vocaux dans les deux sens. Il définit les fréquences d’échantillonnage et les tailles de blocs adaptées au streaming en temps réel, puis maintient deux files d’attente asynchrones pour les flux entrants et sortants. Une fonction d’écoute capture en continu le signal du microphone et place les blocs audio dans la file de sortie, tandis qu’une fonction de lecture récupère la parole synthétisée depuis la file d’entrée et l’envoie vers le haut-parleur. La séparation de la capture et de la lecture en coroutines indépendantes permet à l’application de continuer à écouter même pendant qu’elle fournit une réponse, condition essentielle à la fluidité naturelle du dialogue.
Le gestionnaire vidéo propose deux modes de capture. Le mode webcam récupère en continu les images d’une caméra connectée, tandis que le mode de partage d’écran capture l’affichage à une fréquence d’images configurable. Dans les deux cas, les images sont déposées dans une file de traitement qui alimente la connexion au modèle. Le gestionnaire vidéo fonctionne indépendamment du gestionnaire audio, ce qui permet au modèle de recevoir en permanence le contexte visuel, que l’utilisateur soit en train de parler ou non.
Le client Gemini gère la connexion WebSocket à l’infrastructure de Google. Une fonction de connexion établit la session persistante avec le modèle, le prompt système et les déclarations d’outils configurés. Une boucle de réception surveille les messages entrants, qui peuvent contenir des réponses textuelles, des blocs audio destinés à la lecture ou des demandes d’appels de fonctions nécessitant l’exécution d’opérations externes et le renvoi de leurs résultats. Une fonction d’envoi transmet au modèle les images vidéo et les blocs audio en attente à des intervalles appropriés, afin de maintenir le flux en temps réel sans saturer la connexion.
La couche d’orchestration principale relie l’ensemble de ces composants. Elle charge les variables d’environnement, notamment les clés API de Gemini et des services intégrés, sélectionne le modèle parmi la famille de modèles Gemini Live de type speech-to-speech et construit la configuration de la session. Celle-ci précise le prompt système, les outils déclarés, la modalité de sortie (audio ou texte), les paramètres vocaux et les réglages de sensibilité de la VAD. Une fois la configuration établie, l’orchestrateur lance toutes les tâches asynchrones en parallèle et gère leur cycle de vie, en assurant un arrêt propre lorsque la session se termine ou qu’une erreur survient.
Les appels de fonctions connectent l’assistant à des systèmes externes
L’architecture décrite ci-dessus donne naissance à un assistant conversationnel capable d’interagir par la voix et l’image. Toutefois, son utilité concrète en entreprise dépend de sa capacité à exploiter des informations issues de systèmes externes et à agir sur ces systèmes. Google Live API répond à ce besoin grâce aux appels de fonctions (function calling), un mécanisme permettant au modèle d’invoquer des opérations définies pendant la conversation et d’intégrer leurs résultats à ses réponses.
L’API propose deux catégories d’appels de fonctions. L’ancrage natif dans Google Search permet au modèle de récupérer des informations récentes sur le Web lorsqu’une question exige des connaissances à jour, sans développement spécifique. Pour les outils personnalisés, les développeurs doivent déclarer des schémas de fonctions précisant les noms, les descriptions et les paramètres d’entrée. Le modèle s’appuie sur sa compréhension du langage naturel pour déterminer si un outil déclaré est pertinent dans le contexte du dialogue, construire les arguments appropriés à partir de la conversation et transmettre une demande d’appel de fonction à l’application cliente. Celle-ci exécute la fonction, renvoie le résultat au modèle via la connexion persistante et le modèle l’intègre à sa réponse en cours.
Dans l’implémentation de référence, ce mécanisme est connecté à une plateforme de gestion des connaissances. Une fonction parcourt récursivement les hiérarchies de pages pour en récupérer le contenu, tandis qu’une fonction de recherche reçoit un sujet en paramètre, identifie la page la plus pertinente et renvoie au modèle l’intégralité de son contenu. Le même principe s’applique à tout service disposant d’une API. Parmi les intégrations courantes en entreprise figurent les systèmes de tickets comme Jira pour créer et consulter des demandes, les bases de données vectorielles pour la génération augmentée par récupération (RAG) permettant de rechercher dans les connaissances de l’organisation, les CRM pour accéder au contexte client et les connexions via le Model Context Protocol pour une interopérabilité standardisée des outils. Le schéma de déclaration des fonctions fournit au modèle suffisamment de métadonnées descriptives pour déterminer quand appeler un outil et comment construire ses arguments, sans qu’il soit nécessaire de programmer explicitement la logique de décision.
Applications d'entreprise dans le service client, la collaboration et l'automatisation
L’association d’interactions vocales à faible latence, du traitement d’entrées multimodales et de l’intégration de systèmes externes ouvre la voie à plusieurs catégories d’applications en entreprise. Dans la relation client, un assistant traite les demandes des utilisateurs par une conversation naturelle, sans arbres de réponses préenregistrées ni parcours de dialogue rigides. Il réduit ainsi les délais d’attente et assure une disponibilité continue. L’assistant peut accéder aux dossiers clients grâce aux appels de fonctions, consulter des bases de connaissances pour obtenir des informations produit et transférer l’échange à un conseiller humain lorsque le niveau de confiance est insuffisant, le tout au cours d’un même tour de conversation.
Les applications interactives de jeu, de simulation et de formation tirent parti de l’entrée vidéo. L’IA observe les actions de l’utilisateur via le partage d’écran et fournit des conseils contextualisés en temps réel, en réagissant aux éléments visuels sans demander à l’utilisateur de décrire ce qu’il voit. Les applications de collaboration en temps réel et d’apprentissage des langues exploitent le traitement audio à faible latence pour fournir un retour pendant les exercices sans délai perceptible, en corrigeant la prononciation ou la grammaire pendant que l’apprenant parle plutôt qu’après une phrase complète. Les assistants vocaux et domestiques s’appuient sur la connexion persistante pour conserver le contexte au fil des échanges et interagir avec les services connectés par appels de fonctions, créant une expérience continue plutôt qu’une succession de transactions. Dans les scénarios de traduction en direct, la synthèse vocale multilingue facilite les échanges entre personnes parlant des langues différentes, avec une latence suffisamment faible pour préserver le rythme naturel de la conversation.
Considérations opérationnelles pour le déploiement en production
Le passage en production implique plusieurs considérations techniques et de gouvernance que les équipes peuvent anticiper grâce à une conception rigoureuse. Le mécanisme de barge-in, par exemple, permet à l’utilisateur d’interrompre l’assistant pendant qu’il parle, comme dans une conversation naturelle. Lorsqu’une interruption est détectée, le serveur envoie un événement, le modèle arrête de générer sa réponse et l’application vide sa file de sortie audio. L’assistant repasse immédiatement en mode écoute et répond dès que l’utilisateur a fini de parler. Ce comportement est géré nativement par l’API : la seule action nécessaire côté client consiste à vider le tampon audio local à la réception de l’événement d’interruption.
Pour les applications qui traitent des données sensibles, une approche de gouvernance simple répond aux exigences de transparence : informer les utilisateurs, au début de chaque session, qu’ils interagissent avec un système d’IA et recueillir leur consentement explicite avant tout traitement d’informations sensibles. Il s’agit d’une pratique courante pour toute application d’IA conversationnelle, quelle que soit la technologie sous-jacente. Les équipes peuvent la mettre en œuvre au moyen d’informations claires et de parcours de consentement intégrés à l’ouverture de la session.
Les modèles Gemini Live prennent en charge le texte et l’audio comme modalités de sortie, tandis que les entrées vidéo provenant d’une webcam ou de la capture d’écran sont pleinement disponibles. Le traitement des entrées couvre le texte, l’audio et la vidéo, offrant des capacités de perception étendues adaptées à la majorité des usages en entreprise. Au-delà du texte et de l’audio, les modèles Gemini Live peuvent produire une sortie vidéo grâce à Live Avatar, qui affiche en temps réel un avatar parlant synchronisé avec la voix synthétisée. Les modèles proposés en version préliminaire (preview) peuvent évoluer en matière de comportement ou d’API et n’offrent pas les garanties des versions généralement disponibles. Ils conviennent donc à l’évaluation et au prototypage, notamment pour les scénarios nécessitant un avatar. Les déploiements en production s’appuient sur les modèles Gemini Live speech-to-speech généralement disponibles, qui offrent la stabilité et la faible latence nécessaires aux applications d’entreprise.
Google facture l’utilisation de Live API au million de tokens, conformément à la tarification habituelle des modèles Gemini. Les entrées audio et vidéo sont converties en tokens selon leur durée et leur résolution : les sessions plus longues et les vidéos de meilleure résolution consomment davantage de tokens par unité de temps. La modélisation des coûts pour les charges de travail en production est relativement simple dès lors que les équipes estiment la durée moyenne des sessions, le nombre de connexions simultanées et la proportion d’interactions multimodales par rapport aux échanges uniquement textuels. Les limites de durée des sessions sont configurables. Pour les interactions prolongées, les applications peuvent implémenter une logique de reconnexion qui conserve le contexte de la conversation grâce à des résumés périodiques et à une rétention sélective de l’historique. Cette approche éprouvée permet de garder une consommation prévisible de tokens dans les limites de la fenêtre de contexte du modèle.
Google Live API comme fondement de l’IA vocale en entreprise
Google Live API réunit la transcription vocale (speech-to-text), l’inférence du modèle de langage et la synthèse vocale (text-to-speech) de l’IA conversationnelle au sein d’une seule connexion WebSocket persistante, ramenant la latence aller-retour de plusieurs centaines de millisecondes à environ 30 millisecondes. L’API gère nativement la détection d’activité vocale, le barge-in, la synthèse vocale multilingue et le traitement d’entrées multimodales, ce qui réduit les développements spécifiques nécessaires à un assistant vocal prêt pour la production. Les appels de fonctions permettent l’intégration à des services externes variés, rendant cette technologie pertinente pour la relation client, les outils internes et les processus collaboratifs. Machine Learning Reply a développé des architectures de référence et des modèles d’implémentation pour déployer Google Live API en entreprise, couvrant le traitement audio et vidéo, la gestion des sessions, l’intégration des outils et les enjeux de conformité.
Questions Fréquemment Posées

Machine Learning Reply fournit des solutions de science des données sur mesure, de bout en bout, qui couvrent l'ensemble du cycle de vie du projet—de la consultation stratégique initiale à l'architecture et à l'infrastructure des données, en passant par le traitement des données et l'assurance qualité à l'aide d'algorithmes d'apprentissage automatique. L'entreprise apporte une vaste expertise en science des données dans des secteurs clés, permettant aux clients de lancer de nouveaux modèles commerciaux basés sur les données et d'optimiser les processus et produits existants, avec un fort accent sur les technologies open-source et cloud. Spécialisée en apprentissage automatique, informatique cognitive et intelligence artificielle sur la pile technologique Google, Machine Learning Reply applique des techniques avancées telles que l'apprentissage profond, le traitement du langage naturel et la reconnaissance d'images/vidéos à des cas d'utilisation incluant l'automatisation intelligente, les moteurs prédictifs, les systèmes de recommandation et les agents conversationnels. Grâce à l'incubateur Machine Learning, l'entreprise propose un programme pour former la prochaine génération de décideurs, de scientifiques des données et de développeurs.