Article

Sviluppare assistenti AI in tempo reale con Google Live API

Con lo streaming bidirezionale persistente, i modelli Gemini ascoltano, vedono e rispondono in una conversazione naturale e trasformano dati e strumenti aziendali in assistenti vocali in tempo reale.

Lo streaming bidirezionale persistente come base per l'AI in real time

Una Live API funziona in modo profondamente diverso dal modello richiesta-risposta delle tradizionali interfacce REST. In una normale interazione via API, il client invia una richiesta, il server la elabora e risponde, poi la connessione si chiude. Una Live API mantiene invece aperta la connessione dopo ogni scambio: client e server possono inviare dati in qualsiasi momento senza doverla ristabilire. Il server può inviare aggiornamenti di propria iniziativa quando lo stato cambia, e il client può trasmettere input in modo continuo senza attendere la conferma di ricezione degli invii precedenti. Con questa connessione persistente, la latenza di andata e ritorno scende dai 300-500 millisecondi tipici delle chiamate in sequenza tra servizi a circa 30 millisecondi. Con tempi simili, la conversazione si avvicina più a un dialogo tra persone che a un risponditore telefonico automatico.

Google ha applicato questa architettura di streaming all'inferenza AI, collegando il modello bidirezionale persistente direttamente alla famiglia di modelli Gemini. In Google Live API il client è l'applicazione dell'utente e il server è il modello Gemini stesso. Gli utenti inviano testo, audio e video al modello attraverso un'unica connessione WebSocket; il modello analizza questi input in modo continuo e risponde in tempo reale con testo, voce sintetizzata o video di un avatar. Grazie a queste capacità multimodali, una sola sessione può gestire contemporaneamente la conversazione vocale, l'analisi visiva di ciò che inquadra la webcam o compare sullo schermo e l'elaborazione del testo, senza dover orchestrare servizi separati per ciascuna modalità.

Diverse funzionalità che di solito richiederebbero uno sviluppo su misura sono già integrate nel protocollo di connessione. L'API gestisce il dialogo in oltre 70 lingue con una sintesi vocale dal suono naturale, quindi non servono servizi di text-to-speech separati. La Voice Activity Detection avviene lato server: è l'API stessa a capire quando chi parla ha finito e ad avviare la risposta del modello, senza alcuna elaborazione del segnale lato client. La consapevolezza del contesto si configura con i system prompt che, all'apertura della connessione, definiscono le regole di comportamento dell'assistente, le conoscenze di dominio e l'approccio al ragionamento. Il function calling è disponibile sia con il grounding integrato su Google Search, per recuperare informazioni in tempo reale, sia con dichiarazioni di tool personalizzati, che permettono al modello di richiamare servizi esterni durante la conversazione. Queste funzionalità native riducono in modo sostanziale il lavoro di sviluppo necessario per creare un assistente conversazionale pronto per la produzione.

Architettura tecnica per un assistente AI real time

L'implementazione di riferimento sviluppata da Machine Learning Reply organizza l'applicazione in quattro task asincroni paralleli, coordinati tramite code condivise. Questa struttura rispecchia la natura concorrente della conversazione in tempo reale, in cui acquisizione audio, acquisizione video, comunicazione con il modello e riproduzione audio devono funzionare contemporaneamente senza bloccarsi a vicenda.

L'audio handler gestisce tutta la comunicazione vocale, in entrambe le direzioni. Definisce la frequenza di campionamento e la dimensione dei chunk adatte allo streaming in tempo reale e mantiene due code asincrone, una in entrata e una in uscita. Una funzione di ascolto acquisisce di continuo l'input del microfono e inserisce i chunk audio nella coda in uscita, mentre una funzione di riproduzione preleva la voce sintetizzata dalla coda in entrata e la invia all'altoparlante. Poiché acquisizione e riproduzione sono coroutine indipendenti, l'applicazione può ascoltare nuovi input anche mentre sta rispondendo, una condizione essenziale perché la conversazione scorra in modo naturale.

Il video handler prevede due modalità di acquisizione. In modalità webcam acquisisce di continuo i fotogrammi da una telecamera collegata; in modalità condivisione schermo acquisisce il contenuto del display con una frequenza dei fotogrammi configurabile. In entrambi i casi i fotogrammi finiscono in una coda di elaborazione che alimenta la connessione con il modello. Il video handler lavora indipendentemente dall'audio handler, così il modello riceve il contesto visivo in modo continuo, che l'utente stia parlando o no.

Il client Gemini gestisce la connessione WebSocket verso l'infrastruttura di Google. Una funzione di connessione apre la sessione persistente con il modello, il system prompt e le dichiarazioni dei tool configurati. Un ciclo di ricezione controlla i messaggi in arrivo, che possono contenere risposte testuali, chunk audio da riprodurre o richieste di function call, per le quali l'applicazione deve eseguire operazioni esterne e restituirne i risultati. Una funzione di invio trasmette al modello, a intervalli adeguati, i fotogrammi video e i chunk audio in coda, mantenendo il flusso in tempo reale senza sovraccaricare la connessione.

Il livello di orchestrazione principale collega tutti questi componenti. Carica le variabili d'ambiente, tra cui le chiavi API di Gemini e degli eventuali servizi integrati, seleziona il modello dalla famiglia Gemini Live di modelli speech-to-speech e prepara la configurazione della sessione. La configurazione specifica il system prompt, i tool dichiarati, la modalità di output (audio o testo), i parametri della voce e la sensibilità della VAD. Completata la configurazione, l'orchestratore avvia in parallelo tutti i task asincroni e ne gestisce il ciclo di vita, chiudendoli in modo ordinato al termine della sessione o in caso di errore.

Il function calling collega l'assistente ai sistemi esterni

L'architettura descritta finora produce un assistente conversazionale in grado di interagire tramite voce e immagini. In azienda, però, la sua utilità pratica dipende dalla capacità di agire sulla base delle informazioni che arrivano dai sistemi esterni. Google Live API risponde a questa esigenza con il function calling, un meccanismo che permette al modello di richiamare operazioni predefinite durante la conversazione e di integrarne i risultati nelle risposte.

L'API prevede due tipi di function calling. Il grounding integrato con Google Search permette al modello di recuperare dal web informazioni aggiornate quando una domanda lo richiede, senza alcuna implementazione personalizzata. I tool personalizzati richiedono invece che gli sviluppatori dichiarino schemi di funzione con nome, descrizione e parametri di input. Il modello usa la comprensione del linguaggio naturale per capire quando un tool dichiarato è pertinente al contesto della conversazione, ricava dal dialogo gli argomenti necessari e invia all'applicazione client una richiesta di function call. L'applicazione esegue la funzione e restituisce il risultato al modello sulla connessione persistente, e il modello lo integra nella risposta in corso.

Nell'implementazione di riferimento, questo meccanismo si integra con una piattaforma di knowledge management. Una funzione scorre in modo ricorsivo la gerarchia delle pagine per recuperarne i contenuti, mentre una funzione di ricerca riceve un argomento come parametro, individua la pagina più pertinente e ne restituisce al modello il contenuto completo. Lo stesso schema vale per qualsiasi servizio dotato di API. Tra le integrazioni aziendali più comuni ci sono i sistemi di ticketing come Jira, per creare e consultare issue; i database vettoriali per la Retrieval-Augmented Generation, con cui l'assistente esegue ricerche nelle knowledge base aziendali; i CRM, per recuperare il contesto del cliente; e le connessioni Model Context Protocol, per l'interoperabilità standardizzata tra tool. Lo schema di dichiarazione delle funzioni fornisce al modello metadati descrittivi sufficienti per decidere quando richiamare una funzione e come costruirne gli argomenti, senza bisogno di programmare esplicitamente la logica decisionale.

Applicazioni enterprise in customer care, collaborazione e automazione

La combinazione di interazione vocale a bassa latenza, elaborazione di input multimodali e integrazione con sistemi esterni apre la strada a diverse categorie di applicazioni aziendali. Nel customer care, un assistente gestisce le richieste degli utenti con una conversazione naturale, senza alberi di risposte preregistrate né flussi di dialogo rigidi: i tempi di attesa si riducono e il servizio resta sempre disponibile. Con il function calling l'assistente può accedere alle schede dei clienti, consultare le knowledge base per le informazioni sui prodotti e passare la conversazione a un operatore quando non raggiunge le soglie di confidenza previste, tutto in un unico turno di conversazione.

Le applicazioni interattive per gaming, simulazione e formazione traggono vantaggio dall'input video. L'AI osserva le azioni dell'utente tramite la condivisione dello schermo e fornisce indicazioni contestuali in tempo reale, reagendo a ciò che vede senza che l'utente debba descriverlo. Le applicazioni di collaborazione in tempo reale e di apprendimento delle lingue sfruttano l'elaborazione audio a bassa latenza per dare feedback durante l'esercizio senza ritardi percepibili, correggendo pronuncia o grammatica mentre chi impara sta parlando, anziché alla fine della frase. Gli assistenti vocali e domestici usano la connessione persistente per mantenere il contesto della conversazione su più scambi e interagire con i servizi collegati tramite function calling, così l'interazione risulta continua e non frammentata in singole transazioni. Negli scenari di traduzione dal vivo, la sintesi vocale multilingue fa da tramite tra persone che parlano lingue diverse, con una latenza abbastanza bassa da mantenere il ritmo naturale della conversazione.

Considerazioni operative per il deployment in produzione

Il passaggio in produzione comporta una serie di aspetti tecnici e di governance che i team possono gestire con una progettazione attenta. Il meccanismo di barge-in, per esempio, permette all'utente di interrompere l'assistente mentre parla, come avviene in una conversazione naturale. Quando rileva un'interruzione, il server invia un evento, il modello smette di generare e l'applicazione svuota la coda dell'audio in uscita. L'assistente torna subito in ascolto e risponde quando l'utente ha finito di parlare. L'API gestisce questo comportamento in modo nativo: lato client basta svuotare il buffer audio locale quando arriva l'evento di interruzione.

Per le applicazioni che trattano dati sensibili, un semplice schema di governance soddisfa i requisiti di trasparenza: all'inizio di ogni sessione si informa l'utente che sta interagendo con un sistema di AI e si chiede il suo consenso esplicito prima di trattare informazioni sensibili. È una prassi standard per qualsiasi applicazione di AI conversazionale, indipendentemente dalla tecnologia utilizzata, e i team possono applicarla con informative chiare e flussi di consenso integrati nella fase di apertura della sessione.

I modelli Gemini Live supportano testo e audio come modalità di output, e l'input video da webcam e da acquisizione dello schermo è pienamente disponibile. In input i modelli elaborano testo, audio e video, con capacità di percezione complete che coprono la maggior parte dei casi d'uso aziendali. Oltre a testo e audio, i modelli Gemini Live possono generare output video tramite Live Avatar, che mostra in tempo reale un avatar parlante insieme alla voce sintetizzata. I modelli rilasciati in anteprima possono cambiare comportamento o API e non offrono le garanzie delle versioni generalmente disponibili: sono quindi adatti alla valutazione e alla prototipazione, anche negli scenari che richiedono un avatar. In produzione si usano i modelli speech-to-speech Gemini Live generalmente disponibili, che offrono la stabilità e la bassa latenza richieste dalle applicazioni aziendali.

Google prevede per Live API una tariffazione per milione di token, in linea con i prezzi standard dei modelli Gemini. Gli input audio e video vengono convertiti in token in base a durata e risoluzione: sessioni più lunghe e video a risoluzione più alta consumano più token per unità di tempo. Stimare i costi dei carichi di lavoro in produzione è semplice, una volta che i team conoscono la durata media delle sessioni, il livello di concorrenza e la quota di interazioni multimodali rispetto a quelle solo testuali. I limiti di durata delle sessioni sono configurabili. Le applicazioni che richiedono interazioni prolungate possono implementare una logica di riconnessione che preserva il contesto della conversazione con riepiloghi periodici e la conservazione selettiva della cronologia, uno schema consolidato che mantiene prevedibile il consumo di token entro la finestra di contesto del modello.

Google Live API come base per l'AI vocale in ambito enterprise

Google Live API riunisce in un'unica connessione WebSocket persistente le fasi di speech-to-text, inferenza del modello linguistico e text-to-speech dell'AI conversazionale, riducendo la latenza di andata e ritorno da centinaia di millisecondi a circa 30 millisecondi. L'API gestisce in modo nativo Voice Activity Detection, barge-in, sintesi vocale multilingue ed elaborazione di input multimodali, e riduce così lo sviluppo su misura necessario per creare un assistente vocale pronto per la produzione. Il function calling consente l'integrazione con qualsiasi servizio esterno e rende la tecnologia applicabile al customer care, agli strumenti interni e ai flussi di lavoro collaborativi. Machine Learning Reply ha sviluppato architetture di riferimento e pattern di implementazione per adottare Google Live API in contesti aziendali, che coprono la gestione di audio e video, la gestione delle sessioni, l'integrazione dei tool e gli aspetti di compliance.

Domande Frequenti

Machine Learning Reply offre soluzioni di data science personalizzate e complete che coprono l'intero ciclo di vita del progetto—dalla consulenza strategica iniziale attraverso l'architettura e l'infrastruttura dei dati, fino all'elaborazione dei dati e alla garanzia di qualità utilizzando algoritmi di machine learning. L'azienda porta un'ampia esperienza nella data science in settori chiave, consentendo ai clienti di lanciare nuovi modelli di business basati sui dati e ottimizzare i processi e i prodotti esistenti, con un forte focus su tecnologie open-source e cloud. Specializzandosi in Machine Learning, Cognitive Computing e Intelligenza Artificiale sulla piattaforma tecnologica di Google, Machine Learning Reply applica tecniche avanzate come Deep Learning, Elaborazione del Linguaggio Naturale e Riconoscimento di Immagini/Video a casi d'uso che includono automazione intelligente, motori predittivi, sistemi di raccomandazione e agenti conversazionali. Attraverso l'Incubatore di Machine Learning, l'azienda offre un programma per formare la prossima generazione di decisori, data scientist e sviluppatori.