Article

KI-Assistenten in Echtzeit mit der Google Live API entwickeln

Persistentes bidirektionales Streaming ermöglicht es Gemini-Modellen, in natürlichen Gesprächen zuzuhören, zu sehen und zu antworten und Unternehmensdaten und -tools in sprachgesteuerte Echtzeit-Assistenten zu verwandeln.

Persistentes, bidirektionales Streaming als Grundlage für Echtzeit-KI

Eine Live API unterscheidet sich grundlegend vom Anfrage-Antwort-Prinzip herkömmlicher REST-Schnittstellen. Bei einer konventionellen API-Interaktion sendet der Client eine Anfrage, der Server verarbeitet und beantwortet sie, und die Verbindung wird geschlossen. Eine Live API hält die Verbindung nach jedem Austausch aufrecht. Dadurch können Client und Server jederzeit Daten senden, ohne die Kommunikation erneut aufbauen zu müssen. Der Server kann bei Zustandsänderungen proaktiv Aktualisierungen übermitteln, während der Client kontinuierlich Eingaben streamen kann, ohne auf die Bestätigung vorheriger Übertragungen zu warten. Dieses Modell einer persistenten Verbindung reduziert die Roundtrip-Latenz von den für verkettete Serviceaufrufe typischen 300 bis 500 Millisekunden auf etwa 30 Millisekunden. So entstehen Gesprächserlebnisse, deren zeitlicher Ablauf eher einem menschlichen Dialog als einem automatisierten Telefonsystem entspricht.

Google hat diese Streaming-Architektur auf die KI-Inferenz übertragen, indem das persistente bidirektionale Modell direkt mit der Gemini-Modellfamilie verbunden wurde. Bei der Google Live API ist der Client die Anwendung des Nutzers und der Server das Gemini-Modell selbst. Nutzer streamen Text, Audio und Video über eine einzige WebSocket-Verbindung an das Modell. Dieses analysiert die Eingaben kontinuierlich und antwortet in Echtzeit mit Text, synthetisierter Sprache oder Avatar-Video. Diese multimodalen Fähigkeiten ermöglichen es, in einer einzigen Sitzung gleichzeitig Sprachdialoge, die visuelle Analyse von Webcam- oder Bildschirminhalten sowie Textverarbeitung abzuwickeln. Separate Dienste für jede Modalität müssen dadurch nicht mehr orchestriert werden.

Mehrere Funktionen, die üblicherweise individuell entwickelt werden müssten, sind bereits nativ im Verbindungsprotokoll enthalten. Die API unterstützt Dialoge in über 70 Sprachen mit natürlich klingender Sprachsynthese und macht damit separate Text-to-Speech-Dienste überflüssig. Die Voice Activity Detection (VAD) erfolgt serverseitig: Die API erkennt selbst, wann eine Person zu Ende gesprochen hat, und löst die Modellantwort aus, ohne dass eine clientseitige Signalverarbeitung erforderlich ist. Das Kontextverständnis wird beim Verbindungsaufbau durch System-Prompts konfiguriert, die Verhaltensregeln, Fachwissen und den Denkansatz des Assistenten definieren. Funktionsaufrufe werden sowohl durch die integrierte Anbindung an Google Search zur Abfrage aktueller Informationen als auch durch benutzerdefinierte Tool-Deklarationen unterstützt, über die das Modell während des Gesprächs externe Dienste aufrufen kann. Diese nativen Funktionen verringern den Entwicklungsaufwand für einen produktionsreifen Gesprächsassistenten erheblich.

Technische Architektur für einen Echtzeit-KI-Assistenten

Die von Machine Learning Reply entwickelte Referenzimplementierung gliedert die Anwendung in vier parallel ausgeführte asynchrone Tasks, die über gemeinsame Warteschlangen koordiniert werden. Dieses Design entspricht dem von Natur aus nebenläufigen Charakter von Echtzeitgesprächen: Audioaufnahme, Videoaufnahme, Modellkommunikation und Audiowiedergabe müssen gleichzeitig funktionieren, ohne sich gegenseitig zu blockieren.

Der Audio-Handler steuert die Sprachkommunikation in beide Richtungen. Er definiert geeignete Abtastraten und Chunk-Größen für das Echtzeit-Streaming und verwaltet zwei asynchrone Warteschlangen für eingehende und ausgehende Daten. Eine Listener-Funktion nimmt fortlaufend Mikrofonsignale auf und legt Audio-Chunks in der ausgehenden Warteschlange ab. Eine Wiedergabefunktion entnimmt der eingehenden Warteschlange synthetisierte Sprache und gibt sie über die Lautsprecher aus. Durch die Trennung von Aufnahme und Wiedergabe in unabhängige Coroutinen kann die Anwendung auch während einer Antwort neue Eingaben erfassen – eine wesentliche Voraussetzung für einen natürlichen Gesprächsfluss.

Der Video-Handler unterstützt zwei Aufnahmemodi. Im Webcam-Modus werden fortlaufend Einzelbilder einer angeschlossenen Kamera erfasst; im Bildschirmfreigabemodus wird der Bildschirm mit einer konfigurierbaren Bildrate aufgenommen. Beide Modi legen die erfassten Frames in einer Verarbeitungswarteschlange ab, die die Modellverbindung versorgt. Der Video-Handler arbeitet unabhängig vom Audio-Handler. So erhält das Modell kontinuierlich visuellen Kontext, unabhängig davon, ob der Nutzer gerade spricht.

Der Gemini-Client verwaltet die WebSocket-Verbindung zur Infrastruktur von Google. Eine Verbindungsfunktion stellt die persistente Sitzung mit dem konfigurierten Modell, dem System-Prompt und den Tool-Deklarationen her. Eine Empfangsschleife überwacht eingehende Nachrichten. Diese können Textantworten, Audio-Chunks für die Wiedergabe oder Funktionsaufrufe enthalten, für die die Anwendung externe Aktionen ausführen und die Ergebnisse zurückgeben muss. Eine Sendefunktion überträgt zwischengespeicherte Videoframes und Audio-Chunks in geeigneten Abständen an das Modell. So bleibt der Echtzeit-Datenstrom erhalten, ohne die Verbindung zu überlasten.

Die zentrale Orchestrierungsschicht führt diese Komponenten zusammen. Sie lädt Umgebungsvariablen einschließlich der API-Schlüssel für Gemini und integrierte Dienste, wählt das Modell aus der Gemini Live-Familie von Speech-to-Speech-Modellen aus und erstellt die Sitzungskonfiguration. Darin werden System-Prompt, deklarierte Tools, Ausgabemodalität (Audio oder Text), Sprachparameter und die Empfindlichkeit der VAD festgelegt. Anschließend startet der Orchestrator alle asynchronen Tasks parallel und verwaltet ihren Lebenszyklus. Beim Sitzungsende oder bei einem Fehler sorgt er für ein geordnetes Herunterfahren.

Funktionsaufrufe verbinden den Assistenten mit externen Systemen

Die zuvor beschriebene Architektur ermöglicht einen Gesprächsassistenten, der Sprache und visuelle Informationen verarbeitet. Sein praktischer Nutzen im Unternehmensumfeld hängt jedoch davon ab, ob er Informationen aus externen Systemen verwenden und darauf basierend Aktionen ausführen kann. Die Google Live API ermöglicht dies durch Function Calling: Das Modell kann während eines Gesprächs definierte Operationen aufrufen und deren Ergebnisse in seine Antworten einbeziehen.

Die API unterstützt zwei Kategorien von Funktionsaufrufen. Das integrierte Grounding mit Google Search ermöglicht dem Modell, für Fragen mit aktuellem Informationsbedarf ohne eigene Implementierung Informationen aus dem Web abzurufen. Für benutzerdefinierte Tools müssen Entwickler Funktionsschemata mit Namen, Beschreibungen und Eingabeparametern deklarieren. Anhand des Sprachverständnisses erkennt das Modell, wann ein deklariertes Tool zum aktuellen Gesprächskontext passt, leitet aus dem Dialog geeignete Argumente ab und sendet eine Funktionsaufruf-Anfrage an die Client-Anwendung. Diese führt die Funktion aus und übermittelt das Ergebnis über die persistente Verbindung zurück. Das Modell integriert es anschließend in seine laufende Antwort.

In der Referenzimplementierung ist dieser Mechanismus mit einer Wissensmanagement-Plattform verbunden. Eine Funktion durchläuft Seitenhierarchien rekursiv, um Inhalte abzurufen. Eine Suchfunktion nimmt ein Thema als Parameter entgegen, identifiziert die relevanteste Seite und liefert deren vollständigen Inhalt an das Modell. Dasselbe Muster lässt sich auf jeden Dienst mit einer API übertragen. Typische Unternehmensintegrationen umfassen Ticketsysteme wie Jira zum Erstellen und Abfragen von Vorgängen, Vektordatenbanken für Retrieval-Augmented Generation zur Suche in unternehmensinternen Wissensbeständen, CRM-Systeme für Kundenkontext sowie Verbindungen über das Model Context Protocol für eine standardisierte Interoperabilität von Tools. Das Schema der Funktionsdeklaration liefert dem Modell ausreichend beschreibende Metadaten, um ohne explizit programmierte Entscheidungslogik zu bestimmen, wann ein Aufruf erfolgen soll und welche Argumente benötigt werden.

Unternehmensanwendungen in Kundenservice, Zusammenarbeit und Automatisierung

Die Kombination aus latenzarmer Sprachinteraktion, multimodaler Eingabeverarbeitung und der Integration externer Systeme ermöglicht verschiedene Unternehmensanwendungen. Im Kundenservice bearbeitet ein Assistent Anfragen in natürlichen Gesprächen ohne vorab aufgezeichnete Antwortbäume oder starre Dialogabläufe. Das verkürzt Wartezeiten und ermöglicht eine durchgängige Verfügbarkeit. Über Funktionsaufrufe kann der Assistent auf Kundendaten zugreifen, Wissensdatenbanken mit Produktinformationen konsultieren und bei Unterschreiten definierter Konfidenzschwellen an menschliche Mitarbeitende übergeben – alles innerhalb eines einzigen Gesprächsbeitrags.

Interaktive Anwendungen in Gaming-, Simulations- und Trainingsumgebungen profitieren von der Videoeingabe. Die KI beobachtet Nutzeraktionen über die Bildschirmfreigabe und gibt in Echtzeit kontextbezogene Hinweise. Sie reagiert auf visuelle Signale, statt darauf angewiesen zu sein, dass Nutzer das Gesehene beschreiben. Anwendungen für Echtzeit-Zusammenarbeit und das Sprachenlernen nutzen die latenzarme Audioverarbeitung, um während der Übung ohne wahrnehmbare Verzögerung Feedback zu geben und Aussprache oder Grammatik bereits während des Sprechens statt erst nach einer vollständigen Äußerung zu korrigieren. Sprach- und Smart-Home-Assistenten verwenden die persistente Verbindung, um den Gesprächskontext über mehrere Dialogschritte hinweg zu erhalten und über Funktionsaufrufe mit vernetzten Diensten zu interagieren. Dadurch wirken Interaktionen kontinuierlich statt transaktionsorientiert. Bei der Live-Übersetzung vermittelt die mehrsprachige Sprachsynthese zwischen Personen, die unterschiedliche Sprachen sprechen, mit einer Latenz, die niedrig genug ist, um einen natürlichen Gesprächsrhythmus aufrechtzuerhalten.

Betriebliche Anforderungen für den Produktiveinsatz

Der Produktivbetrieb erfordert verschiedene technische und organisatorische Maßnahmen, die Teams mit einer sorgfältigen Architektur adressieren können. Der sogenannte Barge-in-Mechanismus erlaubt es Nutzern beispielsweise, den Assistenten während seiner Sprachausgabe zu unterbrechen – wie in einem natürlichen Gespräch. Erkennt der Server eine Unterbrechung, sendet er ein Ereignis, das Modell beendet die Generierung und die Anwendung leert ihre Audiowiedergabe-Warteschlange. Der Assistent wechselt sofort wieder in den Zuhörmodus und antwortet, sobald der Nutzer zu Ende gesprochen hat. Die API übernimmt dieses Verhalten nativ; clientseitig muss lediglich der lokale Audiopuffer beim Empfang des Unterbrechungsereignisses geleert werden.

Bei Anwendungen, die sensible Daten verarbeiten, hilft ein einfaches Governance-Muster dabei, Transparenzanforderungen zu erfüllen: Nutzer werden zu Beginn jeder Sitzung darüber informiert, dass sie mit einem KI-System interagieren, und vor der Verarbeitung sensibler Informationen wird ihre ausdrückliche Einwilligung eingeholt. Dieses Vorgehen ist unabhängig von der zugrunde liegenden Technologie gängige Praxis bei dialogorientierten KI-Anwendungen. Teams können es über klare Hinweise und in den Sitzungsaufbau integrierte Einwilligungsprozesse umsetzen.

Gemini Live-Modelle unterstützen Text und Audio als Ausgabemodalitäten; Videoeingaben von Webcam und Bildschirmaufnahme sind vollständig verfügbar. Die Eingabeverarbeitung umfasst Text, Audio und Video und bietet damit umfassende Wahrnehmungsfähigkeiten für die meisten Unternehmensanwendungen. Über Text und Audio hinaus können Gemini Live-Modelle über Live Avatar auch Video ausgeben: Dabei wird ein sprechender Avatar in Echtzeit parallel zur synthetisierten Stimme dargestellt. Modelle in der Preview-Phase können ihr Verhalten oder ihre API ändern und bieten nicht die Garantien allgemein verfügbarer Versionen. Sie eignen sich daher für Evaluierungen und Prototypen, auch bei Avatar-Szenarien. Produktive Implementierungen stützen sich auf die allgemein verfügbaren Gemini Live-Speech-to-Speech-Modelle, die die für Unternehmensanwendungen erforderliche Stabilität und niedrige Latenz bieten.

Google berechnet die Nutzung der Live API wie bei den regulären Gemini-Modellen pro Million Tokens. Audio- und Videoeingaben werden entsprechend ihrer Dauer und Auflösung tokenisiert. Längere Sitzungen und höher aufgelöste Videos verbrauchen daher mehr Tokens pro Zeiteinheit. Die Kosten für produktive Workloads lassen sich gut modellieren, sobald Teams die durchschnittliche Sitzungsdauer, die Anzahl paralleler Sitzungen sowie den Anteil multimodaler gegenüber rein textbasierten Interaktionen abschätzen. Die Grenzen der Sitzungsdauer sind konfigurierbar. Anwendungen mit längeren Interaktionen können eine Wiederverbindungslogik implementieren, die den Gesprächskontext durch regelmäßige Zusammenfassungen und selektive Aufbewahrung des Verlaufs erhält. Dieses bewährte Muster hält den Tokenverbrauch innerhalb des Kontextfensters des Modells kalkulierbar.

Die Google Live API als Fundament für Unternehmens-Sprach-KI

Die Google Live API vereint die Speech-to-Text-Verarbeitung, die Inferenz des Sprachmodells und die Text-to-Speech-Ausgabe dialogorientierter KI in einer einzigen persistenten WebSocket-Verbindung. Dadurch sinkt die Roundtrip-Latenz von mehreren Hundert Millisekunden auf etwa 30 Millisekunden. Die API übernimmt Voice Activity Detection, Barge-in, mehrsprachige Sprachsynthese und multimodale Eingabeverarbeitung nativ und reduziert so den Entwicklungsaufwand für einen produktionsreifen Sprachassistenten. Über Funktionsaufrufe lassen sich beliebige externe Dienste integrieren. Das macht die Technologie für Kundenservice, interne Tools und kollaborative Arbeitsabläufe interessant. Machine Learning Reply hat Referenzarchitekturen und Implementierungsmuster für den Unternehmenseinsatz der Google Live API entwickelt – von Audio- und Videoverarbeitung über Sitzungsverwaltung und Tool-Integration bis hin zu Compliance-Aspekten.

Häufig gestellte Fragen

Machine Learning Reply entwickelt maßgeschneiderte, ganzheitliche Data-Science-Lösungen über den gesamten Projektlebenszyklus hinweg – von der initialen Strategieberatung über Datenarchitektur und Infrastrukturaufbau bis hin zur Datenverarbeitung und Qualitätssicherung mithilfe von Machine-Learning-Algorithmen. Mit tiefgreifender Expertise in zentralen Schlüsselbranchen unterstützt das Unternehmen Kunden dabei, neue datengetriebene Geschäftsmodelle zu etablieren und bestehende Prozesse sowie Produkte nachhaltig zu optimieren – mit starkem Fokus auf Open-Source- und Cloud-Technologien. Durch seine Spezialisierung auf Machine Learning, Cognitive Computing und Künstliche Intelligenz auf dem Google-Technologie-Stack setzt Machine Learning Reply fortschrittliche Verfahren wie Deep Learning, Natural Language Processing sowie Bild- und Videoanalyse ein – für Anwendungsfälle rund um intelligente Automatisierung, prädiktive Systeme, Empfehlungs-Engines und dialogbasierte Agenten. Über den Machine Learning Incubator bildet das Unternehmen zudem die nächste Generation von Entscheidern, Data Scientists und Entwicklern aus.