Medien-Streaming-Dienst: Ein Ökosystem für Echtzeit-Einblicke

Hintergrund

Trends erkennen, Verhaltensweisen analysieren und Urheberrechtsverträge einhalten - Unternehmen in der Online-On-Demand-Industrie müssen hochgradig maßgeschneiderte Anforderungen erfüllen. Um diesem Anspruch gerecht zu werden, musste ein Online-Medien-Streaming-Dienst eine Vielzahl von datengesteuerten Echtzeit-Anwendungsfällen implementieren.

Der wichtigste: Mittels einer Sperrfunktion zu verhindern, dass sich Kunden gleichzeitig auf mehreren Geräten in ein Premium-Konto einloggen können. Dies ist notwendig, um rechtliche Grundlagen für Inhaltsanbieter einzuhalten, hat aber auch deutliche Auswirkungen auf das Dienstleistungsgeschäft. Die Sperrfunktionalität musste auch ohne Daten von den Frontend-Playern funktionieren, da die Frontend-Komponenten zu diesem Zeitpunkt nicht die notwendigen Informationen für das Backend lieferten.

Der Kunde betreibt seine Infrastruktur vollständig in der öffentlichen Cloud von Amazon Web Services (AWS) und legt den Schwerpunkt auf die Nutzung moderner Technologien und Ansätze für Containerisierung, Skalierbarkeit und Event-Sourcing.

EVENT SOURCING UND EINE EVENTBASIERTE ARCHITEKTUR

Data Reply wurde beauftragt, den ersten Anwendungsfall (das Blockieren gleichzeitiger Streams) von Grund auf zu entwickeln. Die Sperrung muss im Anwendungsfall schnell erfolgen, daher entschied sich das Team für einen event-getriebenen Ansatz, der nahezu in Echtzeit abläuft . Die Idee: Die Frontend-Komponenten generieren Events, die skalierbar verarbeitet werden müssen. Die Events werden in der Cloud-Umgebung verarbeitet und die Ergebnisse über REST-APIs zur Verfügung gestellt.

VALIDIERUNG DER RICHTIGEN DATEN

Zunächst mussten die Berater ermitteln, welche Daten benötigt werden, um den gleichzeitigen Kontozugriff zu blockieren. Zu diesem Zweck entwickelte Data Reply eine Schnittstelle zu den Frontend-Komponenten, die nun alle 10 Sekunden Informationspakete (sogenannte Heartbeats) an eine REST-API-Schicht sendet. Diese Events werden anschließend validiert und an Apache Kafka, eine skalierbare Event-Streaming-Plattform, gesendet, wo sie an eine Vielzahl von Microservices verteilt werden können, die unterschiedliche Anwendungsfälle ausführen.

Für das Blockieren gleichzeitiger Streams aggregiert ein Microservice, der das Kafka-Streams-Framework verwendet, die Heartbeats in Echtzeit und stellt REST-APIs bereit. Diese ermöglichen es den Frontend-Komponenten zu prüfen, ob der von ihnen angezeigte Videostream blockiert werden muss oder nicht.

EIN ÖKOSYSTEM VON ECHTZEIT-ANWENDUNGSFÄLLEN

Sobald strukturierte Daten über die Event-Streaming-Plattform bereitgestellt wurden, konnten immer mehr Anwendungsfälle definiert und priorisiert werden:

Trending Content: Bei den vom Frontend gesammelten Daten handelt es sich im Wesentlichen um Echtzeitinformationen darüber, was die Endnutzer sehen. Data Reply hat Mikroservices entwickelt, um diese Daten zu aggregieren und Echtzeit-Einblicke in die aktuellen Trends bei Inhalten (sowohl Live-TV-Kanäle als auch Video-on-Demand-Inhalte) zu erhalten. Dies ermöglicht den Anwendungen, aktuelle Inhalte für die Benutzer hervorzuheben und so das Entdecken neuer Inhalte und die Benutzererfahrung zu verbessern.
Wiedergabe fortsetzen: Dank präziser Informationen zur aktuellen Position des Benutzers innerhalb des Videostreams kann eine genaue und immer aktuelle Wiedergabeposition gespeichert werden. Die Verwendung dieser Daten zur Fortsetzung des Streams zu einem späteren Zeitpunkt führt zu einem besseren Benutzererlebnis. Zuvor wurde dieses Verhalten durch explizites Speichern ermöglicht, was jedoch nicht geschehen konnte, wenn der Benutzer den Stream abrupt schloss (zum Beispiel beim Ausschalten des Fernsehers.
Analyse der Video-Stream-Qualität: Zusätzlich zu den Informationen über die von Nutzern abgespielten Inhalte wurde die Frontend-Komponente erweitert, um Events unter anderem zu Werbeunterbrechungen, Beginn und Ende der Wiedergabe, Wiedergabefehlern und Verschlechterungen der Bitrate zu senden. Mit der Event-Streaming-Plattform und einer Echtzeit-OLAP-Datenbank wurde die Echtzeit-Analyse der Qualität der Video-Streams ermöglicht.
Analyse des Streaming-Verhaltens: Bisher war die einzige Möglichkeit zu erfahren, ob ein Benutzer das Anschauen eines bestimmten Inhalts abbricht, ein explizites "Stopp"-Ereignis. Dies passierte nicht oft, da Smart TVs einfach ausgeschaltet, Browser-Tabs und mobile Apps geschlossen wurden oder ähnliches. Um besseren Einblick in das Verhalten der Endnutzer zu erhalten, werden die von Data Reply entwickelten Heartbeats auch für die Echtzeitanalyse verwendet.
Event Tracking: Viele der von der Frontend-Komponente gesendeten Events sowie die berechneten View-End-Events wurden über die Event-Streaming-Plattform in die Tracking- und Clickstream-Analyse-Lösung integriert.

DIE INFRASTRUKTUR: FLEXIBLE CLOUD-DIENSTE

Um dem Cloud-Only-Ansatz des Kunden gerecht zu werden, nutzte Data Reply AWS-Technologien und insbesondere Serverless-Technologien, wann immer dies möglich war.

Alle Services wurden containerisiert und mit Container-Orchestrierungsdiensten wie Fargate und ECS bereitgestellt. DynamoDB wurde für die Zwischenspeicherung unstrukturierter JSON-Payloads für Clickstream-Tracking verwendet. Das Logging erfolgt über CloudWatch. Darüber hinaus werden alle Infrastruktur-Deployments und Rolling-Updates der Dienste über AWS CloudFormation mit einem Infrastructure-as-Code-Ansatz durchgeführt. Der AWS Secrets Manager wird eingesetzt, um die Anmeldeinformationen für andere Systeme sicher mit den Container-Instanzen auszutauschen. Die Berechtigungen werden effizient über IAM-Policies verwaltet.

Für die Entwicklung und das Deployment der Infrastruktur wurden Best Practices verwendet, um eine effiziente Nutzung der Ressourcen zu gewährleisten. Templates verkürzen die Ladezeit bei der Einführung eines neuen Stream-Processing-Dienstes. Dadurch wird der Aufwand für das Betreiben der Infrastruktur und das Deployment begrenzt. Das eröffnet Zeit- und Energieressourcen, um Geschäftslogiken und wertschöpfende Aktivitäten durchzuführen.

VORTEILE DER NEUEN LÖSUNG

Dank der Elastizität der AWS-Cloud-Dienste und der Skalierbarkeit von Apache Kafka ist die neue Lösung von Grund auf flexibel.

Darüber hinaus ermöglicht das Event Sourcing mit einem hohen Volumen an granularen und informationsreichen Datenpunkten eine Vielzahl neuer Anwendungsfälle. Alle Dienste und Architekturen sind für minimalen Betriebs- und Wartungsaufwand konzipiert, was die Gesamtbetriebskosten (TCOO) senkt.

Dadurch konnte der Kunde von Data Reply seinen vertraglichen Verpflichtungen nachkommen und ein verbessertes Nutzererlebnis bieten. Stakeholdern des Unternehmens stehen nun außerdem auf kosteneffiziente Weise genaue und aktuelle Daten zur Verfügung.

DATA REPLY

Data Reply unterstützt als Teil der Reply-Gruppe Kunden darin, datengetrieben zu arbeiten. Data Reply ist in verschiedenen Branchen und Geschäftsbereichen tätig und arbeitet intensiv mit Kunden zusammen, damit diese durch die effektive Nutzung von Daten aussagekräftige Ergebnisse erzielen können. Hierfür konzentriert sich Data Reply auf die Entwicklung von Data-Analytics-Plattformen, Machine-Learning-Lösungen und Streaming-Anwendungen – automatisiert, effizient und skalierbar – ohne Abstriche in der IT-Security zu machen.