Experimentation Rollout: ein neuer Produktentwicklungsprozess

Case Study

Ein datengetriebener und nutzerzentrierter Entwicklungsprozess für internationale Plattformen und Onlineshops.

Zusammenfassung

METRO Digital, die IT-Unit der METRO AG, hatte das Ziel, bei der Weiterentwicklung ihrer internationalen Plattformen und Onlineshops datengetriebener und nutzerzentrierter vorzugehen. Um Entscheidungen im Rahmen der neu eingeführten agilen Produktentwicklung abzusichern und Innovationsprozesse schneller voranzutreiben, konnte mit Unterstützung von Up Reply ein Experimentation Ansatz erfolgreich etabliert werden.

Im Zuge der Rollout-Strategie wurden einerseits ein technischer POC durchgeführt (Phase 1) und andererseits Prozesse geschaffen, um eine Experimentation Culture in den neuen Produkt-Teams zu schaffen (Phase 2).

Über Experimentation Culture

Wenn es um die Optimierung der User Experience und Website Performance geht, ist kontinuierliches Testen und Lernen ausschlaggebend für den Erfolg. AB-Testing ist dabei eine Methode, bei der zwei (oder mehr) Versionen einer Website gegeneinander gestellt werden. Mit Hilfe von Tools wie Optimizely kann die bestehende Seite manipuliert und verschiedene Experiences ausgespielt werden. Die Website-Besucher werden dabei zufällig einer Variante zugeordnet, um herauszufinden, welche zum Erreichen der Konvertierungsziele effektiver ist. Eine sogenannte Experimentation Culture beschreibt damit eine Unternehmenskultur, die Experimentierfreude unterstützt – das Testen wird zum Teil der Unternehmens-DNA. Kontinuierliches Testen, Iterieren und das Teilen von Erkenntnissen zwischen verschiedenen Teams ist dabei ein wesentlicher Bestandteil des Lern- und Optimierungsprozesses.

“Up Reply hat uns erfolgreich dabei unterstützt, das Konzept der Experimentation nachhaltig in die Weiterentwicklung unserer digitalen Produkte zu integrieren. Seitdem treffen wir unsere Entscheidungen datenbasierter und gestalten unsere Produkte nutzerfreundlicher. Für uns ist dieser Fortschritt ein wichtiger Meilenstein auf dem Weg zur agilen und nutzerzentrierten Produktentwicklung.”

Timo Salzsieder
CIO/CSO METRO AG, CEO METRO Digital

Von reaktiver Produktentwicklung
zu agilen, datengetriebenen Prozessen

Von Warenwirtschafts-, Data-Warehouse- und Kundeninformationssystemen über E-Commerce, bis hin zu Logistik- und Intranetlösungen: Die rund 2.500 Mitarbeiter von METRO Digital koordinieren und entwickeln die individuellen IT-Anforderungen der METRO – für jeden Markt, jede Abteilung und jedes Land.

Mit der Einführung agiler Produktentwicklungsprozesse wurde die Transformation hin zu einer echten Organisation, die die User Experience durch eine proaktive Entwicklung der IT-Produkte verbessert, beschleunigt. Gleichzeitig wurde bei der METRO Digital das Bewusstsein geschärft, dass nutzerzentrierte und datengetriebene Entwicklungsprozesse auch im B2B-Bereich immer wichtiger sind. Produkteinführungen und -anpassungen sollten sich künftig verstärkt auf quantitative Daten stützen. Mit Hilfe von Experimenten und AB-Tests sollten Entscheidungen auf Basis messbarer KPIs abgesichert, Risiken von Fehlentwicklungen minimiert und Innovationen schneller vorangetrieben werden. Zur Erreichung dieser Ziele wurde Up Reply als professioneller Partner ausgewählt, um gemeinsam mit METRO Digital einen iterativen Experimentation-Rollout Plan umzusetzen.

Experimentation Rollout in vier Phasen

Step 1

Technical
Proof-of-Concept

Sicherstellen der technischen Umsetzbarkeit
Implementierung von Optimizely

Step 2

Pilotprojekte und Enablement

Training und Enablement eines Pilotteams
Initiale Ideation und Test-Roadmap
Realisierung von ersten Expermimenten

Step 3

Rollout in die
Produktteams

Etablieren einer unternehmensweiten Experimentation Culture
Trainings und Ideation-Workshops für die Product Owner
Erste Personalisierungskampangen

Step 4

Autonomie
der Länder

Langfristige Vereinigung von Experimentation im Tagesgeschäft der Länder
Befähigung zur eigenständigen Durchführung und Auswertung von Tests

Rollout: vom POC bis zur technischen Implementierung

Zu Beginn des Projekts wurde mit Hilfe von Stakeholder-Interviews zunächst evaluiert, wie Experimentation gewinnbringend in die bestehenden Produktentwicklungs- und Optimierungsprozesse integriert werden kann.

Darüber hinaus wurden Anforderungen an die Software gesammelt und ein technischer Proof-of-Concept (PoC) durchgeführt. Zum einen muss die Lösung für diverse länderspezifische Shops und Apps einsetzbar sein: Neben serverseitigen (FullStack) und klassischen (clientseitigen) A/B/n-Tests und MVT-Tests sollen zudem Personalisierungs-Kampagnen ausgespielt werden können. Zum anderen ist eine reibungslose Anbindung an bestehende Systeme, wie z. B. Analytics maßgeblich. Neben den technischen Anforderungen ist eine einfache Bedienung und die Vergabe von verschiedenen Anwender-Rollen wichtig, sodass die Produkt-Teams und Länder selbstständig Experimente durchführen und auswerten können.

Auf der Grundlage eines Scorings entschied sich METRO Digital für die Einführung des Experimentation-Tools Optimizely. Die Software ermöglicht server- und clientseitige Experimente in der Live-Umgebung, trackt das Nutzerverhalten und liefert dabei schnelle und belastbare statistische Ergebnisse zu Produkttests und -optimierungen.
Der Erkenntnisgewinn sichert Entscheidungen bei der Produktentwicklung ab und dient dem zielführenden Einsatz von Ressourcen innerhalb der Innovationszyklen.

Das Herzstück: eine Experimentation Culture

Parallel sollten sinnvolle Maßnahmen und Prozesse zur Schaffung einer KPI-basierten Experimentation Culture im Unternehmen definiert und in die agilen Produkt-Teams integriert werden.
Im Zuge dessen entwickelte Reply eine Vorgehensweise und Strategie für einen stufenweisen Rollout des Experimentation-Programms.

Das Onboarding und Enablement startete zunächst für ein Pilot-Team mit Unterstützung von Reply und dem zentralen UX Hub der METRO Digital. Neben Strategie und Tool-Trainings, stellte Reply Vorlagen zur Steuerung, Priorisierung und Dokumentation des Experimentation-Programms bereit. Parallel dazu wurden in Ideation-Workshops nutzerzentrierte Optimierungshypothesen identifiziert und eine initiale Experimentation-Roadmap entwickelt.

Nach der erfolgreichen Realisierung erster Leuchtturmtests im Pilot-Team erfolgte der schrittweise Rollout auf weitere Teams. Das Center of Excellence unterstützt dabei kontinuierlich durch Coachings sowie beim prozessualen und technischen Setup. Ziel der Maßnahmen war es, die einzelnen Produkt-Teams im Unternehmen zu befähigen, weitgehend selbständig, Fragestellungen zur Weiterentwicklung der Plattformen und Onlineshops mittels A/B/n- und MVT-Tests beantworten zu können.

Die Vorteile auf einen Blick

Eine schnelle Evaluierung von Ideen in Form eines Experiments (A/B/n-Test) spart Ressourcen im Innovationszyklus.
Erhöhung der Wettbewerbsfähigkeit: Entscheidungen sind KPI-basiert und nutzerzentriert und führen daher zu einer optimierten User Experience.
Direktes Nutzerfeedback sichert Entscheidungen ab und vermeidet kostenintensive Fehlinvestitionen bei der Produktentwicklung.
Hypothesen können in der Live-Umgebung auf Basis von belastbaren, statistischen Ergebnissen quantitativ validiert werden.
Empowerment der Product Owner: Das Experimentation-Programm ermöglicht eine eigenständige Umsetzung und Überprüfung von Testideen sowie eine schnelle Reaktionsmöglichkeit auf Anforderungen der Länderorganisationen.

METRO Digital

Die METRO AG ist ein führender internationaler Spezialist im Groß- und Lebensmitteleinzelhandel. Das Unternehmen ist in 35 Ländern tätig und beschäftigt weltweit mehr als 150.000 Mitarbeiter. METRO Digital ist die IT-Gesellschaft des Unternehmens und bietet den METRO-Unternehmen individuelle und zukunftsweisende IT-Lösungen. Von Warenwirtschafts-, Data-Warehouse- und Kundeninformationssystemen über E-Commerce, bis hin zu Logistik- und Intranetlösungen: Die rund 2.500 Mitarbeiter von METRO Digital koordinieren und entwickeln die individuellen IT-Anforderungen der METRO – für jeden Markt, jede Abteilung und jedes Land.

Up Reply

Up Reply ist innerhalb der Reply Gruppe auf digitales Wachstum und Optimierung der Customer Experience spezialisiert. Die Experten von Up Reply bieten internationalen Kunden ein bewährtes Methodenset bei der Personalisierung digitaler Kanäle, A/B-Tests und datenbasierten Analysen entlang der gesamten Customer Journey. Das Ergebnis sind nutzerzentrierte Erlebnisse, die auf die Geschäftsziele der jeweiligen Unternehmen einzahlen. Up Reply unterstützt mit Strategieberatung, beim Onboarding und bietet Fullservice rund um Tools wie Dynamic Yield, Optimizely, Adobe Target oder Adobe Analytics, Google Analytics und Contentsquare.