Wie Zalando mithilfe von A/B-Tests die Wirksamkeit ihrer Werbeaktivitäten misst

Um Kunden noch effizienter und effektiver anzusprechen, setzt Zalando auf datengetriebenes Marketing und die kontinuierliche Optimierung der verschiedenen Marketingkanäle. Der entscheidende Messfaktor ist dafür der inkrementelle Kundenwert. Ziel des Marketings ist es Bestellungen zu generieren, die Kunden nicht auch ohne Marketingansprache getätigt hätten. Ermittelt wird die Wirksamkeit über A/B-Tests.

Binnen weniger Jahre hat sich Zalando vom kleinen Start-up zu einem der größten europäischen Online-Händler entwickelt. Die BWL-Absolventen Robert Gentz und David Schneider hatten erkannt, dass es in Deutschland keinen funktionierenden Online-Handel für Schuhe gab und gründeten so Zalando. Im September 2008 startete die erste Version ihres Online-Shops.


In den ersten Jahren nach der Gründung ging es bei Zalando primär um Kundengewinnung und Marktaufbau: Zalando expandierte in 17 europäische Länder, das Sortiment wurde um Bekleidung, später um Beauty- und Pflegeprodukte erweitert. Nach dieser starken Wachstumsphase steht mittlerweile auch die Profitabilität im Fokus. Um das weiterhin angestrebte Umsatzwachstum von 20 Prozent bis 25 Prozent zu erreichen, werden die Marketingausgaben kontinuierlich optimiert. Investierte Zalando 2012 mehr als 22 Prozent der Umsätze ins Marketing, waren 2017 nur noch 7,9 Prozent nötig. Möglich sind diese Effizienzsteigerungen durch ein stark datengetriebenes Marketing.

Effizienzgewinne beruhen auf datengetriebenem Marketing

Zalando misst und steuert sämtliche Werbeaktivitäten mit Hilfe von Key Performance Indicators (KPIs). Google-Daten bildeten dafür den Anfang, erzählt Charlotte Preut, Head of Measurement & Analytics bei Zalando: “Als die Zalando-Gründer anfingen datengetrieben zu arbeiten, analysierten sie, nach welchen Schuhen die Leute suchten, und kauften auf dieser Grundlage ihre Waren ein. Dieser Fokus auf digitale Kanäle und eine KPI-basierte Steuerung prägt unser Marketing bis heute.”

Zalando

Hier zählt die Inkrementalität einer Maßnahme: Wird zusätzlicher Gewinn generiert?

Um Effektivität und Effizienz im Marketing laufend zu verbessern, werden KPIs kontinuierlich weiterentwickelt und an die unterschiedlichen Unternehmensziele angepasst. Zudem wird in den verschiedenen Marketingkanälen nach Hebeln gesucht, um die Kunden noch spezifischer anzusprechen und so die maximale Effizienz zu erreichen. Entscheidend ist dabei der inkrementelle Kundenwert. Hier prüft Zalando, in welchem Umfang Kunden auch dann Bestellungen tätigen, wenn keine Marketingansprache erfolgt.

“Um den inkrementellen Marketing Impact zu maximieren, ist es unser oberstes Ziel, immer nur die richtigen Kunden zur richtigen Zeit anzusprechen.”

– Charlotte Preut, Head of Measurement & Analytics

Die Inkrementalitätsmessung erfolgt über Experimente und A/B-Tests

Die Effektivität und den inkrementellen Wert einer Werbemaßnahme misst Zalando über A/B-Tests und statistische Modelle. Darüber werden u.a. die Effekte verschiedener Varianten einer Display-Anzeige miteinander vergleichen: Variante A ist das Original, Variante B enthält mindestens ein abgeändertes Element.

Zalando nutzt A/B-Tests auch, um den Anteil der durch Marketing generierten Verkäufe zu messen. Dafür arbeitet Zalando mit Nutzer- oder Geo-Splits: Bei einer Gruppe von Nutzern oder in einer bestimmten Region wird die Marketingaktivität ausgesetzt, während sie einer anderen Gruppe von Nutzern oder in einer anderen Region weiter ausgespielt wird. Für das Design und die Analyse von Geo-Experimenten gibt es eine von Google veröffentlichte Open Source Software.

Geo-Experimente sind nur möglich, wenn das Marketing für einzelne Regionen ausgeschaltet werden kann. Zudem benötigen Geo-Experimente häufig große Datenmengen, um ein statistisch signifikantes Ergebnis ermitteln zu können. Werden mehrere Kanäle zusammen getestet, lassen sich nur aggregierte Effekte messen. Eine Differenzierung der Ergebnisse nach einzelnen Kanälen ist dann nicht möglich. Um Kombinationseffekte sichtbar zu machen, testet Zalando daher Kanäle einzeln als auch gemeinsam. So hat Zalando herausgefunden, dass Search- und Display-Anzeigen in Kombination effizienter sein können als einzeln.


Nutzerbasierte Tests, wie Conversion Lift und Brand Lift, wurden für YouTube und das Google Display Network (hier nur Conversion Lift) durchgeführt und erwiesen sich als präzise Instrumente für Zalando, um die Effekte in Bezug auf Brand-Metriken, Conversions und dem Verhalten auf der Website zu messen.

“Der inkrementelle Marketingeffekt ist unter anderem stark von der Aktivität und Loyalität der Kunden abhängig.”

– Charlotte Preut, Head of Measurement & Analytics

ROI-Steering – die richtigen Daten entscheiden, ob eine Kampagne profitabel wird

Um Kampagnen weiter zu optimieren, setzt Zalando auch auf ROI-Steering. ROI-Steering ermöglicht einen belastbaren Vergleich zwischen unterschiedlichen Kanälen. Dafür ist es zwingend erforderlich, dass dieselben Tools und Metriken verwendet werden. Damit hat Zalando ein reaktives Kontrollsystem, um unbefriedigende Ergebnisse auch während laufenden Kampagnen festzustellen und Korrekturmaßnahmen einzuleiten. Jeder ROI-Zielwert wird auf Länderbasis ermittelt und berücksichtigt Wachstumspotenziale der einzelnen Märkte. Die Berechnung des tatsächlichen ROI fußt auf folgenden drei Kernelementen: Erstens werden alle kommerziell relevanten Daten der Partner über eine API in Echtzeit eingeholt werden. Zweitens wird ein statisches Attributionsmodell zur Bewertung aller Touchpoints genutzt. Drittens wird der Wert jedes Kanals im Attributionsmodell anhand eines dynamischen Inkrementalitätsfaktors korrigiert, der auf der Basis von A/B-Tests berechnet wird.

Diese Herangehensweise hat sich für Zalando mittlerweile so bewährt, dass jährlich eine Vielzahl an unterschiedlichen A/B-Tests durchgeführt wird und die Inkrementalitätsfaktoren laufend aktualisiert werden. Dies geschieht in enger Zusammenarbeit mit Google. Gemeinsam findet eine fortwährende Evaluation neuer Methoden statt, die vor allem im Bereich der Werbeeffizienzmessung von Nutzen sein können.  

Automatisierung im digitalen Marketing – Geschäftsmodelltransformation als Chance für Agenturen