Werbetreibende haben zweifellos Big Data und Messwerte im Auge. Dennoch gehen nur wenige mit wissenschaftlicher Sorgfalt an ihren Optimierungs- und Analyseplan heran. Tommy Wiles vom Google Media Lab erläutert Werbetreibenden vier Schritte zu wissenschaftlichen Untersuchungs- und Testmethoden bei Kampagnen.

Eine meiner meistgehassten Lehrveranstaltungen im Studium war der Kurs über Forschungsmethoden. Ich wurde in den Grundlagen der wissenschaftlichen Methodik gedrillt, lernte den Unterschied zwischen Kausalität und Korrelation sowie zahllose Arten von Untersuchungen kennen, z. B. Längsschnitt- und Querschnittstudien, Pretests und Posttests.

Als Werbetreibender verstehe ich heute, wie wichtig dieser Pflichtkurs war. Ich erinnere mich vielleicht nicht mehr so genau an organische Verbindungen oder an die Integralrechnung, aber das erworbene Grundwissen hinsichtlich der wissenschaftlichen Methodik und der Vorteile strenger Tests hat sich als sehr nützlich erwiesen.

Bei der Analyse von Marketingkampagnen werden oft die Untersuchungsmethoden zu wenig beachtet. Beim Google Media Lab, unserer internen Abteilung für die Planung und Durchführung von Werbekampagnen für Google, sind wir jedoch davon überzeugt, dass ein sorgfältiger Untersuchungsprozess den Unterschied zwischen guter und schlechter Analyse ausmachen kann. Bei endlos und nahezu in Echtzeit zur Verfügung stehenden Daten können umfassende Tests ein entscheidender Faktor für den Erfolg einer Kampagne sein und auch Einfluss auf die nächste Kampagne haben. Im Folgenden werden vier Schritte für die Analyse mit wissenschaftlichen Methoden erläutert.

Bei endlos und nahezu in Echtzeit zur Verfügung stehenden Daten können umfassende Tests ein entscheidender Faktor für den Erfolg einer Kampagne sein und auch Einfluss auf die nächste Kampagne haben.

Vier Schritte zum Nachweis der Marketingwirkung durch Tests

1. Mit einer Hypothese beginnen, der ein Ziel zugrunde liegt

Intelligente Analyse beginnt mit der, Verknüpfung von Messwerten mit realen Geschäftszielen. Wie man Kampagnen optimiert und Erkenntnisse aus ihnen gewinnt, findet man jedoch nur durch experimentieren heraus – und das beginnt mit einer Hypothese. Damit haben Sie einen Ausgangspunkt für Ihre Tests oder Untersuchungen.

Die Hypothese sollte an eine Erkenntnis anknüpfen, die geeignet ist, das Ziel der Gesamtkampagne zu bestätigen. Bei Google beginnen wir mit dem umfassenden Geschäftsziel. Erst danach wenden wir uns den Marketing- und Kampagnenzielen zu. Wir konzentrieren uns jeweils auf ein einzelnes Ziel, um eine klare Erfolgsdefinition zu haben. Anschließend vergewissern wir uns, dass die Ziele aufeinander abgestimmt sind und einander ergänzen.

Einem Test, den wir vor Kurzem bei einer Android-Kampagne durchgeführt haben, lag beispielsweise die folgende Hypothese zugrunde: Im Sinne unseres Kampagnenziels "Steigerung der Markenbekanntheit" ist es besser, mehrere Markenelemente in die Anzeigenblöcke aufzunehmen als nur eines (siehe Grafik unter Schritt 2).

Wenn wir uns ein Kampagnenziel überlegen, denken wir an "weichere Parameter", z. B. Bekanntheit, Information, Kaufbereitschaft oder Kaufabsicht. Wir unterteilen die Aktionen und Verhaltensweisen der Nutzer in binäre Elemente wie Ausprobieren oder Kaufen, Kundentreue oder Nutzung. Anschließend erfassen wir mithilfe von HTML-Tags oder Umfragen Aktionen und Einstellungen der Nutzer. Mehr dazu im nächsten Schritt.

2. Eine umfassende Teststrategie entwickeln und Korrelationen nicht mit Kausalzusammenhängen verwechseln

Nachdem die Hypothese erarbeitet und mit dem Kampagnenziel verknüpft ist, muss ein Testplan erstellt werden. Begnügen Sie sich nicht mit Beobachtungen und Korrelationen. Stattdessen sollten Sie Tests so konzipieren und durchführen, dass Kausalzusammenhänge erkennbar werden.

In Zusammenhang mit Tests denken viele: "Ich probiere etwas Neues aus und schaue, was passiert." Es werden keine strengen Untersuchungsmethoden zum Testen einer Hypothese erarbeitet und es wird keine Kontrollgruppe gebildet. Wenn wir beim Google Media Lab Tests durchführen, definieren wir Kontroll- und Testgruppen. Dadurch können wir zusätzliche Aktionen oder geänderte Einstellungen der Nutzer messen und sehen, wie sich diese Messwerte nach dem Test geändert haben.

Um zu unserem Beispiel mit Android zurückzukommen: Nachdem wir unsere Hypothese festgelegt hatten, haben wir Tests mit drei verschiedenen Banneranzeigen durchgeführt und zwei Variablen bewertet: das Android-Logo und das Android-Männchen. Wir haben bei der Kampagne eine Unterteilung in drei unterschiedliche Gruppen vorgenommen (siehe unten) und jede Gruppe mit einer Kontrollgruppe verglichen, die die Anzeigen nicht gesehen hat. Anschließend haben wir die ungestützte Bekanntheit gemessen, d. h. die Fähigkeit eines Nutzers, eine Marke ohne Vorlage möglicher Namen zu erkennen. Am Ende haben wir festgestellt, dass die Markenbekanntheit durch Verwendung des Android-Männchens und des Logos gesteigert wurde.

Android-Fallstudie: Test zu Logo und Männchen

3. Sicherstellen, dass die Testvariablen experimentell gesichert sind

Wissenschaftler sprechen oft von Verzerrungen in Experimenten. So etwas passiert oft, wird jedoch in der Marketingbranche nicht hinreichend beachtet. Bei Google verhindern wir durch den oben erwähnten Aufbau mit Kontroll- und Testgruppen Verzerrungen. Wir randomisieren diese Gruppen und messen sie zeitgleich. Dadurch wird verhindert, dass unsere Tests durch zeitlich bedingte (vorher/nachher) und zielgruppenbedingte Verzerrungen beeinflusst werden.

In dem Test für die Android-Kampagne haben wir drei Gruppen und dazu jeweils eine Kontrollgruppe gebildet, insgesamt also sechs Gruppen. Dann haben wir die Zunahme der Bekanntheit bei allen Gruppen gemessen, die die Anzeige gesehen haben. Außerdem haben wir die Anzahl der beim Testen geänderten Variablen begrenzt. Durch die Berücksichtigung dieser Faktoren konnten wir Kausalzusammenhänge bestimmen. Ferner wussten wir, dass die gewonnenen Erkenntnisse zuverlässig sind und welche Änderungen bei unseren nächsten Kampagnen sinnvoll sind.

4. Umfassende Analysetools auswählen und systematisch einsetzen

Wir wissen ja, dass das Potenzial von Daten darin liegt, dass sie auf verschiedene Weise strukturiert und ausgewertet werden können. Hier kommen unsere Analyse-Tools ins Spiel. Wir verwenden Tools wie DoubleClick und Google Analytics Premium, um Datensignale wie Standort, Tageszeit, bisheriges Verhalten, bisherige Interessen oder Website-Nutzung zu ordnen.

Durch diese Tools sind wir in der Lage, die richtigen Daten zu verwenden und mit unseren Kampagnen die richtigen Zielgruppen zu erreichen. Es ist von großem Vorteil, die aus früheren Kampagnen gewonnenen Daten und Erkenntnisse beim nächsten programmatischen Kauf zur Hand zu haben. Programmatic Buying ist das Thema des ersten Artikels unserer Reihe "Inside Google Marketing" (Marketing bei Google).

Die entsprechenden Erkenntnisse und Tests können wir dann auf andere Unternehmen in unserem Portfolio übertragen. Dadurch sind wir in der Lage, anhand unserer Erfahrungen mit den verschiedenen Unternehmen und Kampagnen Best Practices zusammenzustellen. Im Endeffekt können wir die in verschiedenen Kampagnen getätigten Werbeausgaben auswerten und vergleichen sowie unsere Stakeholder zuverlässig informieren.

Die oben genannten Schritte 1 und 3 sind auf eine einzelne Kampagne anwendbar. Idealerweise sollte die Analyse aber systematisiert werden, um unter Verwendung der gleichen Tools und Methoden Erkenntnisse aus allen Kampagnen zu gewinnen. Dabei lassen sich aussagekräftige Vergleiche zwischen unterschiedlichen Kampagnen und Publishern ziehen und Erkenntnisse im Hinblick auf das unüberschaubare Multi-Channel-System von heute gewinnen.

Intelligente Analyse stützt sich auf wissenschaftliche Methoden

Heutzutage ist oft die Rede von Big Data und der Kraft der Marketingwissenschaft. Clevere Werbetreibende gehen mit wissenschaftlichen Methoden an die Analyse heran. Sie wissen, dass sie mit ihren Verfahren nur dann experimentell untermauerte Erkenntnisse erhalten, wenn sie ihre Analyse auf Zielen aufbauen. Durch die Standardisierung von Tools und ihren systematischen Einsatz in allen Kampagnen können sie leicht Aufwand und Ergebnisse vergleichen. Vor allem aber erkennen sie, was funktioniert hat und was nicht.