Was ist das Ziel von A/B Testing für dich?
Das ist die Frage, die ich in so gut wie jedem Kickoff Gespräch stelle. Häufig bekomme ich hier folgende Antworten wie
- in drei Monaten einen 8x ROI auf eure Kosten
- die Conversion Rate in X Wochen um X% steigern
- XY Tausend Mehrumsatz/ Monat in 8 Wochen
Was haben alle diese Antworten gemeinsam?
Sie beinhalten zeitliche Faktoren – das heißt die Erwartungen beziehen sich auf absolute Zahlen, die innerhalb eines zeitlichen Rahmens erreicht werden sollen.
Sobald ich diese Antworten höre, stellen sich bei mir alle Haare auf. Ich kann nicht nachvollziehen, wie das Denken zustande kommt, dass Testing DIE magische Pille ist, die am besten schon gestern implementiert wurde und morgen profitabel sein soll.
Die Erwartungen an Testing werden von vielen Leuten mit den Erwartungen ans Performance-Marketing gleichgestellt: eine Quick Win Taktik mit sofortiger Profitabilität, obwohl richtiges Testing eigentlich etwas komplett anderes ist.
Was ist A/B Testing wirklich?
A/B-Testing ist die technische Methode, mit der man Änderungen am Onlineshop misst und durch die man versteht, ob eine bestimmte Anpassung am Shop besser performt. Im ersten Schritt werden durch A/B Testing Unterschiede gemessen – allerdings wird sich dadurch kein Shop magisch über Nacht verbessern.
Angenommen wir testen eine Veränderung der Farbe des Impressum-Links im Footer – wird diese Änderung die Performance (Conversion Rate) des Shops verbessern? Ich würde stark vermuten, nein.
Viel wichtiger ist es zu verstehen, dass A/B Testing das letzte Glied in der Wertschöpfungskette von Testing & Experimentation ist.
A/B Testing ist das Werkzeug, welches Experimentation messbar und quantifizierbar macht.
Was genau ist Experimentation?
Experimentation bezeichnet die Art und Weise, wie in einem Unternehmen gedacht und gearbeitet wird.
Wie der Name schon verrät, geht es um das Experimentieren. Experimentation ist die Anwendung von wissenschaftlichen Methoden in der unternehmenswelt um datengetriebene entscheidungen zu treffen und das unternehmen weiterzuentwicklen, indem man weniger falsch liegt und immer mehr über den Nutzer lernt.
In experimentation-driven Organisationen werden keine Entscheidungen mehr aus dem Bauch heraus getroffen, sondern jede Entscheidung wird anhand von Daten gefällt. Die Learnings darüber, was funktioniert hat und was nicht, werden genau wie in der Wissenschaft für Folgeexperimente dokumentiert.
Die größten Ecommerce-Unternehmen wie Amazon, Alibaba, Zalando, Bol etc. setzen auf Experimentation, um schneller zu wachsen und weniger falsche Entscheidungen zu treffen.
Was ist das wichtigste bei wissenschaftlichen Experimenten?
Es muss von Anfang an klar festgelegt werden, was getestet wird, welche Variablen betrachtet werden (bei Onlineshops sind das meistens die Referenz, Variante und die Testvariante) und welche Metrik(en) gemessen werden, um eine Aussage zu treffen.
Wie kann man das in der Praxis umsetzen?
In der Praxis fasst man das meist in einer Testhypothese zusammen. Man formuliert aus, welche Änderung vorgenommen wird (z.B. die Einführung eines Größenberaters im Shop), welche Metrik sich verändern und daher gemessen wird (z.B. der ARPU = CRO X AOV) und warum man diese Änderung erwartet.
Ausformuliert könnte das ganze dann folgendermaßen aussehen:
WENN wir auf Produktseiten einen Größenberater einbauen
DANN steigt der ARPU
WEIL Nutzer dadurch eine Hilfestellung bei der Größenauswahl haben, wodurch die Unsicherheit die falsche Größe zu bestellen vermindert wird.
Wenn wir diesen konkreten Test jetzt durchführen und anschließend auswerten, erwarten uns 3 Szenarien:
- Szenario 1 – es kaufen mehr Nutzer → die Größenberatung hat eine Auswirkung auf die Kaufentscheidung. Je besser wir den Nutzer beraten, desto geringer sind seine Unsicherheiten
- Szenario 2 – es kaufen weniger Nutzer → die Größenberatung hat eine Auswirkung auf die Kaufentscheidung, allerdings war sie im Test negativ. Jetzt können wir anfangen zu forschen, warum das Ergebnis negativ war.
- Szenario 3 – es liegt kein Einfluss auf das Kaufverhalten vor → die Größenberatung spielt kaum eine Rolle für den Onlineshop. Das Budget sollte nicht in die Implementierung dieses Elements fließen, sondern an anderer Stelle investiert werden.
Welchen Mehrwert liefern Testergebnisse?
Egal welchen Ausgang der Test hat, haben wir etwas über das Kaufverhalten der Nutzer gelernt.
Und genau das ist die Superpower von A/B-Testing – mit jedem Test lernen wir mehr über das Kaufverhalten von Nutzern und kommen der Wahrheit darüber, was für Nutzer wichtig ist ein Stück näher. Wenn etwas funktioniert ist das gut, aber noch viel besser ist es, wenn wir den Ursachen von negativen Tests auf den Grund gehen und dekonstruieren an welchen Einflussgrößen es gelegen hat.
Im Fall des Größenberaters könnte zum Beispiel herauskommen, dass die Empfehlungen in Konfektionsgrößen gegeben werden, aber der Nutzer daraus keine Rückschlüsse ziehen kann, weil die Produkte nicht in Konfektionsgrößen, sondern in S/M/L/XL ausgewählt werden müssen.
Mit dieser Erkenntnis kann ein Folgetest aufgesetzt werden – das kann beispielsweise ein Größenberater sein, der die Größen auf Grundlage der angegebenen Körpergröße und -gewichts des Nutzers berechnet. Nun kann erneut iterativ getestet und analysiert werden, um herauszufinden, ob die Annahme dieses Mal stimmt.
Warum man alle Testergebnisse archivieren sollte?
Wenn wir alle Tests jetzt noch abspeichern und dokumentieren, können wir step-by-step mehr über unsere Zielgruppe herausfinden und Features bauen, die dem Nutzer wirklich dabei helfen eine Entscheidung zu treffen – und vor allem können wir diese Informationen auch in anderen Abteilungen nutzen.
Derjenige, der am meisten über seine Zielgruppe und Kunden weiß, kann die besten und innovativsten Produkte bauen und sich langfristig einen Wettbewerbsvorteil erarbeiten.
Warum man auf der Strecke bleibt, wenn man nicht testet?
Wenn man datenbasiertes Wissen darüber hat, welches bestimmte Feature mehr Umsatz einbringt, kann man gezielt Ressourcen und Geld allokieren, um weitere Erfolge zu erzielen. Im Fall der Größe kann das zum Beispiel die Implementierung eines eigenen Größenberaters sein, der den Nutzern einen Visual Try-On über eine AR Anprobe ermöglicht. Konnte man datengetrieben bestätigen, dass die Nutzer durch dieses Element besser konvertieren, kann das Wissen auch in der Marketingabteilung in Form eines kommunizierten USPs wie “schau dir deine neuen Outfits live an und bestelle, was dir gefällt” eingesetzt werden.
Durch solche Ideen, die konstant mit Daten validiert und kundenzentriert gebaut werden, erschafft man sich langfristig ein Growth Flywheel, das sich konstant befeuert und immer mehr Wachstum erzeugt, je mehr Wissen man über Nutzer testet und anreichert.
Warum man mit A/B Testing keine kurzfristigen Ziele verfolgt?
Um auf die einleitende Frage, was das Ziel von A/B Testing ist, zurückzukommen – man kann mit A/B Testing zwar all diese Ziele langfristig erreichen, aber eben nicht in kurzen Zeiträumen. Testing & Experimentation sind wie ein neues Betriebssystem. Es bedarf einer Zeit bis alle Handgriffe erlernt sind, aber sobald man sich diese angeeignet hat und die Vorteile davon sieht, möchte man nicht mehr ohne.
Kurzfristige und absolute Ziele verhindern einen wirklichen Umstieg, weil dadurch die falschen Incentives gesetzt werden. Wenn ich einer Person sage: “Du bekommst morgen ein Macbook und ein iPhone, darfst es aber nur behalten, wenn du morgen sofort um 50% effizienter arbeitest als mit deinen aktuellen Geräten.” Dann wird sie, egal wie sehr sie sich bemüht dieses Ziel ohne Knowledge trotzdem nicht erreichen können.
Man muss erstmal alles aufsetzen, alle Veränderungen verstehen. Erst dann kann man nach einigen Wochen wirklich effizienter arbeiten.
Und genau so ist es auch mit A/B Testing – der Anfang ist nicht immer rosig, oftmals auch holprig, aber die langfristigen Ergebnisse bringen gewaltige Vorteile.
Wer nicht testet und weiter Bauchentscheidungen trifft, hat in einem Markt, in dem alles datengetrieben von Nutzern entschieden wird, keine Chance.
