Wenig Traffic ändert, was du testest.
Nicht, wie sauber du testest.

Eine feste Zahl an Sessions gibt es nicht. Es hängt davon ab, welchen Effekt du messen willst, wie stark dein Umsatz pro Besucher schwankt und welche Konfidenz du brauchst. Wir arbeiten mit Online-Shops ab 100.000 € Umsatz im Monat. Darunter dauert es bei den meisten Tests zu lange, bis sie ein Ergebnis zeigen, und das Testing trägt sich nicht selbst. Wenn das bei dir so ist, sagen wir dir das im Gespräch.

Der MDE ist der kleinste echte Effekt, den ein Test mit deinem Traffic sicher messen kann. Mit wenig Traffic ist er größer. Testen kannst du trotzdem. Nur fallen Kleinigkeiten raus. Die Ideen müssen groß genug sein, dass dein Traffic die Wirkung auf den Umsatz auch sieht. Wir legen den MDE vor jedem Test fest. So weißt du vorher, was dir ein Test sagen kann und was nicht.

Bayesianische Tools und Bandits werden Shops mit wenig Traffic gern verkauft. Sie scheinen schneller zu entscheiden. Das schaffen sie aber nur, weil sie Fehler großzügiger durchgehen lassen. Du änderst deinen Shop dauerhaft auf Basis deiner Testergebnisse. Also wollen wir wissen, wie oft wir falschliegen. Deshalb steht bei jedem Test alles vorher fest: frequentistisch, 80 % Konfidenz, 80 % Power, MDE und Laufzeit, kein vorzeitiger Abbruch.

Länger als bei großen Shops. Wie lange genau, hängt von deinem Traffic ab, von den Schwankungen im Umsatz pro Besucher und von dem Effekt, den wir messen wollen. Wir berechnen die Laufzeit vor dem Start und lassen den Test bis zum Ende laufen. Wer früher abbricht, um Zeit zu sparen, produziert falsche Gewinner. Und ein falscher Gewinner geht live und kostet dich dauerhaft Geld.

Ja. Jeder Besucher wird jedem Test unabhängig zugeteilt. Die Tests stören sich also nicht gegenseitig. Microsoft hat gezeigt: Wechselwirkungen zwischen parallelen Tests ändern in etwa einem von 50.000 Fällen eine Entscheidung. Wie viele Tests gleichzeitig laufen, hängt von deinem Traffic ab. Und davon, wie viele Seiten genug Umsatz machen, um darauf zu testen.

Dann sagen wir dir ehrlich: A/B-Testing ist wahrscheinlich noch nicht die beste Investition für dein Geld. Deine Tests würden zu lange bis zu einem Ergebnis brauchen. Das sagen wir dir lieber im Gespräch, statt dir etwas zu verkaufen, das sich nicht selbst trägt.