Sie haben genug Traffic
für aussagekräftige Experimente

Es gibt kein universelles Minimum. Der benötigte Traffic hängt von drei Variablen ab: dem Minimum Detectable Effect (MDE), den Sie messen müssen, der Basisvarianz Ihrer Primärmetrik und dem gewünschten Konfidenzniveau. Als Richtwert: Marken mit 30.000+ monatlichen Sessions auf ihren Conversion-Seiten können typischerweise 6–12 % Effekte auf Revenue per Visitor bei 95 % Konfidenz detektieren. Unter 20.000 Sessions ist Testing möglich, aber auf Hypothesen mit großen Effekten oder längere Laufzeiten beschränkt. Die richtige Antwort liefert eine Power-Analyse auf Ihren realen Daten, keine generische Schwelle.

MDE ist der kleinste wahre Effekt, den Ihr Test bei Ihrem Traffic, Ihrer Metrik-Varianz und dem gewünschten Konfidenzniveau zuverlässig erkennen kann. Bei Low-Traffic-Sites ist der MDE größer — typischerweise 5–12 % statt der 2–3 % bei Enterprise-Retailern. Das ist kein Problem, wenn Ihre Hypothesen auf große Effekte ausgelegt sind — genau das liefert psychologiebasierte Forschung. Die Kernaussage: Ein korrekt kalibrierter MDE sagt Ihnen, welche Tests Sie durchführen sollen, nicht ob Sie testen können.

Bayesianische Methoden und Multi-Armed Bandits werden häufig als Lösung für Low-Traffic-Testing vermarktet, weil sie schnellere Ergebnisse versprechen. Die Realität: Sie erreichen dies, indem sie die Fehlerkontrolle lockern, die frequentistische Methoden gewährleisten. Bayesianische Posterior-Wahrscheinlichkeiten sind nicht äquivalent zu frequentistischen Konfidenzintervallen, und Bandits optimieren auf kurzfristigen Gewinn zulasten des langfristigen Lernens. Für ein strukturiertes Experimentation-Programm — bei dem Sie permanente Design-Entscheidungen auf Basis von Testergebnissen treffen — bieten frequentistische Methoden die Fehlerratengarantien, die zählen. Das ist die Position von Georgi Georgiev und der breiteren Experimentation-Statistik-Community.

Die Testdauer hängt vom Traffic-Volumen, der Metrik-Varianz und dem MDE ab. Bei Sites mit 30.000–60.000 monatlichen Sessions benötigen Tests typischerweise 4–8 Wochen, um statistische Signifikanz auf Revenue per Visitor zu erreichen. Mit CUPED-Varianzreduktion kann dies um 20–40 % sinken. Wir planen immer vollständige Geschäftszyklen ein (mindestens zwei vollständige Wochen), um Wochentag-Effekte zu berücksichtigen. Längere Laufzeiten sind keine Schwäche — sie sind das, was ehrliche Statistik bei kleineren Stichproben erfordert.

CUPED — Controlled-experiment Using Pre-Experiment Data — ist eine Varianzreduktionstechnik, die bei Microsoft entwickelt wurde. Sie nutzt das Nutzerverhalten vor dem Experiment als Kovariate, um die Varianz der Testmetrik zu reduzieren. Geringere Varianz bedeutet kleinere benötigte Stichproben: In der Praxis reduziert CUPED den benötigten Traffic um 20–40 %, abhängig davon, wie prädiktiv das Vorher-Verhalten ist. Für Low-Traffic-Sites ist dies die wirkungsvollste verfügbare Technik. Sie verändert nicht das Testdesign und führt keinen Bias ein — sie lässt Ihren vorhandenen Traffic einfach weiter reichen.

Ja, aber mit sorgfältiger Traffic-Allokation. Bei Low-Traffic-Sites führen wir typischerweise 2–4 Experimente gleichzeitig durch statt der 6–10 auf High-Traffic-Sites. Jeder Test wird nicht-überlappenden Seitengruppen zugewiesen (z. B. einer auf PDP, einer im Warenkorb, einer auf Kategorieseiten), um Interaktionseffekte zu verhindern und gleichzeitig die statistische Power jedes Experiments zu erhalten. Das Ziel ist maximale Lerngeschwindigkeit innerhalb der Traffic-Grenzen — nicht maximale Parallelität um ihrer selbst willen.