01Was bedeutet Vorhersage beim A/B-Testing?
Wenn ein Anbieter sagt, sein Tool sage etwas vorher, lautet die erste Frage: wann? Eine Bewertung, bevor es den Test gibt, sagt dir, ob du ihn bauen solltest. Ein Signal während des Tests ändert, wie der Traffic verteilt wird oder wann der Test endet. Eine Zahl nach dem Test sagt dir, welche Variante du behältst. Alle drei heißen Vorhersage, und sie sind sehr unterschiedlich viel wert.
| Bedeutung | Wann es passiert | Was es ändert |
|---|---|---|
| Bewertung einer Idee vor dem Start | Bevor der Test gebaut wird | Welche Tests du fährst |
| Bandits und vorzeitiger Abbruch | Während der Test läuft | Traffic-Verteilung oder Enddatum |
| Gewinnwahrscheinlichkeit als Auswertung | Nachdem Traffic gelaufen ist | Welche Variante du behältst |
Die dritte Bedeutung nutzen die meisten Testing-Tools. Shoplift zum Beispiel arbeitet mit „Bayesian statistical methods“ und meldet als Hauptkennzahl eine „Probability to Win“, sobald ein Test Traffic hat. Das ist eine Auswertung, keine Prognose. Die zweite Bedeutung hat eigene Vor- und Nachteile, nachzulesen unter Multi-Armed Bandits vs. A/B-Tests (Englisch) und Sequential Testing (Englisch). Diese Seite handelt von der ersten Bedeutung: der Bewertung einer Idee, bevor jemand sie baut.
02Warum willst du eine Vorhersage vor dem Start?
Fang bei der Basisrate an. Laut Ronny Kohavi gewinnen 10 bis 20 Prozent der Experimente. Die Forschung zeigt in dieselbe Richtung: Berman und Van den Bulte (Management Science, 2022) haben 2.766 Optimizely-Experimente ausgewertet. Nach ihrer Schätzung waren rund 70 Prozent der getesteten Effekte echte Nulleffekte, also Änderungen, die nichts Messbares bewirkt haben. Einfach gesagt: Das wahrscheinlichste Ergebnis jeder Testidee ist, dass nichts passiert.
Menschen erkennen die Ausnahmen schlecht. In der Auswertung von GoodUI aus dem Jahr 2022 über 70.149 Tipps auf GuessTheTest lagen die Teilnehmer bei zwei Varianten in 59 Prozent der Fälle richtig, kaum besser als ein Münzwurf. Milkman und Kollegen (Nature, 2021) ließen Fachleute verhaltensökonomische Maßnahmen in eine Rangfolge bringen. Ergebnis: Die Fachleute „failed to predict which interventions would be most effective“, sie konnten also nicht vorhersagen, welche Maßnahmen am meisten wirken.
Genau dafür ist eine Vorhersage vor dem Start da. Ein Shop mit vierzig Ideen und Platz für vier Tests im Monat muss auswählen. Entscheidet der Geschmack, gehen die meisten Plätze an Ideen, die nichts bewirken. Entscheidet das, was passiert ist, als vergleichbare Shops vergleichbare Ideen getestet haben, gehen mehr Plätze an Ideen mit einer Erfolgsbilanz.
03Wie sagen Anbieter Testergebnisse heute vorher?
| Anbieter | Was bewertet wird | Genannte Daten | Veröffentlichte Prüfung |
|---|---|---|---|
| Apex by DRIP | Jede Testidee: Likelihood to Win* | 4,3 Millionen beobachtete Tests, 151.000 Shops | Holdout: oberes Drittel gewann 1,4- bis 1,6-mal so oft |
| Kameleoon PBX Ideate | Bis zu acht Ideen pro Seite | „Trained on 20,000+ experiments“ | „63% accuracy on high-confidence predictions“ |
| Varify AI | Testideen aus einem Website-Audit | „10,000+ test patterns“ | Keine gefunden |
| Shoplift Lift Assist | Empfohlene Theme-Sections | „millions of shopper sessions“ | Keine gefunden |
| Wingify (VWO, AB Tasty) | Gereihte Ideen, Tests mit synthetischen Besuchern | „proprietary data“, keine Größe des Datenbestands | Keine gefunden |
| Shopify SimGym | Simulierte Käufer vergleichen zwei Themes | „real commerce sessions across our platform“ | Keine gefunden |
| Autonome CRO-Tools | Ideen nach erwartetem Umsatz oder Score sortiert | Meist nicht angegeben | Teils Gewinnquoten als Schlagzeile, keine Methode gefunden |
*Die Likelihood to Win ist ein Prozentwert pro Testidee, angezeigt mit der Zahl der Tests, die dahinterstehen. Sie ordnet eine Idee im Vergleich zum eigenen Backlog des Shops ein. Eine Gewinnwahrscheinlichkeit im strengen Sinn ist sie nicht.
Apex by DRIP: Likelihood to Win
Apex by DRIP nennt seine Methode Prediction-Based Experimentation. Einfach gesagt: Wir wissen, was Shops wie deiner getestet haben und welche Tests gewonnen haben. Apex hat drei Ebenen: ein Testgedächtnis mit 4,3 Millionen A/B-Tests aus 151.000 Shops, gesammelt seit 2011; ein Testing-Tool, das Tests direkt im Shop baut, startet und auswertet; und die begleitete Umsetzung mit dem DRIP-Team. Jede Testidee bekommt vor dem Start eine Likelihood to Win, einen Prozentwert pro Idee, angezeigt mit der Zahl der Tests, die dahinterstehen. Das Backlog klassifiziert Ideen automatisch und bewertet sie.
Apex bewertet jede Testidee anhand von 4,3 Millionen beobachteten A/B-Tests aus 151.000 Shops und zeigt, wie viele Tests hinter jedem Wert stehen. Die nächstgrößere veröffentlichte Zahl in diesem Vergleich ist Kameleoons Ideate mit mehr als 20.000 Experimenten; Varify nennt 10.000 oder mehr Testmuster; kein anderer Anbieter in diesem Vergleich veröffentlicht die Zahl der Tests hinter seinen Empfehlungen (Anbieterseiten geprüft im Oktober 2026).
Apex hat eine Holdout-Zahl und eine Vorregistrierung veröffentlicht. In einer Holdout-Prüfung innerhalb eines Shops gewann das obere Drittel der Ideen 1,4- bis 1,6-mal so oft (Pressemitteilung vom 29. September 2026; Angabe des Anbieters). Anfang September 2026 wurden Vorhersagen für 33 Marken erstellt und eingefroren. Die ersten Ergebnisse veröffentlichen wir ab November 2026. Wie das ganze Produkt aussieht, steht in Was ist Apex by DRIP.
Kameleoon: PBX Ideate
Kameleoons Agent Ideate gehört zu PBX 2.0, gestartet am 16. April 2026. Laut Anbieter analysiert er die Website, um die Testchancen mit der größten Wirkung zu finden („analyzes your website to identify the highest-impact experimentation opportunities“), und schlägt bis zu acht Testideen pro Seite vor („up to eight test ideas for each page“). Die Ideate-Seite gibt an, das Modell sei „Trained on 20,000+ experiments“, und nennt das „Lever Framework, the CRO methodology developed by GAIN and refined over 15 years through more than 10,000 experiments“. Der Launch-Beitrag nennt eine andere Zahl: „a database of over 25,000 experiments built over more than a decade by CRO specialists“.
Kameleoon veröffentlicht auch eine Zahl zur Genauigkeit: „63% accuracy on high-confidence predictions, compared to an industry average of around 20%“. Laut Launch-Beitrag sind Ideate-Ideen „three times more likely to convert than the industry average“. Beides sind Angaben des Anbieters. Bevor du dich darauf verlässt, frag nach, was als Vorhersage mit hoher Sicherheit gilt und welcher Anteil der Ideen eine solche Vorhersage bekommt. Den direkten Vergleich findest du unter Apex vs Kameleoon.
Varify: KI-Ideen aus Testmustern
Varify, ein deutsches Testing-Tool, hat am 14. Februar 2026 ein CRO AI Audit eingeführt, das Testideen und eine Einschätzung der Website liefert. Auf der KI-Seite heißt es „Recommendations are based on CRO patterns from real experiments“. Genannt werden „10,000+ test patterns“ und „Over 1,370 teams use Varify AI“. Varify hat auch den Gegenpunkt veröffentlicht: „No model can reliably predict user behavior on your specific site“ (varify.io, geprüft im September 2026). Diesem Satz stimmen wir zu. Ein Muster ist ein Ausgangspunkt, und der Test in deinem Shop entscheidet. Details unter Apex vs Varify.
Shoplift: Lift Assist
Shoplift beschreibt Lift Assist als „Shoplift’s recommendation engine which dynamically provides theme sections“. Lift Assist dupliziert das Template und fügt eine Section ein, gestaltet mit den importierten Brand Styles des Shops. Inhalte fügt es dort nicht automatisch ein („does not automatically add content to this section“). Zu den Daten sagt Shoplift, das Tool „analyzes millions of shopper sessions to recommend what converts“ und „Leverages your brand and test ideas from hundreds of top brands“. Shoplift beschreibt seine Daten also in Käufer-Sessions, nicht in Tests, und eine veröffentlichte Genauigkeitszahl für die Empfehlungen haben wir nicht gefunden. Details unter Apex vs Shoplift (Englisch).
Wingify (VWO und AB Tasty): Agenten auf eigenen Daten
VWO und AB Tasty sind am 16. September 2026 gemeinsam als Wingify neu gestartet, „the Agentic Experience Optimization Platform“. Der Hypothesis Agent „turns evidence into ranked, testable ideas and drafts the variations“, und „recommendations are presented for human review“. Die Daten beschreibt Wingify als „trained on AB Tasty’s proprietary data and user insights“ und „Wingify’s proprietary data and UX principles“, ohne Größe des Datenbestands und ohne veröffentlichte Gewinnprognose. Ein Synthetic Testing Agent „tests a change on synthetic visitors built from your real segments“. Details unter Apex vs VWO.
Shopify SimGym: simulierte Käufer
SimGym ist eine eigene Shopify-App, beschrieben als „a Shopify app in AI Research Preview that uses AI-powered shoppers to simulate buyer behavior on your online store“. Sie vergleicht zwei Themes oder analysiert eines. Shopify schreibt: „By learning from real commerce sessions across our platform, we have trained models to simulate real customer personas who can approximate what shoppers might do and feel.“ Das ist eine andere Art von Vorhersage. SimGym schlägt nicht nach, wie frühere Tests ausgegangen sind. Die App schickt KI-Agenten durch deinen Shop und berichtet, was sie getan haben.
Shopify geht offen mit der Grenze um. Produktverantwortlicher Aaron Glazer sagte im Unofficial Shopify Podcast (Dezember 2025): „It’s not fully testing“. Er positionierte SimGym für Shops, die nicht genug Traffic für Split-Tests haben. Im App Store hat SimGym 2,8 von 5 bei 40 Bewertungen. Ein Rezensent schreibt: „there’s no way to export simulation results, and there’s no way to customize simulation shoppers“ (geprüft im Oktober 2026). Details unter Apex vs Shopify Rollouts (Englisch).
Autonome CRO-Tools
Eine neuere Gruppe von Tools schlägt Tests mit Agenten vor, baut sie und startet sie teilweise auch. Dalton schlägt Tests vor, sortiert nach erwartetem Umsatz, und sagt „nothing goes live without your approval“. Spar bringt Ideen in eine Reihenfolge und verspricht „Paste a URL. Get a prioritized backlog in 10 minutes“, mit „No autopilot“. CRO Agent bewertet Ideen nach „Proof, Ease, Cost, Time, Impact“ und fährt selbst keine Tests. Keak nennt eine „73% win rate“ (Pressemitteilung vom 15. Januar 2025). Das sind Angaben der Anbieter. Auf den Seiten, die wir gelesen haben (geprüft im Oktober 2026), haben wir keine Methode hinter diesen Zahlen gefunden. Mehr zum ganzen Feld unter KI-A/B-Testing-Tools.
04Was kann dir eine Vorhersage sagen, und was nicht?
Was dir eine Vorhersage sagen kann
- Welche Ideen du zuerst fährst. Eine Bewertung sortiert ein Backlog. Bei begrenztem Traffic zählt die Reihenfolge mehr als die Menge.
- Welche Ideen du streichst. Eine Idee, die in vergleichbaren Shops selten funktioniert hat, kann warten. Jeder Test, den du nicht baust, spart Design, Entwicklung, QA und Traffic.
- Wie viel Evidenz hinter einer Bewertung steht. Ein Wert, hinter dem viele beobachtete Tests stehen, bedeutet etwas anderes als ein Wert, hinter dem eine Handvoll steht. Lass dir die Zahl zeigen.
Was dir eine Vorhersage nicht sagen kann
- Wie deine Zielgruppe reagiert. Kein Modell kennt deine Besucher. Deshalb fährst du den Test trotzdem. Die Vorhersage ändert, welche Tests du fährst.
- Irgendetwas über eine neue Idee. Eine Idee, die noch niemand getestet hat, hat keine Bilanz. Sie sollte als unbekannt gelten, nicht als schlecht. Halte etwas Kapazität für solche Ideen frei, sonst hört dein Programm auf zu lernen.
- Ob frühere Gewinne echt waren. Trainingsdaten sind verrauscht. Berman und Van den Bulte schätzen, dass 18 bis 25 Prozent der Ergebnisse, die auf dem 5-Prozent-Niveau als signifikant gelten, Falschentdeckungen sind. Ein Modell, das auf gemeldeten Gewinnen trainiert ist, erbt einen Teil dieses Rauschens.
- Effekte in einem einzelnen Segment. Eine Änderung kann insgesamt flach sein und bei mobilen Besuchern oder Stammkunden stark wirken. Eine Bewertung ist eine Zusammenfassung, und Zusammenfassungen verlieren Details.
- Ob der Test gut durchgeführt wird. Ein gut gewählter Test, der in einem Browser nicht funktioniert, das falsche Event misst oder zu früh beendet wird, liefert nichts Brauchbares. Die Bewertung gehört ins Planungsmeeting, nicht in die Abbruchregel.
Zur Einordnung unsere eigene Bilanz, kein Versprechen für deinen Shop: Über die eigenen Tests von DRIP stieg die Gewinnquote von 27 Prozent im Jahr 2024 (808 Tests) auf 56 Prozent zwischen April und Juni 2026 (278 Tests). Die Basis der Branche liegt laut Ronny Kohavi bei 10 bis 20 Prozent. Eine Gewinnquote hängt davon ab, wie ein Gewinn gezählt wird und welche Ideen überhaupt in einen Test kommen, und lockere Statistik kann eine hohe Quote erzeugen. Lies die Gewinnquote jedes Anbieters, auch unsere, deshalb immer mit Zeitraum, Zahl der Tests und Definition. Weitere Benchmarks findest du unter A/B-Testing-Statistiken (Englisch).
05Wie prüfst du die Vorhersage-Aussage eines Anbieters?
- Wann findet die Vorhersage statt? Bevor der Test gebaut wird, während er läuft oder danach? Nur der erste Fall ändert, was du testest.
- Woraus wird sie berechnet, und wie wurde das gezählt? Beobachtete Tests, geschriebene Fallstudien, Testmuster, Käufer-Sessions und Käufe sind unterschiedliche Einheiten. Eine Zahl in der einen Einheit lässt sich nicht mit einer Zahl in einer anderen vergleichen.
- Was bedeutet die Zahl? Eine Wahrscheinlichkeit, dass dieser Test gewinnt, ein Rang innerhalb deines Backlogs oder ein erwarteter Umsatz? Jede dieser Zahlen musst du anders lesen.
- Wurde sie an Daten geprüft, die das Modell nicht kannte? Eine Holdout-Prüfung vergleicht Vorhersagen mit Ergebnissen, auf denen das Modell nicht trainiert wurde. Ohne sie beschreibt eine Genauigkeitszahl womöglich die Trainingsdaten und nicht deine künftigen Tests.
- Wurden die Vorhersagen vor den Ergebnissen eingefroren? Werte, die festgehalten werden, bevor die Tests laufen, und danach mit dem Ergebnis verglichen werden, lassen sich im Nachhinein schwerer zurechtbiegen.
- Was kann die Methode laut Anbieter nicht? Eine echte Methode hat Grenzen. Nennt ein Anbieter keine, sagt das etwas über das Marketing, nicht über die Methode.
| Aussage | Was du fragst |
|---|---|
| Eine Größe des Datenbestands | Tests, Muster, Sessions oder Fallstudien? |
| Eine Genauigkeit in Prozent | Bei welchen Ideen, gegen welche Basis? |
| Eine Gewinnquote | Welcher Zeitraum, wie viele Tests, welche Schwelle? |
| Simulierte Käufer | Danach mit echten Testergebnissen verglichen? |
| Ideen von Top-Marken | Haben diese Ideen gewonnen oder sind sie nur gelaufen? |
Auf Apex angewendet, lauten die belegten Antworten so. Die Bewertung findet vor dem Start statt. Sie wird aus 4,3 Millionen beobachteten A/B-Tests aus 151.000 Shops berechnet, und jeder Wert zeigt, wie viele Tests dahinterstehen. Die Zahl ordnet eine Idee im Vergleich zum eigenen Backlog des Shops ein. Eine Gewinnwahrscheinlichkeit im strengen Sinn ist sie nicht. Die Holdout-Prüfung innerhalb eines Shops ergab, dass das obere Drittel der Ideen 1,4- bis 1,6-mal so oft gewann. Vorhersagen für 33 Marken wurden Anfang September 2026 eingefroren. Die ersten Ergebnisse veröffentlichen wir ab November 2026. Frag uns in einem Gespräch nach den Details hinter jedem dieser Punkte, so wie du jeden anderen Anbieter fragen würdest.
06Welcher Ansatz passt zu welchem Shop?
| Deine Situation | Schau dir an | Warum |
|---|---|---|
| Tests enden immer wieder flach | Apex by DRIP | Ideen werden zuerst gegen beobachtete Tests bewertet |
| Zu wenig Traffic für Split-Tests | Shopify SimGym | Simulierte Käufer, qualitatives Feedback |
| Großes Programm, Agenten für jeden Schritt | Wingify oder Kameleoon | Agenten von der Idee bis zum Start |
| Fester Preis, KI-Ideen inklusive | Varify | Pauschalpreis pro Domain, KI im Pro-Tarif |
| Shopify-Team, das im Theme baut | Shoplift Lift Assist | Vorgeschlagene Sections im Template |
| Noch kein Test pro Woche möglich | Erst ein leichteres Tool | Erst die Routine, dann die Vorhersage |
Wann Apex nicht die richtige Wahl ist
- Ein Team, das schon gut auswählt, welche Tests gewinnen, hat weniger von der Vorhersage-Ebene.
- Ein Shop, der noch keinen Test pro Woche ausspielen kann, sollte diese Routine erst mit einem leichteren Tool aufbauen. Eine Vorhersage zu kaufen, bevor du umsetzen kannst, ist die falsche Reihenfolge.
- Wer vor einem Gespräch eine veröffentlichte Preisliste braucht. Der Preis von Apex ist nicht veröffentlicht. Es gibt einen kostenlosen Tarif ohne Kreditkarte für einen Store, und der nächste Schritt ist ein Gespräch.
Das ganze Bild über die Vorhersage hinaus, mit fünfzehn Tools im Vergleich nach Testumfang, Statistik, Shopsystemen, Datenstandort und Preis, findest du unter A/B-Testing-Tools für Online-Shops.




