01Welches KI A/B-Testing-Tool passt 2026 zu welcher Aufgabe?
Das Kurzfazit, eine Zeile pro Aufgabe:
- Agenten für den ganzen Zyklus, mit Freigabeschritt: Wingz von Wingify (VWO und AB Tasty) und PBX 2.0 von Kameleoon.
- Du nutzt schon Optimizely: Die Opal-Agenten entwickeln Ideen, bauen komplette Tests und berichten über das Programm.
- KI, die Tests auf Shopify baut und prüft: Intelligems dokumentiert einen Bau-Agenten, einen QA-Agenten und einen MCP-Server.
- Du arbeitest aus ChatGPT oder Claude heraus: Prüf die Berechtigungen. Die Anbindung von Elevate kann nur lesen; Intelligems, ABlyft und Convert dokumentieren, dass sie Tests bauen.
- Software, die Tests für dich fährt: Dalton, Spar und pagent dokumentieren einen Freigabeschritt durch Menschen; Keak, Variant und OptiMonk veröffentlichen keinen.
- Deine Tests enden immer wieder ohne klares Ergebnis: Dann besteht die Aufgabe darin, Ideen zu ranken, bevor du sie baust. Apex by DRIP gibt jeder Testidee eine Likelihood to Win, gestützt auf 4,3 Millionen beobachtete A/B-Tests aus 151.000 Shops.
Wo wir „nicht gefunden“ schreiben, haben wir die Funktion in der gelesenen Dokumentation nicht gefunden; das beweist nicht, dass sie fehlt. Ausführliche Profile von fünfzehn Tools findest du in unserem Vergleich der A/B-Testing-Tools für Online-Shops.
02Was macht KI in einem A/B-Testing-Tool?
- Ideen. Die KI liest deine Seiten, Analytics- oder Sessiondaten und schlägt vor, was du testen kannst.
- Ranking. Die KI ordnet Ideen nach erwarteter Wirkung, bevor etwas gebaut wird.
- Bauen. Die KI macht aus einem Prompt, einer Designdatei oder einer gespeicherten Idee eine Variante.
- Prüfen. Die KI prüft das Setup oder simuliert Besucher, bevor ein Test echte Kunden erreicht.
- Lesen. Die KI fasst ein Ergebnis zusammen, erklärt es oder empfiehlt, ob du die Variante ausrollst.
- Autonomie. Die KI startet Tests und übernimmt Gewinner, mit oder ohne Freigabe jedes Schritts durch einen Menschen.
Zwei Fragen trennen die Angebote: Welche Daten stehen hinter der Aufgabe (dein Traffic, eine Bibliothek vergangener Experimente oder ein allgemeines Sprachmodell), und wer gibt frei, bevor ein Test Kunden erreicht? Eine dritte Frage ist 2026 neu: ob sich das Tool mit ChatGPT oder Claude verbindet, und mit welchen Berechtigungen.
| Aufgabe der KI | Tools, die sie dokumentieren | Worauf du achten solltest |
|---|---|---|
| Testideen vorschlagen | Wingify, Kameleoon, Optimizely, Intelligems, Varify, ABlyft | Mehr Ideen sind nicht bessere Ideen |
| Ideen vor dem Bau ranken | Apex, Kameleoon, Intelligems, Wingify | Welche Daten das Ranking nutzt |
| Varianten aus einem Prompt bauen | Wingify, Kameleoon, Optimizely, Intelligems, Visually, Varify | Welche Testarten sie bauen kann |
| Einen Test vor dem Start prüfen | Wingify, Intelligems, Dalton, Shopify SimGym | Simulierte Kunden sind keine echten Käufer |
| Ergebnisse lesen | Apex, Optimizely, Kameleoon, ABlyft, Varify | Die Statistikmethode darunter |
| Aus ChatGPT oder Claude arbeiten | Apex, Intelligems, Wingify, Visually, ABlyft, Convert | Nur lesen, oder kann sie Tests starten |
| Tests ohne Menschen fahren | Keak, Variant, OptiMonk | Kein veröffentlichter Prüfschritt durch Menschen |
| Tests enden immer wieder ohne klares Ergebnis | Apex by DRIP | Preis nicht veröffentlicht; Gespräch buchen |
03Welche Tools finden Testideen mit KI?
Der Insight Agent von Wingify liest Funnels, Aufzeichnungen, Formulare und Umfragen („reads funnels, replays, forms, and surveys“). Sein Hypothesis Agent macht aus diesen Belegen gerankte, testbare Ideen und entwirft die Varianten („turns evidence into ranked, testable ideas and drafts the variations“). PBX Ideate von Kameleoon analysiert laut Anbieter deine Website nach Testchancen („analyzes your website to identify the highest-impact experimentation opportunities“), mit bis zu acht Testideen pro Seite („up to eight test ideas for each page“). Optimizely hat im April 2026 einen Idea Builder ergänzt, der Testideen aus deiner Seite, deinen Zielen und deiner Recherche erzeugt („generates experiment ideas based on your page, goals, and research“).
Die Smart Test Recommendations von Intelligems (Beta, April 2026) schlagen automatisch Testideen mit großer Wirkung vor („surfaces high-impact test ideas automatically“). Varify hat im Februar 2026 einen CRO AI Audit gestartet. ABlyft liefert für 100 Credits fünf KI-generierte Testideen mit Hypothesen („five AI-generated experiment ideas with hypotheses“). Elevate bietet ab dem Standard-Tarif KI-gestützte Testvorschläge („AI-powered test suggestions“), Visually führt KI-Empfehlungen („AI recommendations“), und ABConvert hat im Juli 2026 einen Posteingang mit gerankten Empfehlungen ergänzt, den „Autopilot (beta)“.
Unter den Start-ups ranken Spar und Dalton Ideen aus den Daten des Shops. CRO Agent von der britischen Agentur Blend Commerce bewertet Ideen nach „Proof, Ease, Cost, Time, Impact“ und fährt selbst keine Tests.
In Apex by DRIP beantwortet der Apex-Chat in der App, was du als Nächstes testen solltest. Das Backlog klassifiziert Ideen automatisch und gibt jeder einen Wert.
04Welche Tools ranken Ideen, bevor ein Test läuft?
Ein Ranking ist so gut wie die Ergebnisse, die es gesehen hat. Das veröffentlichen die Anbieter:
- Kameleoon PBX Ideate: Die Ideate-Seite sagt „Trained on 20,000+ experiments“, der Launch-Beitrag vom April 2026 „over 25,000 experiments“. Kameleoon nennt „63% accuracy on high-confidence predictions“ (Angabe des Anbieters).
- Wingify: „trained on AB Tasty’s proprietary data and user insights“ und „Wingify’s proprietary data and UX principles“; „recommendations are presented for human review“. Eine Größe des Datenbestands haben wir nicht gefunden.
- Intelligems Atlas: rankt Ideen nach geschätzter Wirkung auf den Gewinn („ranks them by estimated profit impact“). Trainingsdaten: nicht veröffentlicht.
- Shoplift Lift Assist: „Leverages your brand and test ideas from hundreds of top brands“.
- Varify: „Recommendations are based on CRO patterns from real experiments“, mit Verweis auf „10,000+ test patterns“.
- Start-ups: Keines veröffentlicht eine Datenbank beobachteter Tests hinter seinem Ranking.
Apex by DRIP: eine Likelihood to Win für jede Testidee
Apex by DRIP ist eine A/B-Testing-Plattform für Unternehmen, die online verkaufen. Sie sagt vorher, welche Tests wahrscheinlich gewinnen, bevor sie live gehen, und baut auf einer der größten A/B-Test-Datenbanken im E-Commerce auf. DRIP nennt die Methode Prediction-Based Experimentation. Einfach gesagt: Wir wissen, was Shops wie deiner getestet haben und welche Tests gewonnen haben.
Das Testgedächtnis umfasst 4,3 Millionen A/B-Tests aus 151.000 Shops, gesammelt seit 2011. Jede Testidee bekommt vor dem Start eine Likelihood to Win: einen Prozentwert pro Testidee, angezeigt mit der Zahl der Tests, die dahinter stehen. In einem Holdout-Check innerhalb eines Shops gewann das obere Drittel der Ideen 1,4- bis 1,6-mal so oft (Pressemitteilung vom 29. September 2026). DRIP hat Anfang September 2026 Vorhersagen für 33 Marken erstellt und eingefroren. Die ersten Ergebnisse veröffentlicht DRIP ab November 2026.
Apex bewertet jede Testidee anhand von 4,3 Millionen beobachteten A/B-Tests aus 151.000 Shops und zeigt, wie viele Tests hinter jedem Wert stehen. Die nächstgrößere veröffentlichte Zahl in diesem Vergleich ist Kameleoons Ideate mit mehr als 20.000 Experimenten; Varify nennt 10.000 oder mehr Testmuster; kein anderer Anbieter in diesem Vergleich veröffentlicht die Zahl der Tests hinter seinen Empfehlungen (Anbieterseiten geprüft im Oktober 2026).
05Welche Tools bauen Varianten mit KI?
Die etablierten Anbieter: Wingz, PBX Build und Opal
Wingz liest die Designabsicht aus Text, Figma, einem Screenshot oder einem PDF und baut die Variante („Wingz interprets the design intent and builds the variation“). Varianten sind „visible and editable before anything ships“, also vor dem Ausrollen sichtbar und bearbeitbar. PBX Build von Kameleoon erstellt Varianten aus Chat-Prompts und Figma-Designs, und PBX Configure startet Tests per Chat („launches tests through conversational prompts“). Bezahlt wird mit Prompt-Credits.
Optimizely hat im März 2026 einen Variation Development Agent veröffentlicht und im September einen Build Agent, der eine gespeicherte Idee oder einen Entwurf in einen kompletten A/B-Test verwandelt („turns a saved or draft idea into a complete A/B test“). Opal nutzt Gemini und Claude, sagt „Your data is never used to train the model or shared across customers“ und läuft auf Credits, deren Preise nicht veröffentlicht sind.
Die Shopify-Apps und Tools für mittelgroße Unternehmen
- Intelligems: Der Atlas Experience Agent baut aus Text Content-, Theme-, Template-, Redirect- und JS/CSS-Tests. Andere Testarten kann er noch nicht: „Offers, checkout, post-purchase, price, and shipping experience types are not yet supported.“
- Shoplift: Lift Assist fügt einen Theme-Abschnitt ein, gestaltet nach deinen Brand Styles, und füllt ihn nicht automatisch mit Inhalt („does not automatically add content to this section“).
- Visually: Ein Copilot-Editor ändert Varianten per natürlicher Sprache, mit Gemini-, Claude- und GPT-Modellen zur Wahl; ein Generator macht aus Prompts in einfachem Englisch oder aus Bildern Komponenten („plain English prompts (or images) into components“).
- Varify: Varianten per Prompt (Beta, März 2026) im Pro-Tarif, bezahlt mit KI-Credits oder deinem eigenen API-Schlüssel.
- ABlyft: „Lumen generates the CSS and JavaScript code for your experiment variation“, für 50 Credits.
- GrowthBook: Ein KI-Modus im visuellen Editor erzeugt Varianten aus Prompts.
Apex by DRIP: bauen als Code, im visuellen Builder oder per Chat-Assistent
Apex baut, startet und wertet Tests direkt im Shop aus. Experimente lassen sich als Code konfigurieren, im Code-Editor bearbeiten oder im visuellen Builder bauen, der Operator heißt, mit CLI-Vorschaulinks. Über die MCP-Verbindung baut und liest ein Shopbetreiber Tests aus ChatGPT oder Claude heraus, ohne Terminal; die CLI ist der Weg für Entwickler.
06Welche Tools prüfen einen Test vor dem Start mit KI?
Der QA-Schritt von Wingify prüft Konfigurationen vor dem Start und markiert mögliche Risiken („reviews configurations before launch; flags potential risks“), danach gibt ein Mensch frei. Sein Synthetic Testing Agent testet eine Änderung an synthetischen Besuchern, die aus deinen echten Segmenten gebaut sind („tests a change on synthetic visitors built from your real segments“). Der Atlas QA Agent von Intelligems prüft das Setup vor dem Start, in allen Konten. Dalton prüft seine Varianten im Browser, bevor du sie freigibst.
SimGym von Shopify ist „a Shopify app in AI Research Preview that uses AI-powered shoppers to simulate buyer behavior on your online store“: eine App, die mit KI-Kunden das Kaufverhalten in deinem Shop simuliert. Sie vergleicht Add-to-Cart-Raten zwischen Themes oder empfiehlt Änderungen nach „conversion impact“. Shopify schreibt dazu: „results might differ from actual buyer behavior“. Nach einem monatlichen Kontingent kostet eine Simulation mit einem Theme 0,75 $. Für Shopify Rollouts selbst haben wir keine Agenten gefunden.
Apex zeigt Kunden vier QA-Checks: alle Geräte, Tracking und Targeting, Responsive und Übereinstimmung mit dem Design, mit QA über die Vorschau. Sobald ein Test läuft, stoppt Guardian ihn automatisch ab einer Schwelle für Umsatzverlust.
07Welche Tools lesen Testergebnisse mit KI?
- ABlyft: Ein KI-Agent empfiehlt „Ship, Don’t Ship, or Keep Running“, für 50 Credits.
- Optimizely: Ein Program Overview Agent berichtet über das ganze Programm, aufbauend auf der sequenziellen Stats Engine.
- Kameleoon: PBX Analyze baut eine „Takeaways“-Bibliothek abgeschlossener Tests, durchsuchbar nach Uplift, Seite oder Metrik.
- Wingify: Evi Explore liefert Umsatzprognosen mit Konfidenzintervallen auf Basis von Bayesian SmartStats.
- Varify: KI-Auswertung von Experimenten seit August 2026, standardmäßig auf einer frequentistischen Methode mit einseitigen Tests („frequentist method with one-sided tests“).
- Intelligems: Ein Slack-Bot verschickt Zusammenfassungen.
- Visually: Der MCP-Server beantwortet Fragen zu deinen A/B-Tests, deinem Umsatz und der Performance deines Shops („about your A/B tests, revenue, and store performance“).
In Apex beantwortet der Chat, warum ein Test gewonnen hat und wie sich Besucher bewegt haben, und seine Antworten nennen Quellen. Darunter liegen Fixed-Horizon-Statistik mit Konfidenz, der Gewinn pro Test auf Shopify und Heatmaps pro Variante.
08Welche A/B-Testing-Tools verbinden sich mit ChatGPT und Claude?
| Tool | ChatGPT | Claude | Was der Assistent kann |
|---|---|---|---|
| Apex by DRIP | Ja | Ja | Tests bauen und lesen |
| Wingify (Wingz) | Ja | Ja | Bindet die Wingz-Agenten an; Umfang nicht beschrieben |
| Kameleoon | Nicht gefunden | Ja, Connector und Claude Code | 50+ Tools: Experimente, Flags, Segmente, Ziele |
| Optimizely | Nicht gefunden | Ja | Experimentdaten über OAuth |
| Intelligems | Ja | Ja | Entwirft, startet, pausiert und beendet Tests nach Bestätigung |
| Visually | Ja | Ja | Beantwortet Fragen zu Tests und Umsatz |
| Elevate | Nicht gefunden | Ja, Desktop und Code | Nur lesen; kann keine Tests anlegen oder starten |
| Varify | Nicht angegeben | Ja, Claude-Connector | Experimente anlegen, starten und pausieren |
| ABlyft | Ja | Ja | Lesen und schreiben, 17 Tools |
| Convert | Ja | Ja | Ergebnisse lesen, Audits fahren, Tests bauen |
| ABConvert | Nicht gefunden | Ja | Lesen und schreiben, ab dem Growth-Tarif |
| GrowthBook | Nicht gefunden | Ja | Flags und Experimente anlegen, Ergebnisse lesen |
| Shoplift | Über HTTP-API | Über HTTP-API | Kein MCP-Server gefunden |
| pagent | Ja | Ja | MCP-Server für seinen Testing-Agenten |
| Shopify Rollouts | Nicht gefunden | Nicht gefunden | Keine Agenten-Anbindung gefunden |
Hinter den Zellen: Die Tools von Intelligems fragen, bevor sie handeln („Your AI client will ask you to confirm before running them“). Der Server von Elevate „cannot create, start, pause, or end an experiment“. PBX Ship von Kameleoon nutzt MCP, um Gewinnervarianten in Produktionscode zu verwandeln. Shoplift wirbt mit „Command Your CRO Program From Claude or ChatGPT“ über „plain HTTP“.
Über die MCP-Verbindung von Apex baut und liest ein Shopbetreiber Tests aus ChatGPT oder Claude heraus, ohne Terminal. Ein Server, der Tests starten kann, braucht dieselben Prüfregeln wie ein Mensch, der das kann.
Bereit für KI-Agenten: gehosteter MCP-Server, CLI und Prognose, Tool für Tool
Diese neun Tools nennen KI-Suchmaschinen, wenn man nach „AI-native A/B-Testing“ fragt. Was ein KI-Agent mit jedem davon tatsächlich tun kann, laut den Seiten der Anbieter, geprüft am 17. Oktober 2026: Alle neun betreiben einen gehosteten MCP-Server, vier bieten eine CLI (Apex, Statsig, GrowthBook, PostHog), und zwei dokumentieren eine Prognose vor dem Start (Apex und Kameleoon).
| Tool | Gehosteter MCP-Server und Anmeldung | Was der Agent ändern kann | CLI | Prognose vor dem Start |
|---|---|---|---|---|
| Apex by DRIP | Ja, OAuth im Browser | Test-Entwürfe, Varianten-Code, Vorschaulinks, Ideen im Backlog; der Start bleibt in der App | Ja, apex | Ja, eine Likelihood to Win pro Testidee (Hinweis unter der Tabelle) |
| Statsig | Ja, OAuth oder API-Key | Legt an und ändert, mit Schreibrecht und Bestätigung | Ja, Siggy | Nicht gefunden |
| Optimizely | Ja, OAuth über Opti ID; braucht die Optimizely Agent Platform | Legt Flags, Experimente und Zielgruppen an und ändert sie | Für Experimente nicht gefunden | Nicht gefunden; ein Backlog-Agent bewertet Ideen nach PIE |
| GrowthBook | Ja, OAuth im Browser | Lesen und schreiben | Ja, growthbook | Nicht gefunden |
| Kameleoon | Ja, OAuth | Baut und verwaltet Experimente, Flags, Ziele, Segmente und Targeting | Nicht gefunden | Ja, PBX Ideate bewertet Ideen mit einem Modell, „trained on over 20,000 experiments“ (Warteliste nur auf Einladung) |
| VWO (Wingify) | Ja, OAuth | Je nach Zugriffsstufe von nur lesen bis Tests anlegen, starten und pausieren | Nicht gefunden | Nicht gefunden; manuelle Bewertung von 1 bis 5 |
| Convert | Ja, Anmeldung im Browser | Legt A/B- und Split-URL-Test-Entwürfe an, ändert Varianten-Code | Nicht gefunden | Nicht gefunden |
| Humblytics | Ja, einmal im Browser freigegeben, dann ein API-Key | Liest vor allem; Änderungen an Split-Tests nur als Vorschlag, den du freigibst | Nicht gefunden | Nicht gefunden |
| PostHog | Ja, Anmeldung im Browser | Legt Experimente an, startet, liest und beendet sie | Ja, @posthog/cli | Nicht gefunden; nur eine Schätzung der Stichprobengröße |
Was die Agenten-Anbindung von Apex noch nicht kann, Stand 17. Oktober 2026: Der Eintrag im ChatGPT-App-Verzeichnis steht noch aus, deshalb verbindest du Apex in ChatGPT als eigenen Connector im Entwicklermodus. Apex steht noch nicht im offiziellen MCP-Verzeichnis und nicht im Connector-Verzeichnis von Claude. Preis-, Versand- und Angebotstests sind nicht live. QA freigeben und einen Test starten bleiben bewusst Klicks in der Apex-App.
Die Einrichtung für Claude, ChatGPT, Codex und Cursor steht auf drip-apex.com/agents (Englisch). Wenn der Agent einen Split-Test lieber selbst baut, statt ein Tool zu nutzen, lies Apex vs. selbst bauen mit Claude Code (Englisch).
Quellen, Seiten der Anbieter, geprüft am 17. Oktober 2026:
- Apex: MCP-Einrichtung und CLI-Installation
- Statsig: MCP-Überblick und Siggy CLI
- Optimizely: MCP-Server und Backlog-Agent
- GrowthBook: MCP und CLI
- Kameleoon: MCP-Server und PBX Ideate
- VWO (Wingify): MCP-Server und Bewertung von Hypothesen
- Convert: MCP-Server
- Humblytics: Skills und MCP
- PostHog: MCP, Experimente über MCP und CLI
09Welche Tools fahren Tests ohne menschliche Freigabe?
Wingify nennt Autonomie einen Regler statt eines Alles oder Nichts („a dial, not an all or nothing“), von „propose-and-approve“ bis zum Autopiloten. Dazu schreibt Wingify: „the safeguards never switch off: an approval gate, guardrail metrics, traffic caps, a kill switch, and a permanent holdout“. Intelligems wählt die andere Voreinstellung: „Activation is a manual step.“
Die autonomen Start-ups verkaufen den ganzen Kreislauf:
| Tool | Was die KI macht | Freigabe vor dem Start | Einstiegspreis |
|---|---|---|---|
| Keak | Erzeugt und startet Varianten; Auto Pilot | Nicht gefunden | 0,005 $ pro Impression |
| Dalton | Schlägt Tests vor, baut sie und prüft sie im Browser | Ja, nichts geht ohne Freigabe live | 74 $ pro Monat bei jährlicher Abrechnung |
| Spar (früher Cuped.ai) | Prüft Shopify-Shops, rankt Ideen, schreibt Varianten | Ja, „No autopilot“ | 500 $ pro Monat für Pro (Website) |
| pagent | Hypothesen, Varianten als Code, fährt Tests | Ja, Menschen geben jede Variante frei | Individuelles Angebot nach monatlichen Nutzern |
| CRO Agent | Bewertete Ideenliste; fährt keine Tests | Entfällt | Nicht angekündigt; Warteliste |
| Coframe | Agenten entwerfen, programmieren und veröffentlichen Tests | Nicht gefunden | Nicht öffentlich |
| Fibr AI | Agenten personalisieren jede URL als Overlay | Nicht gefunden | Nicht gefunden |
| Sherpa | Untersucht Verhalten, baut Varianten, testet fortlaufend | Nicht gefunden | Nicht gefunden |
| Variant | Drei Agenten; veröffentlicht Experimente automatisch | Nicht gefunden | 199 bis 599 $ pro Monat |
| Parallel | Selbstoptimierende Storefront mit „Agentic A/B“ | Nicht gefunden | 199 bis 1.399 $ pro Monat plus Credits |
| Evolv AI | Reinforcement Learning auf Live-Erlebnissen | Nicht gefunden | Nicht öffentlich |
| OptiMonk Smart Product Page Optimizer | Schreibt und testet Produktseiten; übernimmt Gewinner | Nein, Gewinner werden automatisch übernommen | Ab 198 $ pro Monat |
Spar und Variant sind Shopify-Apps; Dalton läuft mit einem Snippet auf verschiedenen Shopsystemen, pagent mit einem Script-Tag.
Was keines der Start-ups zeigt
Lücken im öffentlichen Material, geprüft im Oktober 2026, keine Urteile:
- Keines der Start-ups veröffentlicht eine Datenbank beobachteter Tests hinter seinen Vorhersagen.
- Keines bietet Preis-, Angebots- oder Versandtests; Apps, in denen Menschen die Tests fahren, etwa Intelligems und Elevate, bieten sie.
- Eine Prüfung durch Menschen gibt es dort, wo eine Agentur hinter dem Tool steht: Blend Commerce bei CRO Agent und der Tarif von Dalton für 699 $ mit einem CRO-Strategen.
- Keak und Spar veröffentlichen eine Statistikmethode (sequenziell); die zwei Seiten von Dalton widersprechen sich.
- Keines veröffentlicht eine gemessene Gewinnquote über Schlagzeilen wie Keaks „73% win rate“ hinaus (Angabe des Anbieters).
Die dritte Ebene von Apex ist die betreute Umsetzung: Tests werden gemeinsam mit dem DRIP-Team gebaut, geprüft, gestartet und ausgewertet. Einen Autopilot-Modus enthält die Apex-Produktbeschreibung, die dieser Vergleich nutzt, nicht.
10Was bieten die wichtigen Tools auf einen Blick?
Apex by DRIP: am besten geeignet für Shops, deren Tests immer wieder ohne klares Ergebnis enden
- Am besten geeignet für: Shops, deren Tests immer wieder ohne klares Ergebnis enden: Der Engpass ist die Auswahl der Tests, nicht der Bau.
- Kann testen: Seiten und Seitenelemente, parallele Tests mit optionalen Ausschlussgruppen, A/A-Tests, Redirect-Tests, globalen Holdout, Feature Flags und gestaffelte Rollouts.
- Shopsysteme: Installation als Shopify-App (mit zwei Klicks über einen Link, serverseitiges Tracking, First-Party-Daten).
- Datenstandort: Hosting in der EU und im Vereinigten Königreich; DSGVO umgesetzt; ISO 27001 und SOC 2 in Arbeit, noch keine Zertifizierung.
- Einstiegspreis: Preise sind nicht veröffentlicht; es gibt einen kostenlosen Tarif ohne Kreditkarte für einen Store; buch ein Gespräch.
- Hauptstärke: das Gedächtnis aus Millionen beobachteter Tests hinter jeder Idee, sodass die Auswahl besser wird, bevor etwas gebaut wird.
- Haupteinschränkung: Der Preis ist nicht veröffentlicht.
Dokumentierte KI: eine Likelihood to Win pro Testidee, der Apex-Chat, ein Backlog mit automatischer Klassifizierung und Wert, eine MCP-Verbindung für ChatGPT und Claude und eine CLI. Nicht die richtige Wahl für ein Team, das schon gut gewinnende Tests auswählt, für einen Shop, der noch nicht jede Woche einen Test live bringt (Prognose zu kaufen, bevor du umsetzen kannst, ist die falsche Reihenfolge), oder für alle, die vor einem Gespräch eine veröffentlichte Preisliste brauchen.
Wingify (VWO und AB Tasty): am besten geeignet für Agenten im ganzen Testzyklus
- Am besten geeignet für: Teams, die Agenten von der Recherche bis zum Rollout wollen, mit Autonomie, die sie Schritt für Schritt erhöhen können.
- Kann testen: Seiten und Features mit gestaffelten Rollouts; Preistests auf der Shopify-Seite von VWO als „coming soon“ geführt.
- Shopsysteme: VWO-Shopify-App seit März 2024, das Script läuft nicht auf Checkout-Seiten.
- Datenstandort: in den gelesenen Quellen nicht behandelt.
- Einstiegspreis: nicht veröffentlicht; eine Drittquelle nennt 665 $ pro Monat für VWO Testing Growth, jährlich, bei 100.000 getrackten Nutzern; 30 Tage Testphase (geprüft im Oktober 2026).
- Hauptstärke: Wingz-Agenten für jeden Schritt, mit Sicherungen, die laut Wingify „never switch off“.
- Haupteinschränkung: keine öffentlichen Preise und keine Größe des Datenbestands hinter dem Ideen-Ranking.
VWO und AB Tasty sind am 16. September 2026 als Wingify neu gestartet, als „the Agentic Experience Optimization Platform“. Nicht die richtige Wahl für Shopify-Shops, die heute Preis-, Angebots- oder Checkout-Tests fahren wollen. Im direkten Vergleich: Apex vs VWO.
Kameleoon: am besten geeignet für Tests per Prompt plus serverseitige Flags
- Am besten geeignet für: Teams, die Tests per Prompt, serverseitige Flags und einen MCP-Server in einer Plattform wollen.
- Kann testen: jedes Seitenelement, das das Snippet ändern kann, dazu serverseitige Features; Preistests: nicht gefunden.
- Shopsysteme: JavaScript-Snippet; die Shopify-Integration ist für Shopify Plus dokumentiert.
- Datenstandort: Region nicht angegeben; ISO/IEC 27001:2022 und SOC 2 Type 2.
- Einstiegspreis: PBX Starter ab 495 $ pro Monat („Starting from $495/month“); 30 Tage kostenlos testen (geprüft im Oktober 2026).
- Hauptstärke: clientseitige Tests, serverseitige Flags und ein MCP-Server, der Gewinner in Produktionscode verwandelt.
- Haupteinschränkung: Der Shopify-Support ist für Plus dokumentiert, und der App-Store-Eintrag hat keine Bewertungen.
Dokumentierte KI: PBX-2.0-Agenten für Ideate, Build, Configure, Analyze und Ship, ein MCP-Server und ein Claude-Connector. Nicht die richtige Wahl für Shopify-Shops unterhalb von Plus oder für kleine Budgets. Im direkten Vergleich: Apex vs Kameleoon.
Optimizely: am besten geeignet für Enterprise-Statistik mit eingebauten Agenten
- Am besten geeignet für: Enterprise-Teams, die sequenzielle Statistik, serverseitiges Testing und Bau-Agenten in einem Produkt wollen.
- Kann testen: alles auf der Seite über das Snippet, serverseitige Logik über SDKs; den Shopify-Checkout misst es, ändert ihn aber nicht.
- Shopsysteme: Snippet im Theme; keine Testing-App im Shopify App Store.
- Datenstandort: „Your data will be stored in EU data centers“; ISO 27001 und SOC 2 Type 2.
- Einstiegspreis: nicht veröffentlicht; Vendr nennt einen Median von 81.447 $ pro Jahr (geprüft im Oktober 2026).
- Hauptstärke: ein breiter Statistik- und Agenten-Stack in einem Produkt.
- Haupteinschränkung: keine öffentlichen Preise; ein Median aus Drittquellen von rund 81.000 $ pro Jahr.
Dokumentierte KI: Opal mit den Agenten Idea Builder, Variation Development, Build und Program Overview, dazu ein MCP-Server. Nicht die richtige Wahl für kleine Budgets oder Checkout-Tests auf Shopify. Im direkten Vergleich: Apex vs Optimizely.
Intelligems: am besten geeignet für KI-gebaute Tests neben Preis- und Versandtests
- Am besten geeignet für: Shopify-Händler, die Preise, Versand und Angebote testen und Agenten für Content-Tests wollen.
- Kann testen: Preise, Rabatte, Bundles, Versand, Themes, Templates, Content, Checkout-Blöcke (Plus), Post-Purchase-Angebote.
- Shopsysteme: Shopify, jeder Tarif; kein anderes Shopsystem.
- Datenstandort: Region nicht veröffentlicht; Daten werden laut Anbieter außerhalb Europas übertragen („will be transferred outside of Europe“).
- Einstiegspreis: Smart Content 69 $ pro Monat; KI in jedem bezahlten Tarif (geprüft im Oktober 2026).
- Hauptstärke: Preise, Versand, Angebote, Checkout und Content in einer App, mit Reporting zu Gewinn und Warenkosten (COGS).
- Haupteinschränkung: Preistests brauchen eine vom Team gebaute Integration und ein Minimum von 3 Monaten.
Dokumentierte KI: Atlas-Empfehlungen, Experience Agent und QA Agent sowie ein MCP-Server für Claude, ChatGPT, Gemini und Grok. Nicht die richtige Wahl für Käufer, die vorab eine Dokumentation zur Datenhaltung in der EU brauchen. Im direkten Vergleich: Apex vs Intelligems.
Shoplift: am besten geeignet für Theme- und Template-Tests auf Shopify
- Am besten geeignet für: Shopify-Marken, die Themes und Templates im Theme Editor testen.
- Kann testen: Templates, das Theme, Preise (Advanced und Pro); keine Checkout-Seiten.
- Shopsysteme: Shopify und Shopify Plus; Headless „not currently supported“.
- Datenstandort: Daten werden in die USA übertragen und dort verarbeitet („is transferred to and processed in the United States“).
- Einstiegspreis: Core 99 $ pro Monat bis 50.000 Besucher; 14 Tage Testphase (geprüft im Oktober 2026).
- Hauptstärke: Tests laufen auf den Themes und Templates von Shopify selbst.
- Haupteinschränkung: kein Headless, kein Checkout und kein A/B/n-Testing.
Dokumentierte KI: Lift Assist und eine HTTP-API für Claude und ChatGPT; kein MCP-Server gefunden. Nicht die richtige Wahl für Headless-Shops oder Tests mit drei oder mehr Varianten. Im direkten Vergleich: Apex vs Shoplift.
Visually: am besten geeignet für einen KI-Editor plus Personalisierung auf Shopify
- Am besten geeignet für: Shopify-Shops, die Testing, Personalisierung und einen Editor mit natürlicher Sprache in einer App wollen.
- Kann testen: „themes, discounts, prices & shipping“; Preistests brauchen im Scale-Tarif 600 oder mehr Bestellungen pro Monat.
- Shopsysteme: Shopify und Shopify Plus; Headless über Hydrogen.
- Datenstandort: Region nicht veröffentlicht; SOC-2- und DSGVO-Programme „in the process“.
- Einstiegspreis: 19 $ pro Monat bis 200 Bestellungen; 14 Tage kostenlos testen (geprüft im Oktober 2026).
- Hauptstärke: Testing, Personalisierung, Empfehlungen und Upsells in einer App.
- Haupteinschränkung: clientseitige Änderungen ohne dokumentierte serverseitige Option.
Dokumentierte KI: der Copilot-Editor, ein Komponenten-Generator, KI-Empfehlungen und ein MCP-Server für Fragen zum Reporting. Nicht die richtige Wahl für Käufer, die einen fertigen SOC-2-Bericht brauchen. Im direkten Vergleich: Apex vs Visually.
Elevate: am besten geeignet für Preis- und Versandtests zu einem niedrigen Einstiegspreis
- Am besten geeignet für: Shopify-Shops, die Preis-, Versand- und Checkout-Tests mit kleinem Budget wollen.
- Kann testen: Seiten, Themes, Preise, Versand, Angebote, Produktbilder, Checkout-Komponenten (Plus).
- Shopsysteme: Shopify; Headless über ein SDK.
- Datenstandort: Hosting-Region nicht veröffentlicht; AVV und Zertifizierungen: nicht gefunden.
- Einstiegspreis: Basic 49 $ pro Monat; KI-Vorschläge ab Standard für 99 $ (geprüft im Oktober 2026).
- Hauptstärke: Preis-, Versand- und Checkout-Tests ab 99 $ pro Monat.
- Haupteinschränkung: keine veröffentlichte Hosting-Region, kein AVV und keine Sicherheitszertifizierung.
Dokumentierte KI: Testvorschläge, Bildgenerierung und ein MCP-Server, der nur lesen kann. Nicht die richtige Wahl für Käufer, die vor dem Kauf einen unterschriebenen AVV brauchen. Das ausführliche Profil steht in unserem Vergleich von 15 Tools.
Varify.io: am besten geeignet für KI-gebaute Tests zum Festpreis auf jedem Shopsystem
- Am besten geeignet für: Teams, die Tests per Prompt zu einem Festpreis pro Domain wollen.
- Kann testen: Produkt-, Kategorie-, Warenkorb-, Start- und Landingpages; Checkout auf Shopify Plus über eine separate App.
- Shopsysteme: jeder Shop, der JavaScript lädt.
- Datenstandort: AWS in Frankfurt plus Cloudflare.
- Einstiegspreis: Growth 199 € pro Monat bei jährlicher Abrechnung; KI und MCP ab Pro für 249 €, Credits extra (geprüft im Oktober 2026).
- Hauptstärke: Festpreis pro Domain mit unbegrenztem Traffic.
- Haupteinschränkung: Die Standardstatistik rechnet mit einseitigen frequentistischen Tests.
Dokumentierte KI: CRO AI Audit, Varianten per Prompt, eigener API-Schlüssel, ein MCP-Server und KI-Auswertung von Experimenten, alles 2026 veröffentlicht. Nicht die richtige Wahl für Teams, die sequenzielles Testing oder Bandits brauchen; beides ist als „SOON“ markiert. Im direkten Vergleich: Apex vs Varify.
Ausführliche Profile der anderen oben genannten Tools: Apex vs ABlyft, Apex vs Convert, Apex vs ABConvert, Apex vs GrowthBook und Apex vs Shopify Rollouts.
11Wie wählst du ein KI A/B-Testing-Tool aus?
Fragen, die du jedem Anbieter stellen solltest:
- Welche Daten stehen hinter dem Ideen-Ranking, und wie viele beobachtete Tests?
- Welche Testarten kann die KI bauen, und welche nicht?
- Wer gibt frei, bevor ein Test Kunden erreicht?
- Kann die Anbindung an ChatGPT oder Claude Tests ändern oder nur lesen?
- Welche Statistik liegt unter der KI-Zusammenfassung?
- Ist KI enthalten, wird sie in Credits abgerechnet oder läuft sie über deinen eigenen API-Schlüssel?
Ein Shop, dessen Tests immer wieder ohne klares Ergebnis enden, hat einen anderen Engpass: die Auswahl der Tests. Dort passt Apex by DRIP, mit einer Likelihood to Win für jede Testidee, dem Testing-Tool und der betreuten Umsetzung an einem Ort.




