| #1 Apex by DRIP | GemischtFrequentistische Engine mit bewusst vorsichtigen Standards: Fixed-Horizon-Tests mit Holm-Bonferroni-Korrektur und SRM-Gate, dazu optional eine Always-Valid-Sequenzanalyse (mSPRT). Die Umsatz-Signifikanz halten wir bewusst zurück. Eine interne Zertifizierung hat bei naiven Umsatz-Tests über 20 % Falsch-Positive gemessen. Dazu kommt die Vorhersage aus 4,3 Millionen Tests: Sie hebt die durchschnittliche Gewinnquote von 27 % auf 55 %. | Shopify-AppShopify-App, die Shopifys Review bestanden hat. Installation per OAuth aus dem Dashboard, noch nicht im App Store gelistet. Dazu WooCommerce, Shopware, Centra und eigene Storefronts. Das gibt es in diesem Index sonst nirgends: echte Tests am berechneten Preis über Shopify Cart Transform, Tests der Versandkosten und Post-Purchase-Experimente. | UK/IE | Cookies oder lokaler SpeicherVereinigtes Königreich (London) und Irland; die AVV stützt sich auf den britischen Angemessenheitsbeschluss. Besucher-IDs in Cookie und localStorage laufen 365 Tage. Apex nutzt kein Fingerprinting, speichert nie Besucher-IPs, integriert 8 Consent-Manager und unterstützt kein IAB TCF.Programm in Drata geführt, Audit-Paket für SOC 2 / ISO 27001 vorbereitet, Audit noch nicht begonnen | Nur mit DRIP. Gespräch buchen |
|---|
| #2 Convert Experiences | GemischtDie tiefste Statistik im Vergleich: t-Tests, ein- oder zweiseitig einstellbar, Bonferroni/Sidak-Korrekturen, Bayes mit expliziten Risiko-Schwellen und echtes sequenzielles Testen über Asymptotic Confidence Sequences (ab Pro). SRM-Check in jedem Plan. | Shopify-AppNative Shopify-App (kostenlos, Launch Okt. 2024, noch 0 Reviews). Sie bindet das Script ohne Theme-Änderung ein und ist kompatibel mit Checkout Extensibility, allerdings fürs Tracking, nicht zum Bearbeiten der Checkout-UI. Preistests und Multi-Arm-Bandits sind dabei. | EU | Nicht verifiziertEU-Hosting auf AWS. Die Security-Seite nennt eu-west-1 in Irland, die KI-Info-Seite Frankfurt: Converts eigene Seiten widersprechen sich. SOC 2 und ISO 27001, kostenlose AVV. Kein dokumentierter cookieloser Modus, keine Integration für Google Consent Mode. | Growth $399/Monat ($299 bei jährlicher Zahlung), Pro $599/Monat ($420), beide gedeckelt bei 100.000 getesteten Nutzern pro Monat. Darüber ab $399 pro 100.000. USD, zzgl. Steuern. 15 Tage kostenlos testen. |
|---|
| #3 Varify.io | GemischtStandardmäßig einseitiger frequentistischer Test (alle Pläne). Zweiseitige Tests und Bayes mit Laufzeit-Prognose gibt es nur im Pro-Plan. Kein sequenzielles Testen, kein Planer für die Stichprobengröße im Produkt. | SnippetStorefront-Tests per Snippet (ohne App); Shopify-Bestellungen und Umsätze werden ins Dashboard importiert. Checkout-Tests nur über die separate Checkout-App, $119 pro Monat extra und nur mit Shopify Plus. | DE | Ohne Cookies möglichDeutsches Unternehmen, Hosting auf AWS in Deutschland (Frankfurt). Standardmäßig keine Cookies (local/sessionStorage), keine personenbezogenen Daten außer der IP, AVV mit TOMs, dokumentierte Setups für Consent Mode V1/V2. Kein SOC 2 (Roadmap: 54 %). | Growth 249 €/Monat (199 € bei jährlicher Zahlung), Pro 349 €/Monat (249 €), Enterprise ab 499 €/Monat. Unbegrenzte Nutzer in jedem Plan, aber nur 1 Domain. 30 Tage kostenlos testen, ohne Kreditkarte. |
|---|
| #4 Kameleoon | GemischtFrequentistisch, Bayes UND sequenzielles Testen nebeneinander, dazu CUPED, Korrektur für multiples Testen und SRM-Erkennung, alles schon im Einstiegs-Tarif. Achtung: Die Metrik „Reliability“ ist 1 − p-Wert, nicht die Wahrscheinlichkeit, dass die Variante gewinnt. | Shopify-AppDie Shopify-App trägt das Badge „Built for Shopify“, hat aber nach über 4 Jahren 0 Reviews (gelistet seit Juni 2021). Checkout-Tests brauchen Shopify Plus, eine selbst entwickelte Checkout-UI-Extension und Verkabelung über Cart-Attribute. | EU | Cookies oder lokaler SpeicherEuropäische Infrastruktur ohne US-Hyperscaler: Subprozessoren sind OVHcloud (Frankreich) und Hetzner (Deutschland). Es gibt Regionen in der EU und in Nordamerika. Die EU musst du auswählen, sie ist nicht automatisch gesetzt. Vier dokumentierte Consent-Modi. Der Delayed Mode spielt Experimente aus, ohne bis zur Einwilligung etwas zu schreiben oder zu senden. ISO 27001:2022, SOC 2 Type 2, PCI DSS. | PBX Starter ab $495/Monat (10 Experimente, 50.000 Nutzer). Damit ist Kameleoon das einzige Enterprise-Tool hier mit öffentlichem Einstiegspreis. Enterprise nach individuellem Angebot. 30 Tage kostenlos (3 Experimente, ohne Kreditkarte). Feature Management, Personalisierung und den eigenen Code-Editor gibt es nur im Enterprise-Plan. |
|---|
| #5 ABlyft | GemischtFrequentistisch und Bayes, pro Experiment wählbar, mit einstellbarem Sicherheitsniveau (50–99,9 %) und Mindestzahl an Conversions. Kein sequenzielles Testen, kein Rechner für die Stichprobe. | Keine AppKeine App im Shopify App Store. Anbindung per Snippet plus Tracking-Verkabelung: serverseitiger Order-Webhook (immun gegen Adblocker und fehlenden Consent) und/oder Customer Event Pixel. Keine Tests der Checkout-UI. | DE | Ohne Cookies möglichDie strengste Datenschutz-Haltung im Vergleich: gar keine personenbezogenen Daten, keine IP, keine User-ID. Hosting in Deutschland, localStorage statt Cookies, Snippet selbst hostbar, Bring-your-own-Tracker. Kein SOC 2 oder ISO 27001. | Echter Gratis-Plan (ohne Kreditkarte, ohne Sales-Call) plus Bezahl-Plan auf Anfrage, abgerechnet nach getesteten Nutzern. Keine öffentlichen Preise. |
|---|
| #6 VWO | SequenziellBayes-Engine mit sequenzieller Analyse gegen Peeking und Mehrfachvergleiche. MDE, ROPE, Falsch-Positiv-Rate und Power sind einstellbar. Checks auf SRM, Ausreißer und Simpson-Paradox laufen automatisch. Hinweis: „SmartStats“ ist inzwischen ein Legacy-Name. | Shopify-AppShopify-App (kostenlos, Launch März 2024), nach rund 2,5 Jahren 0 Reviews. Tracking überall außer auf Checkout, Post-Purchase und Bestellstatus-Seiten: Den Shopify-Checkout kann VWO nicht testen. Ab dem Growth-Plan. | EU | Cookies oder lokaler SpeicherEchte Option für EU-Datenresidenz: Besucherdaten lassen sich auf GCP europe-west1 (Belgien) festlegen. Regionen in den USA und Indien gibt es ebenfalls. Drei dokumentierte Consent-Modi, AVV mit SCCs, ISO 27001:2022, SOC 2 Type II. | Keine veröffentlichten Preise. Pläne (Growth/Pro/Enterprise) gibt es pro Modul auf Anfrage, abgerechnet nach Monthly Tracked Users. 30 Tage kostenlos. Beschaffungsdaten (Vendr, 102 Käufe): Median rund $16.300 pro Jahr (Spanne etwa $7.800–$35.800). |
|---|
| #7 AB Tasty | BayesianischGut dokumentierte Bayes-Engine (Beta-Binomial-Priors, rund 1 Million Monte-Carlo-Samples, automatisches Bonferroni) für Raten-Metriken; Mann-Whitney-U-Test für Umsatz-Metriken. Die Sequential Testing Alerts erkennen nur Verlierer. AB Tasty rät selbst davon ab, damit früh Gewinner auszurufen. | Shopify-AppShopify-App (kostenlos, Launch Mai 2024): 4,9/5 aus nur 4 Reviews, wenig Präsenz für einen Enterprise-Anbieter. Ob sich der Shopify-Checkout testen lässt, ist nirgends öffentlich dokumentiert. | EU | Cookies oder lokaler SpeicherNur First-Party-Cookies (13 Monate Laufzeit), Besucher-IPs werden „sofort gelöscht“, drei Consent-Modi inkl. Didomi, AVV über dpo@abtasty.com. Läuft auf GCP/AWS, die Region richtet sich nach dem Kunden, eine EU-Region wird aber nicht genannt. Eigenes ISO 27001; das SOC 2 gilt nur für die Cloud-Provider, nicht für AB Tasty selbst. | „Keine festen Pläne. Nur ein individuelles Angebot.“ Jahresverträge, keine Testphase zum Selbststarten (stattdessen 1–2 Wochen Proof of Concept). Beschaffungsdaten (Vendr): Median rund $66.500 pro Jahr. |
|---|
| #8 Optimizely Web Experimentation | SequenziellStats Engine: frequentistisches sequenzielles Testen mit Always-Valid-Inferenz (mSPRT) und gestufter FDR-Kontrolle nach Benjamini-Hochberg. Akademisch publiziert und ein echtes Alleinstellungsmerkmal. Fixed-Horizon und Bayes gibt es als Beta (dokumentiert für Feature Experimentation). | Keine AppKeine eigene Shopify-App für Web Experimentation. Installation per Hand über theme.liquid oder über eine Drittanbieter-App für $29 pro Monat. Laut Optimizelys eigener Doku lädt das Snippet nicht auf Shopify-Checkout-Seiten. Umsatz-Tracking braucht das separate Bezahlprodukt ODP. | EU | Cookies oder lokaler SpeicherEU Data Hosting wird angeboten. Optimizely schreibt aber, „einige Services sind nicht im Scope“, und nennt sie nicht. Ob Web Experimentation abgedeckt ist, bleibt unbestätigt. Starke Zertifikate (ISO 27001:2022, SOC 2 Type 2, PCI DSS, TISAX), öffentliche AVV mit SCCs. Fünf Consent-Optionen, kein cookieloser Modus. | „Jeder Optimizely-Plan wird individuell geschnürt“: keine Preise, keine Testphase, kein Gratis-Tarif für Web Experimentation. Beschaffungsdaten (Vendr, 126 Käufe): Median rund $81.000 pro Jahr. Schätzungen Dritter sehen den Einstieg bei etwa $36.000–40.000 pro Jahr. |
|---|
