Wie sollte man A/B/n-Tests in der Conversion-Optimierung aufsetzen?

Kurze Antwort: Ein belastbarer A/B/n-Test wird mit einer klaren Hypothese, einer vorab festgelegten Primärmetrik und ausreichender Stichprobengröße aufgesetzt; vor Testende hineinzuschauen und früh zu entscheiden ist der häufigste Fehler.

Aufbauschritte

• Hypothese: notieren Sie, welche Änderung welche Metrik warum verändert
• Primärmetrik: wählen Sie eine Entscheidungsmetrik, beobachten Sie Sekundäre getrennt
• Stichprobe und Dauer: berechnen Sie vor dem Start die Mindeststichprobe und eine Dauer über den vollen Geschäftszyklus
• Traffic-Aufteilung: verteilen Sie Varianten gleichzeitig und zufällig
• Integrität: eine Variable pro Test; bei mehrarmigen Tests korrigieren

Vor Erreichen der statistischen Signifikanz wird kein Gewinner erklärt. TYS Digitale Performance setzt Tests mit SEO-sicherer Veröffentlichung auf, misst mit GA4-Ereignissen und berichtet gegen die Basislinie, ohne eine erfundene Gewinnrate; geteilt werden nur die gemessene Differenz und das Konfidenzintervall.