Experimentieren im KI-Zeitalter: Signal statt Volumen
KI hat das Testen billig gemacht - nicht das Vertrauen in die Ergebnisse. Ein Team, das im Quartal 41 Tests fährt, sich aber kaum an einen erinnert, der eine echte Entscheidung verändert hat, hat kein Volumenproblem. Es hat ein Erkenntnisproblem.
Der teure Teil ist geblieben, wo er war. Billig geworden ist das Aufsetzen und Ausrollen eines Tests. Teuer geblieben ist die Frage, ob das Ergebnis etwas bedeutet - und der Mut, einen verlierenden Test zu stoppen, bevor er Budget verbrennt.
Mit weniger Wetten beginnen. Ein Modell liefert auf Anfrage 200 Ideen. 200 unsortierte Ideen sind keine Strategie. Jede Idee wird vor einem Live-Test entlang von drei Fragen bewertet:
- Wie groß ist der potenzielle Gewinn? Bewegt das Ergebnis eine geschäftsrelevante Zahl oder nur eine Vanity-Metrik?
- Wie sicher sind wir von Beginn an? Gibt es eine begründete Hypothese oder raten wir?
- Wie hoch sind die Ausführungskosten? Zeit, Traffic und Budget, die anderswo mehr leisten würden.
Die Disziplin liegt darin, eine gut aussehende Idee auszusortieren, bevor sie drei Wochen frisst.
Ein sauberer Test beantwortet eine Frage. Er verändert eine einzige Variable, misst gegen eine echte Kontrollgruppe und läuft bis zu einer vorab festgelegten Stichprobengröße. Wer die Stichprobengröße erst nach dem Blick in die Daten festlegt, misst nicht mehr - er sucht Bestätigung. KI darf die Testdauer berechnen, Ergebnisse simulieren und Störvariablen aufdecken. Die Wahl der Metrik trifft immer der Mensch.