Warum Experimente falsch ausgewertet werden

Ein Experiment liefert ein Ergebnis. Die Frage ist, ob dieses Ergebnis stimmt. Wer die Auswertung nicht versteht, kann diese Frage nicht beantworten und trifft Entscheidungen auf Basis von Zahlen, die nicht das messen, was sie zu messen scheinen.

Die meisten Fehler in der Experimentauswertung entstehen nicht aus Nachlässigkeit, sondern aus dem Missverständnis, was statistische Signifikanz bedeutet und was nicht.

Das verbreitetste Problem in der Experimentierpraxis ist das tägliche Prüfen von Ergebnissen während der Laufzeit. Sobald eine Variante signifikant aussieht, wird das Experiment gestoppt. Das fühlt sich nach Effizienz an. Es ist statistisch katastrophal.

Das Problem heißt Optional Stopping. Wer ein Experiment oft genug beobachtet, wird irgendwann einen Moment finden, in dem das Ergebnis zufällig signifikant wirkt, selbst wenn kein echter Effekt vorhanden ist. Wer in diesem Moment stoppt, handelt nach dem, was er sieht, nicht nach dem, was wahr ist. Experimente brauchen eine vorab festgelegte Laufzeit, die auf der erwarteten Stichprobengröße basiert. Wer vorher stoppt, akzeptiert eine deutlich höhere Fehlerrate als angenommen.

Eine geplante Laufzeit allein reicht nicht. Sie muss mindestens einen vollständigen Wochenzyklus abdecken. Nutzerverhalten unterscheidet sich systematisch zwischen Wochentagen und Wochenende: Besuchsabsicht, Gerätenutzung und Konversionsbereitschaft variieren. Wer ein Experiment von Dienstag bis Donnerstag läuft, misst drei Tage mit untypischem Profil, nicht eine repräsentative Woche.

Das gilt in beide Richtungen: Zu kurze Laufzeiten erfassen keinen vollständigen Zyklus. Zu lange Laufzeiten können durch saisonale Verschiebungen, Marketingaktivitäten oder externe Ereignisse verzerrt werden, die während der Laufzeit eintreten. Die Laufzeit muss vorab geplant und verteidigt werden.

Viele Experimente starten ohne Kalkulation, wie viel Traffic benötigt wird, um einen bestimmten Effekt zuverlässig nachweisen zu können. Das hat zwei Konsequenzen, je nachdem in welche Richtung der Fehler geht.

Zu wenig Traffic bedeutet: Das Experiment ist nicht in der Lage, echte Effekte zu erkennen. Es läuft, produziert ein Ergebnis, das wenig Aussagekraft hat. Zu viel Traffic bedeutet: Minimale Effekte, die praktisch irrelevant sind, werden als signifikant ausgewiesen. Eine Stichprobenkalkulation vor dem Start ist kein methodischer Luxus. Sie ist die Voraussetzung dafür, dass ein Ergebnis interpretierbar ist.

Statistische Signifikanz sagt aus, dass ein beobachteter Effekt mit hoher Wahrscheinlichkeit nicht zufällig ist. Sie sagt nichts darüber, ob dieser Effekt groß genug ist, um eine Entscheidung zu rechtfertigen.

Mit ausreichend Traffic wird fast jeder Unterschied statistisch signifikant, auch ein Uplift von 0,1%, der für das Geschäft keine Rolle spielt. Wer Signifikanz mit Relevanz gleichsetzt, rollt Varianten aus, die messbar besser sind, aber praktisch keinen Unterschied machen. Die Frage vor jedem Experiment sollte lauten: Welcher Mindesteffekt wäre groß genug, um relevant zu sein? Diesen Wert vorab zu definieren, zwingt zu einer Aussage über das, was das Experiment tatsächlich leisten soll.

Ein Sample Ratio Mismatch (SRM) liegt vor, wenn die tatsächliche Traffic-Aufteilung zwischen Kontroll- und Variante von der geplanten abweicht. Wenn 50/50 geplant war und das Ergebnis 52/48 zeigt, ist das ein Signal, dass etwas in der Implementierung nicht stimmt.

SRM invalidiert ein Experiment. Die beobachteten Gruppen sind nicht mehr vergleichbar, weil unklar ist, welcher Mechanismus die ungleiche Verteilung verursacht hat. Wer SRM nicht prüft, zieht Schlüsse aus einem Experiment, das möglicherweise schon bei der Randomisierung fehlerhaft war. SRM-Checks gehören zur Standardauswertung vor jeder anderen Interpretation.

Wenn SRM festgestellt wird, ist die Konsequenz eindeutig: Das Ergebnis wird nicht interpretiert. Stattdessen wird die Ursache gesucht: in der Implementierung des Testing-Tools, in der Traffic-Allokationslogik, in Bot-Filtern, die auf eine Gruppe stärker wirken als auf die andere. Erst wenn die Ursache verstanden und behoben ist, wird das Experiment neu gestartet.

Cookie Pollution entsteht, wenn Nutzer, die einer Gruppe zugewiesen wurden, im Verlauf des Experiments in eine andere wechseln. Die Ursachen dafür sind vielfältig: Cookies werden gelöscht und der Nutzer wird beim nächsten Besuch neu randomisiert. Derselbe Nutzer besucht die Seite auf mehreren Geräten und wird auf jedem einer anderen Gruppe zugeordnet. Jemand nutzt denselben Browser im Normal- und im Inkognito-Modus. Geteilte Geräte, etwa in Haushalten oder am Arbeitsplatz, führen dazu, dass mehrere Personen unter derselben Cookie-ID erscheinen. Ad-Blocker oder Datenschutz-Tools verhindern das Setzen von Cookies vollständig, sodass betroffene Nutzer bei jedem Besuch neu zugewiesen werden.

Das Ergebnis ist Kontamination: Kontroll- und Variantengruppe sind nicht mehr sauber getrennt. Nutzer aus der Kontrollgruppe haben die Variante gesehen, Nutzer aus der Variante kennen den Ausgangszustand. Dieser Effekt verdünnt die gemessene Wirkung. Ein echter Unterschied zwischen den Varianten wird kleiner dargestellt als er ist, was falsche Negative produziert.

Die Wahrscheinlichkeit von Cookie Pollution steigt direkt mit der Länge des Testzeitraums. Je länger ein Experiment läuft, desto mehr Nutzer haben Zeit, ihre Cookies zu löschen oder zwischen Geräten zu wechseln. Das ist ein weiterer Grund, Experimente nicht unnötig lang laufen zu lassen: Neben saisonalen Verzerrungen erhöht eine lange Laufzeit das Risiko, dass die Gruppenintegrität erodiert und das Ergebnis nicht mehr dem entspricht, was tatsächlich getestet wurde.

Wenn ein Experiment insgesamt kein signifikantes Ergebnis zeigt, wird oft nach Segmenten gesucht, in denen die Variante doch besser ist. Das ist verständlich, aber statistisch problematisch.

Wer nach dem Ergebnis sucht, in welchem Segment die Variante gewonnen hat, testet nicht mehr eine Hypothese. Er durchsucht Daten nach einem Muster, das er erklären kann. Je mehr Segmente betrachtet werden, desto höher ist die Wahrscheinlichkeit, zufällig ein signifikantes Ergebnis zu finden. Segmente müssen vor dem Experiment definiert sein. Alles andere ist Datenanalyse, kein Experiment.

Experimente werden gegen eine primäre Zielgröße ausgewertet. Das ist richtig, aber unvollständig. Eine Variante kann die Hauptmetrik verbessern und gleichzeitig eine andere, wichtige Größe verschlechtern: kürzere Sitzungsdauer, niedrigere Wiederkaufrate, schlechtere Qualität der generierten Leads.

Guardrail Metrics sind Größen, die sich nicht verschlechtern dürfen, auch wenn die primäre Metrik steigt. Wer sie nicht mitdefiniert und mitmisst, kann einen statistisch signifikanten Gewinner ausrollen, der anderswo im System Schaden anrichtet. Guardrail Metrics werden vorab festgelegt, zusammen mit der Hauptmetrik, nicht nach dem Experiment.

Alle beschriebenen Fehler entstehen vor dem Experiment, nicht während der Auswertung. Wer Optional Stopping betreibt, hat keine Laufzeit definiert. Wer SRM ignoriert, hat keine Integritätsprüfung eingebaut. Wer Segmente post-hoc definiert, hat keine Hypothese gehabt. Die Auswertung ist nicht das Problem. Das Problem ist, was vor dem Start versäumt wurde.