Segmente für Experimentation definieren und validieren

Nicht jedes Segment, das analytisch sinnvoll ist, taugt für Experimentation. Viele Teams übernehmen bestehende Reporting-Segmente direkt in Experimente und merken erst im Nachhinein, dass die Ergebnisse nicht verwertbar sind. Die Anforderungen sind andere.

Ein Segment taugt für Experimentation, wenn es vier Anforderungen erfüllt.

Stabilität: Das Segment muss während der Laufzeit des Experiments konstant bleiben. Ein Nutzer, der am ersten Tag des Experiments kein Konto hatte und am zehnten ein Konto angelegt hat, wechselt die Segment-Zugehörigkeit. Solche Übergänge erzeugen Rauschen in den Daten.

Vorab-Definition: Das Segment muss vor dem Start des Experiments festgelegt sein, nicht danach. Segmente, die erst nach Betrachtung der Ergebnisse definiert werden, erhöhen die Wahrscheinlichkeit falsch-positiver Befunde erheblich. Diese Praxis hat einen Namen: Post-hoc-Segmentierung. Ihre Ergebnisse sind nicht auswertbar.

Ausreichende Größe: Ein Segment, das zu klein ist, erreicht keine statistische Signifikanz in vertretbarer Testlaufzeit. Segmentierte Experimente benötigen mehr Traffic als Gesamtexperimente, weil der Traffic auf Kontroll- und Variante innerhalb des Segments aufgeteilt wird. Wer ein Segment mit drei Prozent des Gesamttraffics testen will, muss die Laufzeit entsprechend verlängern oder den erwarteten Effekt entsprechend groß ansetzen.

Handlungsrelevanz: Das Segment muss mit der Hypothese verbunden sein. Wer eine Hypothese über Mobile-Nutzer hat, braucht ein Mobile-Segment. Wer eine Hypothese über Nutzer mit hoher Kaufabsicht hat, braucht ein Segment, das Kaufabsicht operationalisiert, nicht nur demografische Merkmale beschreibt.

Wie ein Segment aus der Hypothese heraus definiert wird

Die Hypothese bestimmt, welches Segment für ein Experiment relevant ist. Die Frage lautet: Für wen gilt diese Hypothese, und für wen gilt sie ausdrücklich nicht? Die Daten zeigen anschließend, ob das Segment die Anforderungen erfüllt: ob es stabil ist, ob es groß genug ist, ob es sich heute bereits anders verhält als der Rest.

Eine Hypothese über die optimale CTA-Platzierung auf Mobile gilt nicht automatisch für Desktop-Nutzer. Ein Experiment, das diese Hypothese auf dem Gesamttraffic ausführt, vermischt zwei Gruppen mit unterschiedlichen Bedingungen. Das Ergebnis kann ein neutrales Gesamtresultat sein, das eine Verbesserung auf Mobile und eine Verschlechterung auf Desktop kombiniert.

Das Segment ergibt sich aus der Hypothese: Mobile-Nutzer, definiert durch Gerätekategorie, vorab festgelegt, stabil während der Laufzeit.

Validieren, ob ein Segment für Experimentation geeignet ist

Ein Segment sollte nicht nur konzeptionell sinnvoll sein, sondern empirisch bestätigt werden, bevor das Experiment startet. Die Frage lautet: Verhalten sich die Nutzer im Segment heute bereits anders als der Rest des Traffics?

Wenn Mobile-Nutzer und Desktop-Nutzer auf der betrachteten Seite heute identisches Verhalten zeigen, identische Abbruchraten, identische Scrolltiefe, identische Interaktionsmuster, dann ist die Grundannahme der Hypothese schwach. Ein Experiment kann immer noch sinnvoll sein, aber die Evidenz dafür ist dünn.

Wenn die Gruppen sich dagegen deutlich unterscheiden, ist das ein Zeichen, dass das Segment real ist. Nicht im statistischen Sinne eines Tests, sondern im inhaltlichen Sinne: Es gibt einen Unterschied, der sich erklären lässt, und der groß genug ist, um ihn mit einer Variante zu adressieren.

Segmentierte Experimente scheitern nicht an der Hypothese, sondern an der Stichprobengröße. Wer ein Segment mit geringem Traffic testet, hat zwei Optionen: lange Laufzeiten in Kauf nehmen oder nur Effekte testen, die groß genug sind, um bei kleinem Traffic nachweisbar zu sein.

Kleine Effekte in kleinen Segmenten lassen sich unter realistischen Bedingungen nicht nachweisen. Das bedeutet nicht, dass die Hypothese falsch ist. Es bedeutet, dass das Experiment nicht das richtige Instrument ist, um sie zu überprüfen. In solchen Fällen ist eine qualitative Untersuchung des Segments oft aufschlussreicher als ein statistisch unterpowertes Experiment.

Ein Segment für Experimentation muss vor dem Test definiert, stabil über die Laufzeit, groß genug für valide Ergebnisse und direkt aus der Hypothese abgeleitet sein. Wer diese Bedingungen nicht prüft, bevor ein Experiment startet, erhält Ergebnisse, die keine Entscheidungsgrundlage liefern. Die Arbeit beginnt nicht mit dem Start des Experiments, sondern davor.