Wie priorisiert man Hypothesen richtig?

Ein Experimentation-Backlog füllt sich schnell. Ideen kommen aus Analytics, aus Nutzerbefragungen, aus Wettbewerbsanalysen, aus dem Marketing. Was selten mitgeliefert wird, ist eine begründete Reihenfolge. Priorisierung ist deswegen eine der unterschätzteren Aufgaben im Experimentation-Programm: Sie bestimmt nicht nur, was als nächstes getestet wird, sondern wie schnell ein Programm tatsächlich lernt.

ICE (Impact, Confidence, Effort) und PIE (Potential, Importance, Ease) sind z.B. bekannte Priorisierungs-Frameworks im Experimentation-Umfeld. Beide funktionieren nach demselben Prinzip: Jede Hypothese wird auf mehreren Dimensionen bewertet, die Bewertungen werden zu einem Score zusammengefasst, und der höchste Score entscheidet.

Das Problem ist nicht das Prinzip, sondern die Subjektivität der Eingaben. Wer Impact, Confidence und Effort auf einer Skala von 1 bis 10 bewertet, ohne definierte Kriterien dafür, was eine 8 von einer 6 unterscheidet, produziert Zahlen, die wie eine objektive Entscheidung aussehen, aber keine sind. Frameworks schaffen Transparenz über die Bewertung. Sie ersetzen nicht das Urteilsvermögen, das zur Bewertung selbst nötig ist.

Eine Hypothese ist nicht besser, weil sie mehr Aufwand war. Sie ist besser, wenn sie auf einer klaren Beobachtung basiert, einen spezifischen Mechanismus benennt und eine Zielgröße hat, die direkt mit einem Geschäftsergebnis zusammenhängt.

Schwache Hypothese: "Wenn wir den CTA-Button größer machen, steigen die Conversions." Starke Hypothese: "Wenn wir den primären CTA auf Mobile unterhalb des Formulars platzieren, statt mittig auf der Seite, reduziert das die Abbruchrate im letzten Schritt, weil der Button bei typischen Viewportgrößen ohne Scrollen sichtbar wird." Die starke Hypothese benennt einen Mechanismus, ein Segment und eine beobachtbare Ursache. Sie lässt sich nicht nur testen, sondern auch auswerten und übertragen.

Experimente werden nicht nur ausgeführt, um die beste Variante auszurollen. Sie werden ausgeführt, um etwas über das Nutzerverhalten zu lernen. Ein Experiment, das mit hoher Wahrscheinlichkeit gewinnt, aber wenig erklärt, ist weniger wertvoll für das Programm als eines, das eine grundlegende Frage über die Zielgruppe beantwortet.

Dieser Lernwert sollte explizit Teil der Priorisierung sein. Die Frage lautet: Was lernen wir, egal wie dieses Experiment ausgeht? Wenn die Antwort "wenig" ist, weil das Ergebnis schon bekannt ist oder die Frage zu eng gestellt wurde, ist das ein Argument dafür, eine andere Hypothese vorzuziehen, auch wenn ihr Score nach einem Framework höher liegt.

Priorität bedeutet nicht nur "was zuerst", sondern auch "in welcher Reihenfolge ergibt die Kombination Sinn". Ein Experiment, das die Einleitung eines Formulars testet, sollte vor einem Experiment laufen, das das Formular selbst restrukturiert. Sonst werden zwei Tests gleichzeitig auf einem Element ausgeführt, das sich zwischen den Tests verändert hat, und keines der Ergebnisse ist verwertbar.

Sequenzierung bedeutet außerdem, Erkenntnisse aus frühen Experimenten in die Formulierung späterer Hypothesen einzubauen. Wer das Ergebnis von Experiment drei ignoriert, wenn Experiment sieben konzipiert wird, verschenkt den kumulativen Lerneffekt, der ein Experimentation-Programm über Zeit wertvoller macht als eine Aneinanderreihung von Einzelexperimenten.

AI verändert, wo im Experimentation-Prozess menschliches Urteilsvermögen gefragt ist. Variantenerstellung, grafische und technische Implementierung, statistische Auswertung: all das lässt sich zunehmend automatisieren oder beschleunigen. Was AI nicht übernimmt, ist die Entscheidung, welche Hypothese es wert ist, getestet zu werden.

Das hat eine direkte Konsequenz für den Backlog. Wenn die Umsetzungsgeschwindigkeit steigt, wächst auch die Zahl der Experimente, die theoretisch laufen könnten. Der Engpass verschiebt sich von der Kapazität zur Auswahl. Wer früher zwanzig Ideen hatte und fünf davon umsetzen konnte, wählt jetzt unter hundert Ideen 20 aus, die umgesetzt werden. Das Volumen des Backlogs ist kein Problem mehr. Das Rauschen darin ist es.

Für CRO-Manager bedeutet das eine Rollenverschiebung. Wer seinen Wert bisher darin sah, Experimente aufzusetzen und auszuwerten, wird durch AI-Unterstützung in diesen Bereichen entlastet. Wer seinen Wert darin sieht, die richtigen Fragen zu stellen, Hypothesen inhaltlich zu schärfen und den strategischen Lernpfad eines Programms zu gestalten, gewinnt an Bedeutung. Priorisierung ist keine operative Aufgabe, die nebenbei erledigt wird. Sie ist die Kernkompetenz, die ein Experimentation-Programm von einer Liste laufender Experimente unterscheidet.

Hypothesen-Priorisierung ist kein administrativer Schritt, bevor die eigentliche Arbeit beginnt. Sie ist eine methodischer Entscheidung, die bestimmt, wie schnell ein Programm lernt und wie gut die Erkenntnisse aufeinander aufbauen. Frameworks helfen dabei, diesen Prozess transparent zu machen. Was sie nicht ersetzen können, ist die inhaltliche Auseinandersetzung mit jeder Hypothese: Was ist ihre Grundlage, was ist ihr Mechanismus, und was lernt das Programm aus ihr?