Analyse und Auswertung

Öffne im Dashboard A/B-Tests → Analytics für einen Test. Die Auswertung ist in fünf Tabs gegliedert:

• Sessions: Besucher, die einer Variante zugewiesen wurden (nach Assignment-Zeitpunkt).
• Conversions: Sessions mit mindestens einem Ziel-Event — nicht die Anzahl einzelner Events. Mehrfache Käufe in derselben Session zählen als eine Conversion.
• Conversion-Rate: Conversions ÷ Sessions pro Variante.
• Primärziel: Standardmäßig wird das im Test konfigurierte Primärziel (z. B. purchase) ausgewertet. Andere Events fließen nur ein, wenn du in der Analytics-Ansicht explizit danach filterst.

Verbesserung (Lift)
Relative Steigerung gegenüber der Kontroll-Variante: (Variante − Kontrolle) ÷ Kontrolle.
Beispiel: 10 % → 15 % = +50 % Verbesserung. Liegt die Kontrolle bei 0 %, zeigt usertrax die absolute Differenz.

p-Wert
Wahrscheinlichkeit, dass der beobachtete Unterschied zufällig entstanden ist. Kleiner = stärkerer Hinweis auf einen echten Effekt.
usertrax verwendet einen zweiseitigen Test (Unterschied in beide Richtungen).

Statistisch signifikant
Nur Ja, wenn beides zutrifft:

1. p-Wert liegt unter dem Schwellenwert deines Konfidenzniveaus (Standard: 95 % → p < 0,05)
2. Mindest-Stichprobe pro Variante ist erreicht (Standard: 100 Sessions, im Test konfigurierbar)

Ohne ausreichende Stichprobe kann ein niedriger p-Wert trotzdem Nein anzeigen — der Test braucht dann mehr Daten.

Konfidenzintervall (95 % KI)
Wilson-Intervall für die Conversion-Rate: In diesem Bereich liegt die wahre Rate mit hoher Wahrscheinlichkeit. Engeres Intervall = mehr Sicherheit.

Gewinner
Eine Variante wird nur als Gewinner markiert, wenn sie signifikant besser als die Kontrolle ist. Bei mehreren Test-Varianten wird das Konfidenzniveau Bonferroni-korrigiert (strengerer Schwellenwert), um Zufallstreffer zu reduzieren.

Warum zeigt Variante A +70 % Lift, aber „nicht signifikant“?
Der Lift allein reicht nicht — bei wenigen Sessions kann ein großer Unterschied noch Zufall sein. Test länger laufen lassen, bis die Mindest-Stichprobe erreicht ist.

Warum unterscheiden sich Sessions und Conversions in der Liste?
Nicht jede Session konvertiert. Die Rate ergibt sich aus beiden Werten.

Was bedeutet „Stichprobe ausreichend“?
Jede Variante (inkl. Kontrolle) hat mindestens so viele Sessions wie unter Mindest-Stichprobe im Test eingestellt (Standard: 100).

Kann ich vorzeitig stoppen?
Ergebnisse vor Erreichen der Mindest-Stichprobe sind explorativ — keine verlässliche Basis für Produktiv-Rollouts.

Was ist mit 3+ Varianten?
Jede Variante wird gegen die Kontrolle getestet. Mehr Varianten = strengere Signifikanz-Schwelle (Bonferroni).

// Beispiel-Conversion mit A/B-Test-Kontext
{
  "event": "signup",
  "ab_test_data": {
    "button_color_test": "variant_red",
    "headline_test": "variant_short"
  }
}