Mit dem uptain A/B-Test messen wir, welchen Einfluss uptain auf die Conversion Rate eines Shops hat.

Dafür werden geeignete Nutzer automatisiert in zwei Gruppen aufgeteilt:

• uptain-Gruppe: Nutzer können die aktivierten uptain Produkte sehen bzw. erhalten.

• Kontrollgruppe: Für diese Nutzer werden die im Test enthaltenen uptain Produkte nicht ausgespielt.

Anschließend vergleichen wir, wie viele Nutzer aus beiden Gruppen eine Bestellung abschließen.

Dadurch können wir unter möglichst vergleichbaren Bedingungen messen, welchen zusätzlichen Effekt uptain auf die Conversion Rate hat.

Im Dashboard werden unter anderem folgende Werte dargestellt:

• Conversion Rate mit uptain

• Conversion Rate ohne uptain

• relativer Conversion-Uplift

Die A/B-Test-Auswertung verwendet die gesamten für den Test verfügbaren Daten und ist deshalb unabhängig vom ausgewählten Zeitraum im normalen Dashboard.

Für eine zuverlässige A/B-Test-Auswertung müssen wir einen Nutzer eindeutig wiedererkennen können.

Deshalb werden für den A/B-Test aktuell ausschließlich bekannte bzw. identifizierte Nutzer („Named Users/Sessions“) verwendet.

Das bedeutet: uptain muss den Nutzer eindeutig einer bekannten E-Mail-Adresse zuordnen können.

Je nach Shop und technischer Integration kann dies beispielsweise der Fall sein, wenn:

• der Nutzer in seinem Kundenkonto eingeloggt ist,

• der Nutzer bereits eine Bestellung durchgeführt hat,

• die E-Mail-Adresse im Rahmen eines zulässigen Shop-Prozesses an uptain übermittelt wurde.

Die Verarbeitung und Verfügbarkeit der jeweiligen Daten hängt dabei von der technischen Integration des Shops sowie den geltenden Datenschutzanforderungen ab.

Nicht eindeutig identifizierbare Besucher werden aktuell nicht für die Zuordnung zum A/B-Test verwendet.

Warum ist das notwendig?
Ohne eine eindeutige Nutzeridentifikation könnten einzelne Sessions desselben Nutzers unterschiedlichen Testgruppen zugeordnet werden. Dadurch würde das Ergebnis des Tests verfälscht.

Sobald ein geeigneter Nutzer für den A/B-Test erkannt wird, wird er einer der beiden Gruppen zugeordnet.

Die Zuordnung erfolgt entsprechend des aktuell für den Shop aktiven A/B-Test-Splits, beispielsweise:

50 / 50

• 50 % uptain-Gruppe

• 50 % Kontrollgruppe

oder später beispielsweise:

70 / 30

• 70 % uptain-Gruppe

• 30 % Kontrollgruppe

Eine besonders wichtige Eigenschaft unseres A/B-Testings ist die sogenannte persistente Gruppenzuordnung.

Sobald ein Nutzer einer Gruppe zugeordnet wurde, bleibt dieser Nutzer innerhalb des Tests in dieser Gruppe.

Das bedeutet beispielsweise:

Ein Nutzer besucht einen Shop zunächst auf seinem Smartphone und wird der uptain-Gruppe zugeordnet.

Später loggt sich derselbe Nutzer auf seinem Laptop ein.

Sobald uptain erkennt, dass es sich um denselben bekannten Nutzer handelt, wird weiterhin die bereits bestehende Zuordnung zur uptain-Gruppe verwendet.

Der Nutzer wird nicht erneut zufällig einer Gruppe zugeordnet.

Eine wechselnde Gruppenzuordnung würde die Aussagekraft des A/B-Tests erheblich reduzieren.

Ein Beispiel:

1. Ein Nutzer wird zunächst der uptain-Gruppe zugeordnet.

2. Er sieht ein Activation Pop-up oder erhält eine andere Kommunikation von uptain.

3. Bei einem späteren Besuch würde derselbe Nutzer zufällig der Kontrollgruppe zugeordnet.

4. Der Nutzer bestellt anschließend.

Ohne eine persistente Gruppenzuordnung könnte diese Bestellung nun fälschlicherweise der Kontrollgruppe zugerechnet werden, obwohl der Nutzer zuvor bereits Kontakt mit uptain hatte.

Durch die dauerhafte Zuordnung stellen wir sicher, dass die Performance möglichst eindeutig der richtigen Gruppe zugerechnet wird.

Der A/B-Test wird nicht dauerhaft mit derselben Verteilung durchgeführt.

Bei neuen Shops beginnt uptain mit einer größeren Kontrollgruppe, damit möglichst schnell ausreichend Vergleichsdaten gesammelt werden können.

Anschließend wird der Anteil der Nutzer, die uptain erhalten, schrittweise erhöht.

Der vorgesehene Rollout beginnt mit einer 50/50-Verteilung und entwickelt sich anschließend über weitere Stufen bis zu 99/1.

Beispiel:

Der Vorteil dieses Ansatzes:

Zu Beginn können schneller belastbare Vergleichsdaten gesammelt werden. Später erhält der überwiegende Anteil der Nutzer die uptain Produkte, während weiterhin eine kleine Kontrollgruppe für langfristige Messungen bestehen bleibt.

Das A/B-Test-Dashboard unterscheidet grundsätzlich zwischen verschiedenen Phasen.

Zu Beginn eines Tests stehen noch nicht genügend Daten für eine zuverlässige Aussage zur Verfügung.

In diesem Fall zeigt das Dashboard einen entsprechenden Hinweis an.

Aktuell ist insbesondere die Anzahl der Bestellungen innerhalb der Kontrollgruppe ein wichtiger Faktor. Die Requirements sehen mindestens 60 Checkouts in der „ohne uptain“-Gruppe vor, bevor die nächste Auswertungsstufe erreicht werden kann.

Sobald ausreichend Daten vorliegen, kann zunächst ein prognostiziertes Ergebnis angezeigt werden.

Dieses Ergebnis basiert auf den bisher gesammelten Daten und einem von uptain verwendeten Prognosemodell.

Es ermöglicht eine erste Einschätzung des zu erwartenden Uplifts, bevor der klassische A/B-Test statistische Signifikanz erreicht hat.

Wichtig:

Ein prognostiziertes Ergebnis ist noch kein statistisch signifikantes A/B-Test-Ergebnis.

Die Berechnung erfolgt kumulativ und wird regelmäßig aktualisiert. In den aktuellen Requirements ist eine tägliche Neuberechnung vorgesehen.

Sobald ausreichend Daten vorhanden sind und der Test die festgelegten statistischen Kriterien erfüllt, kann das finale A/B-Test-Ergebnis angezeigt werden.

Die aktuelle Definition verwendet hierfür unter anderem einen statistischen Signifikanztest mit:

z_score_cr > 1,96

Das Dashboard zeigt dann die tatsächliche Performance der beiden Testgruppen und den daraus resultierenden Conversion-Uplift.

Aktuell liegt der Fokus der Auswertung auf Activation Pop-ups.

Das Dashboard vergleicht entsprechend die Conversion Performance mit und ohne Activation Pop-ups. Eine zukünftige Erweiterung auf weitere Produkte – beispielsweise Abandonment Mails – ist vorgesehen.