A/B-Testing ist eine kontrollierte Testmethode, bei der zwei Varianten eines digitalen Elements gleichzeitig an unterschiedliche Nutzergruppen ausgespielt werden, um anhand messbarer Ergebnisse zu bestimmen, welche Variante besser performt. Variante A ist das Original (Control), Variante B die veränderte Version (Variant). Die Besucher werden zufällig auf beide Varianten verteilt, und nach Erreichen einer statistisch signifikanten Datenmenge wird die Variante mit der höheren Conversion Rate zum neuen Standard.
Was kann mit A/B-Tests getestet werden?
Grundsätzlich lässt sich jedes Element testen, das einen Einfluss auf das Nutzerverhalten hat. Die wichtigsten Testbereiche:
- Headlines: Unterschiedliche Formulierungen, Längen oder Ansprachen – eine benefit-orientierte Headline kann deutlich anders wirken als eine feature-orientierte
- Call-to-Action-Buttons: Farbe, Größe, Positionierung und Text des CTA haben direkten Einfluss auf die Klickrate. „Jetzt Angebot anfordern” wirkt anders als „Kostenlos testen”
- Seitenlayouts: Einspaltiges vs. zweispaltiges Layout, Reihenfolge der Inhaltsblöcke, Platzierung von Social Proof
- Bilder und Videos: Unterschiedliche Hero-Bilder, Produktfotos mit oder ohne Kontext, Video-Thumbnails
- Formulare: Anzahl der Felder, Pflichtfelder vs. optionale Felder, mehrstufige Formulare vs. Einzelformulare
- Copywriting: Tonalität, Textlänge, Argumentationsstruktur, Bullet Points vs. Fließtext
- Preisdarstellung: Monatspreise vs. Jahrespreise, durchgestrichene Preise, Paketvergleiche
Der Schlüssel liegt darin, nicht wahllos zu testen, sondern gezielt Elemente auszuwählen, bei denen eine Veränderung den größten Hebel auf die gewünschte Conversion hat.
Was ist der Unterschied zwischen A/B-Testing und Multivariate Testing?
Beim klassischen A/B-Test wird genau ein Element verändert. Das macht die Ergebnisse eindeutig zuordenbar: Wenn Variante B besser performt, liegt es an der einen Änderung.
Beim Multivariate Testing werden mehrere Elemente gleichzeitig in verschiedenen Kombinationen getestet. Beispiel: Drei Headlines und zwei CTA-Farben ergeben sechs verschiedene Kombinationen. Der Vorteil: Sie erfahren nicht nur, welche Headline am besten funktioniert, sondern auch welche Kombination aus Headline und CTA optimal ist. Der Nachteil: Multivariate Tests benötigen deutlich mehr Traffic, um für jede Kombination statistische Signifikanz zu erreichen. Für Seiten mit weniger Besuchern ist ein sequenzieller A/B-Testansatz daher oft die realistischere Wahl.
Welche Tools stehen für A/B-Testing zur Verfügung?
Nach dem Sunset von Google Optimize hat sich die Toollandschaft neu sortiert. Die gängigsten Plattformen:
- VWO (Visual Website Optimizer): Visueller Editor für Tests ohne Entwickleraufwand, gute Segmentierungs- und Targeting-Optionen
- Optimizely: Enterprise-Lösung mit Feature-Flagging, serverseitigem Testing und leistungsstarker Statistik-Engine
- AB Tasty: Europäischer Anbieter mit starkem visuellen Editor und integrierter Personalisierung
- HubSpot: Integrierte A/B-Testing-Funktionen für Landing Pages und E-Mails innerhalb der Marketing-Plattform
Die Wahl des Tools hängt vom Traffic-Volumen, den technischen Anforderungen und dem vorhandenen Martech-Stack ab. Entscheidend ist weniger das Tool als die Qualität der Testhypothesen und die Disziplin bei der Auswertung.
Wie wird ein guter A/B-Test aufgebaut?
Ein valider A/B-Test folgt einer klaren Struktur:
1. Hypothese formulieren: Jeder Test beginnt mit einer überprüfbaren Aussage. Statt „Wir testen mal eine andere Headline” heißt es: „Wenn wir die Headline von Feature-Fokus auf Benefit-Fokus ändern, steigt die Formular-Completion-Rate, weil Besucher schneller den Mehrwert erkennen.” Eine gute Hypothese enthält immer das Was, das Warum und die erwartete Wirkung.
2. KPI definieren: Welche Metrik entscheidet über Erfolg oder Misserfolg? Das muss vor Teststart festgelegt werden – nicht im Nachhinein. Die primäre Metrik ist idealerweise eine Conversion-Aktion, die nahe am Geschäftsziel liegt.
3. Stichprobengröße berechnen: Vor dem Start wird berechnet, wie viele Besucher pro Variante nötig sind, um einen statistisch signifikanten Unterschied zu erkennen. Die nötige Stichprobengröße hängt von der aktuellen Conversion Rate, dem erwarteten Uplift und dem gewünschten Signifikanzniveau ab. Gängig sind 95 Prozent Signifikanz und 80 Prozent statistische Power.
4. Test sauber aufsetzen: Control und Variant laufen parallel und gleichzeitig. Die Zuordnung der Besucher erfolgt randomisiert. Externe Faktoren wie Saisonalität, Kampagnenstarts oder technische Änderungen müssen während der Testlaufzeit konstant gehalten werden.
5. Ergebnisse auswerten: Erst nach Erreichen der vorab berechneten Stichprobengröße wird das Ergebnis betrachtet. Frühzeitiges Hineinschauen und Abbrechen verfälscht die Aussagekraft.
Sequenzielles vs. paralleles Testing
Beim parallelen Testing laufen Control und Variant gleichzeitig. Beide Gruppen sind denselben externen Einflüssen ausgesetzt – Wochentag, Tageszeit, Wetter, Nachrichtenlage. Das ist der Goldstandard und die Grundlage jedes soliden A/B-Tests.
Beim sequenziellen Testing wird erst die eine Variante und dann die andere ausgespielt. Das Problem: Unterschiede im Ergebnis könnten durch zeitliche Faktoren verursacht werden, nicht durch die Änderung selbst. Sequenzielles Testing ist nur dann sinnvoll, wenn technische Einschränkungen kein paralleles Setup erlauben – und auch dann nur mit Vorsicht bei der Interpretation.
Wie funktioniert es in der Praxis?
Ein typischer A/B-Testing-Prozess startet mit der Datenanalyse. Web Analytics liefert die Grundlage: Welche Seiten haben hohen Traffic und niedrige Conversion Rates? Wo brechen Nutzer im Funnel ab? Heatmaps und Session Recordings zeigen, wo Besucher zögern oder abspringen.
Aus diesen Erkenntnissen entsteht eine Hypothese. Beispiel: Die Analyse zeigt, dass Nutzer auf einer Landing Page den CTA-Button kaum klicken, obwohl sie bis zum Ende scrollen. Die Hypothese: Der CTA-Text „Absenden” ist zu generisch. Variante B testet „Kostenloses Angebot erhalten”.
Der Test wird im gewählten Tool konfiguriert, die Traffic-Verteilung auf 50/50 gesetzt und die Mindestlaufzeit auf Basis der Stichprobenberechnung festgelegt. Während der Laufzeit werden keine Änderungen an der Seite oder am Test vorgenommen.
Nach Abschluss werden die Ergebnisse ausgewertet. Hat Variante B einen signifikanten Uplift erzielt, wird sie implementiert. Hat sie nicht gewonnen, ist das ebenfalls eine Erkenntnis: Die Hypothese war falsch, und die nächste Iteration kann darauf aufbauen. Die Dokumentation jedes Tests – Hypothese, Ergebnis, Learnings – baut über die Zeit eine Wissensbasis auf, die zukünftige Tests gezielter macht.
Häufige Fehler
Zu viele Elemente gleichzeitig ändern: Wenn Headline, Bild und CTA gleichzeitig geändert werden, ist unklar, welche Änderung den Unterschied verursacht hat. Pro A/B-Test sollte idealerweise nur eine Variable verändert werden.
Nicht genügend Traffic abwarten: Ein Test, der nach drei Tagen und 200 Besuchern abgebrochen wird, liefert keine belastbaren Ergebnisse. Statistische Signifikanz braucht ausreichend Daten. Die vorab berechnete Stichprobengröße muss erreicht werden – auch wenn das Wochen dauert.
Tests zu früh stoppen: Wer täglich die Ergebnisse prüft und beim ersten positiven Signal stoppt, fällt auf statistische Schwankungen herein. Diese Praxis heißt „Peeking” und führt zu einer deutlich erhöhten False-Positive-Rate.
Ohne Hypothese testen: Ohne klare Hypothese fehlt der Lerneffekt. „Wir probieren einfach mal was anderes” ist kein Test, sondern Raten. Jeder Test braucht ein begründetes Warum.
Mobile Nutzer ignorieren: Ein Test, der nur auf Desktop-Ansichten optimiert, übersieht die Hälfte der Nutzer. Mobile Besucher interagieren anders – kleinere Bildschirme, Touch-Bedienung, andere Scrollmuster. Core Web Vitals und Mobile Performance müssen bei jedem Test berücksichtigt werden.
Ergebnisse nicht dokumentieren: Ohne Dokumentation werden dieselben Tests wiederholt, Learnings gehen verloren, und die Optimierung dreht sich im Kreis. Ein Testing-Backlog mit Hypothesen, Ergebnissen und Schlussfolgerungen ist unverzichtbar.
A/B-Testing mit Think11
Think11 aus Osnabrück verbindet Web Analytics mit systematischem Testing zu einem kontinuierlichen Optimierungsprozess. Als Google Premium Partner und HubSpot Solutions Partner arbeiten wir mit den führenden Testing- und Analyseplattformen. Von der Hypothesenentwicklung über das Testdesign bis zur Implementierung der Gewinner begleiten wir den gesamten Prozess. In über 3.000 Projekten haben wir datengestützte Optimierung als festen Bestandteil erfolgreicher Online-Marketing-Strategien und Webentwicklung etabliert.
