Wie lange sollte ein A/B-Test laufen?

Mindestens so lange, bis die vorab berechnete Stichprobengröße erreicht ist – und mindestens ein bis zwei volle Geschäftszyklen, in der Praxis meist zwei bis vier volle Wochen. Der Grund: Nutzerverhalten schwankt zwischen Wochentagen, Wochenenden und Monatsphasen. Ein Test, der nur wenige Tage läuft, bildet diese Zyklen nicht ab. Genauso wichtig: den Test nicht beim ersten positiven Zwischenstand stoppen, denn dieses „Peeking“ führt zu Scheinergebnissen.

Wie viele Besucher brauche ich für einen A/B-Test?

Das hängt von drei Faktoren ab: der aktuellen Conversion Rate, dem kleinsten Effekt, den du zuverlässig erkennen willst, und dem gewünschten Signifikanzniveau. Grundsätzlich gilt: Je niedriger die Conversion Rate und je kleiner der erwartete Unterschied, desto mehr Besucher sind nötig. Die konkrete Zahl berechnest du vor dem Start mit einem Stichprobenrechner. Seiten mit sehr wenig Traffic sollten größere Änderungen testen oder auf Seiten mit mehr Besuchern ausweichen, weil kleine Effekte dort nicht nachweisbar sind.

Was ist der Unterschied zwischen A/B-Test und Split-Test?

Im alltäglichen Sprachgebrauch sind beide Begriffe Synonyme: Zwei Varianten werden parallel an zufällig aufgeteilte Nutzergruppen ausgespielt. Wenn differenziert wird, meint Split-Testing (genauer: Split-URL-Testing) den Vergleich zweier komplett getrennter Seiten unter verschiedenen URLs, während der klassische A/B-Test Varianten derselben Seite vergleicht, die per Testing-Tool verändert werden. Die Methodik dahinter – Randomisierung, feste Laufzeit, Signifikanzprüfung – ist identisch.

Wann ist ein A/B-Test statistisch signifikant?

Wenn der gemessene Unterschied zwischen den Varianten so groß ist, dass er mit hoher Wahrscheinlichkeit nicht durch Zufall erklärbar ist. Als Konvention gilt ein Signifikanzniveau von 95 Prozent: Das Risiko, einen zufälligen Unterschied fälschlich für echt zu halten, liegt dann bei höchstens 5 Prozent. Wichtig: Signifikanz ist nur aussagekräftig, wenn die Stichprobengröße vorab festgelegt und der Test bis zum Ende durchgelaufen ist. Wer laufend nachschaut und beim ersten „signifikanten“ Zwischenstand stoppt, erhöht die Fehlerquote massiv.

Was kann man alles per A/B-Test testen?

Grundsätzlich jedes Element, das Nutzerverhalten beeinflusst: Headlines, Call-to-Action-Buttons (Text, Farbe, Position), Seitenlayouts, Bilder und Videos, Formularlänge, Preisdarstellung und Tonalität der Texte. Auch außerhalb der Website funktioniert das Prinzip – etwa bei E-Mail-Betreffzeilen oder Anzeigenvarianten. Sinnvoll ist, nicht wahllos zu testen, sondern dort anzusetzen, wo Traffic hoch, die Conversion Rate niedrig und der erwartete Hebel am größten ist.

A/B-Testing: Kontrollierte Experimente erklärt

A/B-Testing ist eine kontrollierte Testmethode, bei der zwei Varianten eines digitalen Elements gleichzeitig an unterschiedliche Nutzergruppen ausgespielt werden, um anhand messbarer Ergebnisse zu bestimmen, welche Variante besser performt. Variante A ist das Original (Control), Variante B die veränderte Version (Variant). Die Besucher werden zufällig auf beide Varianten verteilt, und nach Erreichen einer statistisch signifikanten Datenmenge wird die Variante mit der höheren Conversion Rate zum neuen Standard.

Was kann mit A/B-Tests getestet werden?

Grundsätzlich lässt sich jedes Element testen, das einen Einfluss auf das Nutzerverhalten hat. Die wichtigsten Testbereiche:

Headlines: Unterschiedliche Formulierungen, Längen oder Ansprachen – eine benefit-orientierte Headline kann deutlich anders wirken als eine feature-orientierte
Call-to-Action-Buttons: Farbe, Größe, Positionierung und Text des CTA haben direkten Einfluss auf die Klickrate. „Jetzt Angebot anfordern” wirkt anders als „Kostenlos testen”
Seitenlayouts: Einspaltiges vs. zweispaltiges Layout, Reihenfolge der Inhaltsblöcke, Platzierung von Social Proof
Bilder und Videos: Unterschiedliche Hero-Bilder, Produktfotos mit oder ohne Kontext, Video-Thumbnails
Formulare: Anzahl der Felder, Pflichtfelder vs. optionale Felder, mehrstufige Formulare vs. Einzelformulare
Copywriting: Tonalität, Textlänge, Argumentationsstruktur, Bullet Points vs. Fließtext
Preisdarstellung: Monatspreise vs. Jahrespreise, durchgestrichene Preise, Paketvergleiche

Der Schlüssel liegt darin, nicht wahllos zu testen, sondern gezielt Elemente auszuwählen, bei denen eine Veränderung den größten Hebel auf die gewünschte Conversion hat.

Was ist der Unterschied zwischen A/B-Testing und Multivariate Testing?

Beim klassischen A/B-Test wird genau ein Element verändert. Das macht die Ergebnisse eindeutig zuordenbar: Wenn Variante B besser performt, liegt es an der einen Änderung.

Beim Multivariate Testing werden mehrere Elemente gleichzeitig in verschiedenen Kombinationen getestet. Beispiel: Drei Headlines und zwei CTA-Farben ergeben sechs verschiedene Kombinationen. Der Vorteil: Sie erfahren nicht nur, welche Headline am besten funktioniert, sondern auch welche Kombination aus Headline und CTA optimal ist. Der Nachteil: Multivariate Tests benötigen deutlich mehr Traffic, um für jede Kombination statistische Signifikanz zu erreichen. Für Seiten mit weniger Besuchern ist ein sequenzieller A/B-Testansatz daher oft die realistischere Wahl.

Welche Tools stehen für A/B-Testing zur Verfügung?

Nach dem Sunset von Google Optimize hat sich die Toollandschaft neu sortiert. Die gängigsten Plattformen:

VWO (Visual Website Optimizer): Visueller Editor für Tests ohne Entwickleraufwand, gute Segmentierungs- und Targeting-Optionen
Optimizely: Enterprise-Lösung mit Feature-Flagging, serverseitigem Testing und leistungsstarker Statistik-Engine
AB Tasty: Europäischer Anbieter mit starkem visuellen Editor und integrierter Personalisierung
HubSpot: Integrierte A/B-Testing-Funktionen für Landing Pages und E-Mails innerhalb der Marketing-Plattform

Die Wahl des Tools hängt vom Traffic-Volumen, den technischen Anforderungen und dem vorhandenen Martech-Stack ab. Entscheidend ist weniger das Tool als die Qualität der Testhypothesen und die Disziplin bei der Auswertung.

Wie wird ein guter A/B-Test aufgebaut?

Ein valider A/B-Test folgt einer klaren Struktur:

1. Hypothese formulieren: Jeder Test beginnt mit einer überprüfbaren Aussage. Statt „Wir testen mal eine andere Headline” heißt es: „Wenn wir die Headline von Feature-Fokus auf Benefit-Fokus ändern, steigt die Formular-Completion-Rate, weil Besucher schneller den Mehrwert erkennen.” Eine gute Hypothese enthält immer das Was, das Warum und die erwartete Wirkung.

2. KPI definieren: Welche Metrik entscheidet über Erfolg oder Misserfolg? Das muss vor Teststart festgelegt werden – nicht im Nachhinein. Die primäre Metrik ist idealerweise eine Conversion-Aktion, die nahe am Geschäftsziel liegt.

3. Stichprobengröße berechnen: Vor dem Start wird berechnet, wie viele Besucher pro Variante nötig sind, um einen statistisch signifikanten Unterschied zu erkennen. Die nötige Stichprobengröße hängt von der aktuellen Conversion Rate, dem erwarteten Uplift und dem gewünschten Signifikanzniveau ab. Gängig sind 95 Prozent Signifikanz und 80 Prozent statistische Power.

4. Test sauber aufsetzen: Control und Variant laufen parallel und gleichzeitig. Die Zuordnung der Besucher erfolgt randomisiert. Externe Faktoren wie Saisonalität, Kampagnenstarts oder technische Änderungen müssen während der Testlaufzeit konstant gehalten werden.

5. Ergebnisse auswerten: Erst nach Erreichen der vorab berechneten Stichprobengröße wird das Ergebnis betrachtet. Frühzeitiges Hineinschauen und Abbrechen verfälscht die Aussagekraft.

Sequenzielles vs. paralleles Testing

Beim parallelen Testing laufen Control und Variant gleichzeitig. Beide Gruppen sind denselben externen Einflüssen ausgesetzt – Wochentag, Tageszeit, Wetter, Nachrichtenlage. Das ist der Goldstandard und die Grundlage jedes soliden A/B-Tests.

Beim sequenziellen Testing wird erst die eine Variante und dann die andere ausgespielt. Das Problem: Unterschiede im Ergebnis könnten durch zeitliche Faktoren verursacht werden, nicht durch die Änderung selbst. Sequenzielles Testing ist nur dann sinnvoll, wenn technische Einschränkungen kein paralleles Setup erlauben – und auch dann nur mit Vorsicht bei der Interpretation.

Wie funktioniert es in der Praxis?

Ein typischer A/B-Testing-Prozess startet mit der Datenanalyse. Web Analytics liefert die Grundlage: Welche Seiten haben hohen Traffic und niedrige Conversion Rates? Wo brechen Nutzer im Funnel ab? Heatmaps und Session Recordings zeigen, wo Besucher zögern oder abspringen.

Aus diesen Erkenntnissen entsteht eine Hypothese. Beispiel: Die Analyse zeigt, dass Nutzer auf einer Landing Page den CTA-Button kaum klicken, obwohl sie bis zum Ende scrollen. Die Hypothese: Der CTA-Text „Absenden” ist zu generisch. Variante B testet „Kostenloses Angebot erhalten”.

Der Test wird im gewählten Tool konfiguriert, die Traffic-Verteilung auf 50/50 gesetzt und die Mindestlaufzeit auf Basis der Stichprobenberechnung festgelegt. Während der Laufzeit werden keine Änderungen an der Seite oder am Test vorgenommen.

Nach Abschluss werden die Ergebnisse ausgewertet. Hat Variante B einen signifikanten Uplift erzielt, wird sie implementiert. Hat sie nicht gewonnen, ist das ebenfalls eine Erkenntnis: Die Hypothese war falsch, und die nächste Iteration kann darauf aufbauen. Die Dokumentation jedes Tests – Hypothese, Ergebnis, Learnings – baut über die Zeit eine Wissensbasis auf, die zukünftige Tests gezielter macht.

Häufige Fehler

Zu viele Elemente gleichzeitig ändern: Wenn Headline, Bild und CTA gleichzeitig geändert werden, ist unklar, welche Änderung den Unterschied verursacht hat. Pro A/B-Test sollte idealerweise nur eine Variable verändert werden.

Nicht genügend Traffic abwarten: Ein Test, der nach drei Tagen und 200 Besuchern abgebrochen wird, liefert keine belastbaren Ergebnisse. Statistische Signifikanz braucht ausreichend Daten. Die vorab berechnete Stichprobengröße muss erreicht werden – auch wenn das Wochen dauert.

Tests zu früh stoppen: Wer täglich die Ergebnisse prüft und beim ersten positiven Signal stoppt, fällt auf statistische Schwankungen herein. Diese Praxis heißt „Peeking” und führt zu einer deutlich erhöhten False-Positive-Rate.

Ohne Hypothese testen: Ohne klare Hypothese fehlt der Lerneffekt. „Wir probieren einfach mal was anderes” ist kein Test, sondern Raten. Jeder Test braucht ein begründetes Warum.

Mobile Nutzer ignorieren: Ein Test, der nur auf Desktop-Ansichten optimiert, übersieht die Hälfte der Nutzer. Mobile Besucher interagieren anders – kleinere Bildschirme, Touch-Bedienung, andere Scrollmuster. Core Web Vitals und Mobile Performance müssen bei jedem Test berücksichtigt werden.

Ergebnisse nicht dokumentieren: Ohne Dokumentation werden dieselben Tests wiederholt, Learnings gehen verloren, und die Optimierung dreht sich im Kreis. Ein Testing-Backlog mit Hypothesen, Ergebnissen und Schlussfolgerungen ist unverzichtbar.

Split Testing, A/B/n-Test und multivariater Test: die Begriffe sauber getrennt

Rund um A/B-Testing kursieren mehrere Begriffe, die oft synonym verwendet werden, aber unterschiedliche Testdesigns beschreiben:

Split Testing ist im Alltag schlicht ein anderes Wort für A/B-Testing – der Traffic wird „gesplittet”, also zufällig auf die Varianten aufgeteilt. Wenn der Begriff enger gefasst wird, meint Split-URL-Testing den Spezialfall, dass die Varianten unter komplett verschiedenen URLs liegen: Das Original unter der bestehenden Adresse, die Herausforderer-Variante als eigenständig gebaute Seite, auf die ein Teil der Besucher weitergeleitet wird. Das eignet sich für radikale Redesigns, bei denen ein visueller Editor an seine Grenzen stößt – etwa ein komplett neues Seitenlayout oder ein anderer Funnel-Aufbau.

A/B/n-Tests erweitern das Prinzip auf mehr als zwei Varianten: Neben dem Original laufen zwei oder mehr Herausforderer parallel (A/B/C, A/B/C/D und so weiter). Das spart Zeit gegenüber mehreren nacheinander laufenden A/B-Tests, verteilt den Traffic aber auf mehr Gruppen – jede einzelne Variante braucht trotzdem genügend Besucher für ein belastbares Ergebnis.

Multivariate Tests verändern mehrere Elemente gleichzeitig und testen alle Kombinationen gegeneinander. Sie beantworten damit eine andere Frage als der A/B-Test: nicht „Welche Variante gewinnt?”, sondern „Welche Kombination von Elementen wirkt am besten zusammen – und welches Element trägt wie viel bei?”. Der Preis dafür ist ein deutlich höherer Traffic-Bedarf, weil sich die Besucher auf viele Kombinationen verteilen.

Als Faustregel: A/B- und A/B/n-Tests für klar abgegrenzte Änderungen, Split-URL-Tests für Redesigns, multivariate Tests nur bei sehr hohem Traffic und konkreten Fragen zum Zusammenspiel mehrerer Elemente.

A/B-Testing-Checkliste: vor dem Start, während des Tests, nach der Auswertung

Vor dem Start:

Datenbasis prüfen: Zeigt die Web-Analyse ein echtes Problem (hoher Traffic, niedrige Conversion), das den Test rechtfertigt?
Hypothese schriftlich formulieren: Was wird geändert, warum, und welche Wirkung wird erwartet?
Primäre Erfolgsmetrik festlegen – eine einzige, möglichst nah am Geschäftsziel
Stichprobengröße und Mindestlaufzeit vorab berechnen und dokumentieren
Tracking der Zielmetrik testen: Wird die Conversion in beiden Varianten korrekt gemessen?
Varianten auf allen relevanten Geräten und Browsern prüfen – vor allem mobil
Sicherstellen, dass während der Laufzeit keine parallelen Änderungen an der Seite geplant sind

Während des Tests:

Test durchlaufen lassen – keine Änderungen an Varianten, Traffic-Verteilung oder Zielmetrik
Nur auf technische Probleme monitoren (Fehler, Ausfälle, kaputte Varianten), nicht auf Zwischenergebnisse zur Entscheidungsfindung
Externe Einflüsse notieren: Kampagnenstarts, Presseerwähnungen, Saisonalität – sie helfen später bei der Interpretation
Nicht vorzeitig stoppen, auch wenn eine Variante früh zu gewinnen scheint

Nach der Auswertung:

Ergebnis erst nach Erreichen der geplanten Stichprobengröße bewerten
Signifikanz und Effektgröße gemeinsam betrachten: Ist der Unterschied statistisch belastbar und praktisch relevant?
Segmente prüfen (z. B. mobil vs. Desktop, neue vs. wiederkehrende Besucher) – aber Segment-Auffälligkeiten als neue Hypothesen behandeln, nicht als bewiesene Ergebnisse
Gewinner-Variante sauber implementieren und nach dem Rollout gegenprüfen
Test dokumentieren: Hypothese, Setup, Ergebnis, Learnings – auch bei „verlorenen” Tests
Nächste Hypothese aus den Learnings ableiten und ins Testing-Backlog aufnehmen

Stichprobengröße und Signifikanz verständlich erklärt

Hinter jedem seriösen A/B-Test stehen drei statistische Stellgrößen, die du nicht im Detail berechnen können musst – aber verstehen solltest:

Signifikanzniveau (Alpha): Es begrenzt das Risiko eines Fehlalarms – also die Wahrscheinlichkeit, einen Unterschied zu „finden”, der in Wirklichkeit nur Zufallsrauschen ist. Die Konvention liegt bei 5 Prozent (entspricht 95 Prozent Signifikanz): Von zwanzig Tests ohne echten Unterschied würde im Schnitt nur einer fälschlich als Gewinner durchgehen.

Statistische Power: Sie beschreibt die Gegenrichtung – die Wahrscheinlichkeit, einen tatsächlich vorhandenen Unterschied auch zu entdecken. Üblich sind 80 Prozent. Ein Test mit zu wenig Besuchern hat zu wenig Power: Selbst wenn die neue Variante wirklich besser ist, geht ihr Effekt im Rauschen unter und der Test endet fälschlich mit „kein Unterschied”.

Minimal Detectable Effect (MDE): Der kleinste Unterschied, den der Test zuverlässig erkennen soll. Hier liegt der wichtigste Trade-off: Je kleiner der Effekt, den du nachweisen willst, desto mehr Besucher brauchst du – der Traffic-Bedarf steigt dabei überproportional. Deshalb lohnt es sich, vor dem Test ehrlich zu fragen: Ab welcher Verbesserung wäre die Änderung überhaupt geschäftlich relevant?

Aus diesen drei Größen plus der aktuellen Conversion Rate ergibt sich die nötige Stichprobengröße pro Variante. Ein rein hypothetisches Rechenbeispiel zur Veranschaulichung der Logik: Angenommen, eine Landing Page hätte eine Conversion Rate von 2 Prozent, und du willst eine Verbesserung auf 2,5 Prozent nachweisen können (MDE: 0,5 Prozentpunkte relativ zur Basis). Bei 95 Prozent Signifikanz und 80 Prozent Power liefert ein Stichprobenrechner dafür einen Bedarf von mehreren Tausend Besuchern pro Variante. Hätte die Seite nur ein paar Hundert Besucher pro Woche, würde der Test viele Wochen laufen – ein Hinweis darauf, dass auf dieser Seite nur größere Änderungen mit größerem erwartetem Effekt sinnvoll testbar sind. Die konkreten Zahlen sind erfunden und dienen nur der Illustration; für reale Tests nutzt du einen Stichprobenrechner mit deinen tatsächlichen Werten.

Der praktische Kern: Stichprobengröße vor dem Start berechnen, Test bis zum Ende durchlaufen lassen und erst dann auswerten. Wer diese drei Regeln einhält, hat die häufigsten statistischen Fallen des A/B-Testings bereits umgangen.

Praxisbeispiel: Warum Ladezeit-Tests Vorrang haben sollten

Praxisbeispiel: Ein Audit-Befund, der das illustriert: Bei einem Audit einer TYPO3-basierten Energieplattform mit über 800 Seiten fanden wir 3.100 KB JavaScript, davon 1.100 KB ungenutzt — auf der Startseite luden allein 4 Tarif-Iframes jeweils ca. 714 KB JS nach. Bevor A/B-Tests an Headlines oder CTAs sinnvoll sind, muss die technische Basis stimmen: Ein Besucher, der drei Sekunden auf den Seitenaufbau wartet, sieht weder die alte noch die neue Variante.

Wir sehen das regelmäßig: Bei einem kürzlichen Next.js-Audit einer Tourismusplattform mit 4.971 URLs waren 726 Seiten komplett JS-abhängig — die H1-Überschrift existierte nur im gerenderten HTML. Für A/B-Tests auf solchen Seiten ist das ein fundamentales Problem, weil Testing-Tools den ursprünglichen DOM manipulieren und bei JS-gerenderten Inhalten Timing-Konflikte entstehen.

A/B-Testing mit Think11

Think11 aus Osnabrück verbindet Web Analytics mit systematischem Testing zu einem kontinuierlichen Optimierungsprozess. Als Google Premium Partner und HubSpot Solutions Partner arbeiten wir mit den führenden Testing- und Analyseplattformen. Von der Hypothesenentwicklung über das Testdesign bis zur Implementierung der Gewinner begleiten wir den gesamten Prozess. In über 3.000 Projekten haben wir datengestützte Optimierung als festen Bestandteil erfolgreicher Online-Marketing-Strategien und Webentwicklung etabliert.