A/B test Klaviyo : la méthode pour tester subject lines, contenus, send time

TL;DR. L'A/B test Klaviyo est sous-utilisé dans 90 % des marques que nous auditons. Soit ils ne testent pas, soit ils testent sans significativité statistique, soit ils testent dans le mauvais ordre. La hiérarchie correcte : subject line d'abord, contenu ensuite, send time en dernier. Ce guide couvre le setup technique dans Klaviyo, la taille d'échantillon minimale, le calcul de significativité, et les variables à tester en priorité.

Un A/B test sans significativité statistique n'est pas un A/B test. C'est un tirage au sort. La distinction n'est pas théorique : si vous envoyez une version A à 300 personnes et une version B à 300 personnes, et que vous observez un taux d'ouverture de 38 % vs 42 %, vous n't avez pas de preuve que B est meilleure. Vous avez juste une fluctuation aléatoire. Ce guide vous évite de prendre des décisions éditoriales sur des fluctuations.

Pourquoi tester dans un ordre précis

Le premier réflexe des équipes CRM est de tout tester en même temps ou de tester ce qui semble le plus créatif. C'est contre-productif. L'ordre optimal de test est :

1. Subject line en premier. C'est la variable avec le plus fort impact sur le revenu par email et la plus facile à tester. Un meilleur subject line augmente l'open rate, qui augmente mécaniquement les clics et le revenu en aval. Impact potentiel : +5 à +25 % d'open rate selon les marques.

2. Contenu email en second. Une fois que vous avez un subject line solide, tester le body : texte vs image, CTA position, angle de l'offre. Impact potentiel : +3 à +15 % de click rate.

3. Send time en dernier. Le send time a un impact réel mais plus marginal que le subject line et le contenu. Impact potentiel : +2 à +8 % d'open rate selon la liste. Tester en dernier parce que c'est la variable la plus difficile à isoler (votre base est internationale ? vos clients sont B2B ou B2C ? les comportements varient).

Si vous n'avez le temps que de faire une chose : tester les subject lines.

Setup d'un A/B test dans Klaviyo : les deux modes

Mode 1 : A/B test intégré Klaviyo (campagnes)

Dans Klaviyo, lors de la création d'une campagne, activer "A/B test this campaign". Klaviyo vous permet de tester :
- Subject line (jusqu'à 4 variantes)
- From name
- Contenu de l'email (versions différentes du body)
- Send time

Configuration :
1. Définir la répartition : 50/50 pour un test à 2 variantes. Pour 3 variantes ou plus, Klaviyo permet de personnaliser la répartition (ex : 33/33/34).
2. Définir la métrique de victoire : Open Rate (pour les tests subject line), Click Rate (pour les tests de contenu), Revenue per Recipient (pour les tests d'offre).
3. Définir la durée du test : la fenêtre pendant laquelle Klaviyo mesure avant d'envoyer la version gagnante. Recommandé : 4 heures pour les subject lines (la majorité des ouvertures se font dans les 4 premières heures), 24 heures pour les tests de contenu.
4. Choisir si Klaviyo envoie automatiquement le gagnant au reste de la liste ou si vous le faites manuellement après validation.

Mode 2 : A/B test manuel (avec segments)

Pour les tests sur des flows ou des conditions complexes que le mode intégré ne couvre pas, le test manuel consiste à :
1. Créer deux segments de taille équivalente avec les mêmes conditions de base
2. Envoyer deux versions différentes, une à chaque segment
3. Comparer les métriques après 48 heures dans Klaviyo Analytics

Le mode manuel est plus laborieux mais plus flexible. Il permet de tester des variables que le A/B test intégré ne supporte pas : segment source, heure de la semaine, personnalisation profonde.

Taille d'échantillon minimale

C'est le point où la plupart des équipes échouent. Elles A/B testent sur des listes de 800 contacts (400 par variante) et déclarent une version "gagnante" sur une différence de 2 points de taux d'ouverture. Ce n'est pas significatif.

Règle pratique pour les subject lines (métrique : open rate) :

Pour détecter une différence d'open rate de 5 points (ex : 35 % vs 40 %) avec un niveau de confiance de 95 %, vous avez besoin d'environ 800 contacts par variante (1 600 contacts au total).

Pour détecter une différence de 3 points (ex : 37 % vs 40 %), il vous faut environ 2 200 contacts par variante (4 400 contacts au total).

Pour détecter une différence de 10 points ou plus, 400 contacts par variante suffisent.

Tableau de référence rapide :

Conséquence pratique : si votre liste actifs est inférieure à 1 500 contacts, vous ne pouvez pas A/B tester de façon statistiquement solide sur les subject lines. Concentration sur la production d'emails de qualité plutôt que sur les tests. Les tests deviennent pertinents à partir de 3 000 contacts actifs.

Calculer la significativité : sans outil complexe

Le seuil standard en A/B testing est un niveau de confiance de 95 % (p-value < 0.05). En pratique : si vous observez une différence entre les deux variantes et que votre test dit "95 % de confiance", vous avez 5 % de chances que le résultat soit dû au hasard.

Outil simple : A/B test calculator de Neil Patel ou VWO Significance Calculator (recherche Google). Entrez : visiteurs A, conversions A, visiteurs B, conversions B. L'outil calcule la significativité en 10 secondes.

Dans Klaviyo : la feature d'A/B test intégrée calcule automatiquement la significativité et l'affiche dans le rapport de résultats. Elle attend que la fenêtre de test soit close avant de déclarer un gagnant. Ne pas interrompre le test avant la fin de la fenêtre définie : vous biaisez les résultats.

Ce qu'il faut tester sur les subject lines

Pas tous les subject lines se testent bien. Voici les variables avec le meilleur ratio impact/effort :

Variables à fort impact :

• Personnalisation vs pas de personnalisation : sujet avec {{first_name}} vs sujet sans. Première fois que vous testez, la différence peut être de 3 à 8 points.
• Urgence temporelle vs pas d'urgence : "Dernières 24 heures" vs "Notre sélection du moment". Impact fort sur les campagnes promotionnelles.
• Question vs affirmation : "Avez-vous vu notre nouvelle collection ?" vs "Notre nouvelle collection est là". Les questions ont en général un open rate légèrement supérieur mais un click rate inférieur.
• Longueur courte vs longue : subject line 30 caractères vs 55 caractères. Tester sur votre base mobile spécifiquement.
• Curiosity gap vs clarté : "Ce que vous n'avez pas encore vu chez [Marque]" vs "[Marque] : collection printemps-été 2026". La clarté gagne souvent sur les bases engagées, le curiosity gap sur les bases froides.

Variables à faible impact (ne pas prioriser) :

• Majuscules dans le subject line
• Ponctuation finale (point d'exclamation ou pas)
• Présence du nom de marque dans le sujet

Ce qu'il faut tester sur le contenu

Pour les tests de contenu (body d'email), les variables à fort impact sont :

Format général :
- Texte brut vs HTML avec images. Contre-intuitif : sur les bases B2B et pour les emails de nurturing, le texte brut surperforme souvent le HTML.
- Email en colonne unique vs deux colonnes. Les emails une colonne sont mieux optimisés mobile et convertissent mieux sur des bases à > 60 % de lecture mobile.

Contenu :
- Photo produit en header vs texte direct. Tester pour votre marque spécifique : il n'y a pas de réponse universelle.
- CTA texte vs bouton. Les boutons ont en général un meilleur click rate si la couleur et le texte du bouton sont travaillés.
- Nombre de CTAs : 1 seul CTA vs 2 CTAs. Les emails avec un seul CTA ont en général un click rate plus élevé sur ce CTA qu'un email avec 3 CTAs.
- Social proof dans le body (nombre de clients, note) vs pas de social proof. Impact positif variable selon la maturité de la marque.

Ce qu'il faut tester sur le send time

Le send time est la variable la plus difficile à isoler parce que son impact dépend fortement de :

• La démographie de votre liste (B2B vs B2C, tranches d'âge, géographie)
• Le type d'email (transactionnel vs promotional)
• Le jour de la semaine vs l'heure

Méthode recommandée :

1. Tester d'abord l'opposition matin vs soir (ex : 8h vs 20h) sur le même jour
2. Puis tester jour de semaine vs week-end
3. Utiliser la fonctionnalité "Smart Send Time" de Klaviyo en complément : elle analyse les heures d'ouverture historiques de chaque contact et envoie à l'heure optimale individuelle. Limitation : elle nécessite un historique d'ouverture suffisant (30 jours minimum)

Résultats typiques sur les marques DTC FR :
- Meilleure ouverture : mardi et jeudi matin (8h à 10h)
- Bon engagement : dimanche soir (19h à 21h) pour les marques lifestyle et mode
- Moins bon : lundi matin (inbox chargée), vendredi après-midi

Ces moyennes ne remplacent pas un test sur votre base spécifique.

Les erreurs qui invalident un A/B test

Changer deux variables en même temps. Si vous testez un nouveau subject line ET un nouveau design en même temps, vous ne savez pas laquelle des deux variables a produit le résultat. Un test = une variable.

Arrêter le test trop tôt. Dès que vous voyez une tendance favorable, l'instinct est d'arrêter et d'envoyer. Résistez : la tendance peut s'inverser sur les prochaines heures d'ouverture. Respectez la fenêtre de test définie.

Déclarer une victoire sans significativité. 36 % vs 38 % d'open rate sur 500 contacts par variante n'est pas une victoire. Calculez la significativité avant de tirer une conclusion.

Tester sur des périodes incomparables. Un test dont la variante A est envoyée un mardi et la variante B le vendredi n'est pas un test propre. Les deux variantes doivent être envoyées en même temps (ce que Klaviyo fait automatiquement avec son mode A/B intégré).

Appliquer les résultats d'un test à tous les contextes. Un subject line gagnant sur votre campagne de soldes ne gagne pas forcément sur votre welcome series. Les audiences et les contextes sont différents.

FAQ

Combien de temps garder un résultat de test avant de l'appliquer systématiquement ?

Un résultat A/B test est valable pour la campagne sur laquelle il a été conduit. Avant de l'appliquer à toutes vos communications, répliquer le test sur 2 ou 3 campagnes différentes. Si la même variable gagne de façon consistante, vous avez une règle éditoriale à intégrer.

Peut-on A/B tester dans les flows Klaviyo ?

Oui. Klaviyo permet des A/B tests sur les emails à l'intérieur d'un flow via les "A/B split" dans le flow builder. Le fonctionnement est similaire aux campagnes : définir les variantes, la répartition, la métrique de victoire. La limite : les flows génèrent des volumes plus faibles par email qu'une campagne, donc la significativité statistique prend plus de temps à atteindre.

Faut-il informer les contacts qu'ils participent à un A/B test ?

Non. Ce n'est pas une obligation légale pour les tests d'emailing marketing. En revanche, pour les tests qui affectent l'expérience produit (pas les emails), la législation sur les cookies et le RGPD peut être pertinente.

→ Réserver un audit A/B test Klaviyo

Charlotte Rodrigues, CRM Lead chez Deliver by Make Sense.