A/B test Klaviyo : la méthode pour tester subject lines, contenus, send time

TL;DR. L'A/B test Klaviyo est l'outil le plus disponible et le moins utilisé des comptes que nous auditons. Soit ils ne testent pas, soit ils testent sans significativité statistique, soit ils testent dans le mauvais ordre. La hiérarchie correcte : subject line d'abord, contenu ensuite, send time en dernier. Ce guide couvre le setup technique dans Klaviyo, la taille d'échantillon minimale, le calcul de significativité, et les variables à tester en priorité.

Un A/B test sans significativité statistique n'est pas un A/B test. C'est un tirage au sort. La distinction n'est pas théorique : si vous envoyez une version A à 300 personnes et une version B à 300 personnes, et que vous observez un taux d'ouverture de 38 % vs 42 %, vous n'avez pas de preuve que B est meilleure. Vous avez juste une fluctuation aléatoire. Ce guide vous évite de prendre des décisions éditoriales sur des fluctuations.

Pourquoi tester dans un ordre précis

Le premier réflexe des équipes CRM est de tout tester en même temps ou de tester ce qui semble le plus créatif. C'est contre-productif. L'ordre optimal de test est :

1. Subject line en premier. C'est la variable la plus rapide à tester, et celle qui conditionne l'accès au reste du message : sans ouverture, ni clic ni commande. Pour les 50 templates à tester en priorité, consultez Subject lines : 50 templates e-commerce.

2. Contenu email en second. Une fois que vous avez un subject line solide, tester le body : texte vs image, position du CTA, angle de l'offre. La métrique de lecture est ici le taux de clic.

3. Send time en dernier. Tester en dernier parce que c'est la variable la plus difficile à isoler (votre base est internationale ? vos clients sont B2B ou B2C ? les comportements varient).

Si vous n'avez le temps que de faire une chose : tester les subject lines.

Une réserve porte sur toute cette hiérarchie. Le taux d'ouverture repose sur un pixel de suivi, et Klaviyo documente que Apple Mail Privacy Protection précharge les images des messages, que le destinataire ouvre l'email ou non, ce qui gonfle artificiellement les taux d'ouverture et rend plus difficile l'identification des abonnés réellement engagés. La plateforme expose une propriété Apple Privacy Open, filtrable dans les segments, pour isoler ces ouvertures machine. Conséquence pour vos tests : un objet déclaré gagnant au seul taux d'ouverture peut n'avoir convaincu personne. Gardez le taux de clic comme métrique de contrôle.

Setup d'un A/B test dans Klaviyo : les deux modes

Mode 1 : A/B test intégré Klaviyo (campagnes)

Dans l'éditeur de campagne, le bouton s'appelle "Create A/B test" et se trouve au-dessus du champ objet. Les éléments testables documentés par Klaviyo sont :
- L'objet (subject line)
- Le texte d'aperçu (preview text)
- Le nom et l'adresse d'expéditeur
- Le contenu de l'email
- L'horaire d'envoi (send time)

Les variations supplémentaires s'ajoutent en clonant une variation existante. Klaviyo recommande de ne pas dépasser 4 variations d'une même variable par test : c'est une recommandation pour obtenir un résultat exploitable dans un délai raisonnable, pas un plafond technique.

Configuration :
1. Définir la taille du test avec le curseur. Le pourcentage choisi s'applique à chaque variation, pas à la liste entière : dans l'exemple de la documentation Klaviyo, un curseur à 20 % envoie la variation A à 20 % des destinataires et la variation B à 20 %, les 60 % restants recevant la version gagnante. C'est le point le plus souvent mal lu.
2. Définir la métrique de victoire. Klaviyo en propose trois sur les campagnes : open rate, click rate et placed order rate, cette dernière n'étant disponible que sur certains comptes. Il n'existe pas de métrique "revenu par destinataire" dans ce sélecteur : si c'est votre critère de décision, calculez-le après coup à partir du rapport de résultats.
3. Définir la durée du test : la fenêtre pendant laquelle Klaviyo mesure avant d'envoyer la version gagnante. Elle n'est réglable que si la taille de test est inférieure à 100 %, et la documentation prend 6 heures pour exemple. Klaviyo ne publie pas de durée recommandée par type de test : calez la vôtre sur le rythme d'ouverture constaté sur vos campagnes passées.
4. Choisir si Klaviyo envoie automatiquement le gagnant au reste de la liste à la fin de la fenêtre, ou si vous tranchez vous-même depuis l'onglet de résultats avec le bouton "Choose as Winner".

Mode 2 : A/B test manuel (avec segments)

Pour les conditions que le mode intégré ne couvre pas (les flows, eux, disposent de leur propre A/B test natif, voir la FAQ), le test manuel consiste à :
1. Créer deux segments de taille équivalente avec les mêmes conditions de base
2. Envoyer deux versions différentes, une à chaque segment
3. Comparer les métriques après 48 heures dans Klaviyo Analytics

Le mode manuel est plus laborieux mais plus flexible. Il permet de tester des variables que le A/B test intégré ne supporte pas : segment source, heure de la semaine, personnalisation profonde.

Taille d'échantillon minimale

C'est le point où la plupart des équipes échouent. Elles A/B testent sur des listes de 800 contacts (400 par variante) et déclarent une version "gagnante" sur une différence de 2 points de taux d'ouverture. Ce n'est pas significatif.

Les seuils que Klaviyo publie pour les campagnes :

• En dessous de 50 destinataires par variation, le résultat n'est pas qualifié.
• Un résultat est étiqueté statistiquement significatif quand la win probability atteint au moins 90 %.
• Entre 75 % et 89 % de win probability, le résultat est étiqueté "promising" : une piste à rejouer, pas une décision.
• Un résultat est classé non statistiquement significatif quand la win probability reste sous 75 % avec au moins 1 800 destinataires par variation, ou quand, avec moins de 1 800 destinataires par variation, l'écart entre les deux premières variations est de 4 % ou moins et la win probability inférieure à 60 %.

Ce que ces seuils ne sont pas. Ce sont des règles de décision de la plateforme, pas un calcul de taille d'échantillon. Le nombre de destinataires réellement nécessaire dépend du taux de base de la métrique choisie, de l'écart minimum que vous voulez pouvoir détecter, du nombre de variations et de la répartition. Sur une métrique rare comme le taux de commande, 50 destinataires par variation ne détectent rien du tout.

Conséquence pratique : plus votre base active est courte, plus l'écart doit être grossier pour être détectable. Sur une petite liste, réduisez le nombre de variations, testez des différences franches (une offre contre une autre, pas une virgule contre un point), et acceptez d'accumuler la preuve sur plusieurs envois comparables plutôt que de trancher sur un seul.

Calculer la significativité : ce que Klaviyo affiche vraiment

Klaviyo ne raisonne ni en p-value ni en intervalle de confiance à 95 %. Le rapport d'A/B test affiche une win probability : la probabilité que la variation en tête ait réellement obtenu le meilleur taux d'ouverture, de clic ou de commande une fois le hasard pris en compte. Le rapport donne aussi la variation gagnante, le statut du test (en cours ou terminé), le lift par rapport à l'autre variation et la valeur de la métrique de victoire.

Le seuil de la plateforme est donc 90 % de win probability, pas 95 % de confiance. Si vous appliquez par ailleurs un seuil de 95 % venu d'un autre outil, vous serez plus exigeant que Klaviyo : notez alors dans votre protocole laquelle des deux règles vous suivez. Choisir le seuil après avoir vu le résultat n'est plus un test.

Sur les campagnes, le gagnant est désigné à l'issue de la fenêtre de test définie. Ne pas interrompre le test avant la fin de cette fenêtre : vous biaisez le résultat. Le comportement diffère sur les flows, détaillé dans la FAQ.

Ce qu'il faut tester sur les subject lines

Tous les subject lines ne se testent pas bien. Voici les oppositions les plus nettes, donc les plus lisibles sur un échantillon limité :

Oppositions franches :

• Personnalisation vs pas de personnalisation : sujet avec {{first_name}} vs sujet sans.
• Urgence temporelle vs pas d'urgence : "Dernières 24 heures" vs "Notre sélection du moment".
• Question vs affirmation : "Avez-vous vu notre nouvelle collection ?" vs "Notre nouvelle collection est là". Hypothèse courante à vérifier sur votre base plutôt qu'à reprendre telle quelle : la question attire l'ouverture, l'affirmation attire le clic.
• Longueur courte vs longue : subject line 30 caractères vs 55 caractères. Tester sur votre base mobile spécifiquement.
• Curiosity gap vs clarté : "Ce que vous n'avez pas encore vu chez [Marque]" vs "[Marque] : collection printemps-été 2026". La réponse dépend du niveau d'engagement de la base : c'est justement ce que le test tranche.

Un test d'objet se lit d'abord sur l'ouverture, un signal qui dépend du pixel de suivi. Sur une base française, vérifiez donc ce que la CNIL change pour le suivi d'ouverture avant de bâtir tout un protocole de test sur cette seule métrique.

Variables à faible impact (ne pas prioriser) :

• Majuscules dans le subject line
• Ponctuation finale (point d'exclamation ou pas)
• Présence du nom de marque dans le sujet

Ce qu'il faut tester sur le contenu

Pour les tests de contenu (body d'email), les variables à fort impact sont :

Format général :
- Texte brut vs HTML avec images. Contre-intuitif : sur les bases B2B et pour les emails de nurturing, le texte brut surperforme souvent le HTML. La segmentation en amont des tests est couverte dans Segmentation Klaviyo : les 6 segments core.
- Email en colonne unique vs deux colonnes. La colonne unique se rend mieux sur mobile : l'opposition vaut surtout si votre base lit majoritairement sur mobile, ce que vos rapports d'appareil vous disent.

Contenu :
- Photo produit en header vs texte direct. Tester pour votre marque spécifique : il n'y a pas de réponse universelle.
- CTA texte vs bouton, en faisant varier une seule chose à la fois : le format du CTA, pas sa couleur et son libellé en même temps.
- Nombre de CTAs : 1 seul CTA vs plusieurs. Un email à CTA unique concentre les clics sur une destination, un email à plusieurs CTAs les disperse : le test dit lequel des deux sert le mieux votre objectif de campagne.
- Social proof dans le body (nombre de clients, note) vs pas de social proof.

Ce qu'il faut tester sur le send time

Le send time est la variable la plus difficile à isoler parce que son impact dépend fortement de :

• La démographie de votre liste (B2B vs B2C, tranches d'âge, géographie)
• Le type d'email (transactionnel vs promotional)
• Le jour de la semaine vs l'heure

Méthode recommandée :

1. Tester d'abord l'opposition matin vs soir (ex : 8h vs 20h) sur le même jour
2. Puis tester jour de semaine vs week-end
3. Utiliser la fonctionnalité "Smart Send Time" de Klaviyo en complément, en sachant ce qu'elle fait réellement. Elle ne calcule pas une heure propre à chaque contact à partir de son historique personnel : Klaviyo procède par tests successifs à l'échelle du compte, d'abord des envois exploratoires répartis aléatoirement sur une fenêtre de 24 heures dans le fuseau local du destinataire, puis des envois de confirmation autour du créneau identifié, pour en déduire une heure d'envoi optimale. Les conditions documentées sont une audience d'au moins 12 000 destinataires et le canal email uniquement. Il n'y a pas de condition d'historique de 30 jours.

Ce que vous ne trouverez pas ici : un tableau des meilleurs créneaux d'envoi. Klaviyo n'en publie pas, et la logique même de Smart Send Time l'explique : le créneau se détermine compte par compte, par un test exploratoire sur votre propre base. Un créneau relevé sur une autre marque ne dit rien de la vôtre. Il se mesure, il ne se recopie pas.

Les erreurs qui invalident un A/B test

Changer deux variables en même temps. Si vous testez un nouveau subject line ET un nouveau design en même temps, vous ne savez pas laquelle des deux variables a produit le résultat. Un test = une variable.

Arrêter le test trop tôt. Dès que vous voyez une tendance favorable, l'instinct est d'arrêter et d'envoyer. Résistez : la tendance peut s'inverser sur les prochaines heures d'ouverture. Respectez la fenêtre de test définie.

Déclarer une victoire sans significativité. 36 % vs 38 % d'open rate sur 500 contacts par variante n'est pas une victoire : c'est le profil que Klaviyo range dans les résultats non statistiquement significatifs, moins de 1 800 destinataires par variation et un écart faible. Lisez la win probability du rapport avant de tirer une conclusion.

Tester sur des périodes incomparables. Un test dont la variante A est envoyée un mardi et la variante B le vendredi n'est pas un test propre. Les deux variantes doivent être envoyées en même temps (ce que Klaviyo fait automatiquement avec son mode A/B intégré).

Appliquer les résultats d'un test à tous les contextes. Un subject line gagnant sur votre campagne de soldes ne gagne pas forcément sur votre welcome series. Les audiences et les contextes sont différents.

Pour aller plus loin

Vous cherchez une agence Klaviyo pour structurer vos A/B tests et faire progresser vos taux d'engagement ? Deliver accompagne les marques DTC depuis Tournai (BE). Réservez 30 minutes avec Charlotte ou consultez notre page agence Klaviyo.

• Subject lines : 50 templates e-commerce
• Segmentation Klaviyo : les 6 segments core
• Calendrier email e-commerce 2026 France
• Segments BFCM : les 9 segments Klaviyo clés
• Lifecycle marketing : la méthode pour faire de l'email 35 % du CA
• Scorecard lifecycle email : évaluez votre setup sur 50 points

Vos tests A/B sur Klaviyo sont-ils configurés pour produire des résultats fiables ? Un audit Klaviyo gratuit de 30 minutes, sans engagement, permet de le vérifier avec un expert.

FAQ

Combien de temps garder un résultat de test avant de l'appliquer systématiquement ?

Un résultat A/B test est valable pour la campagne sur laquelle il a été conduit. Avant de l'appliquer à toutes vos communications, répliquer le test sur 2 ou 3 campagnes différentes. Si la même variable gagne de façon consistante, vous avez une règle éditoriale à intégrer.

Peut-on A/B tester dans les flows Klaviyo ?

Oui, et l'écran ne s'appelle pas "A/B split" : les splits du flow builder sont les conditional splits et les trigger splits, qui font tout autre chose. Pour tester un email de flow, cliquez sur cet email dans le flow, puis sur "Create A/B test" dans le panneau de détails de l'email. Klaviyo crée deux variations, réparties à parts égales par défaut, avec des pourcentages modifiables. Deux différences avec les campagnes : les métriques de victoire disponibles sur un email de flow se limitent à open rate et click rate, Klaviyo recommandant le click rate parce que Apple Mail Privacy Protection gonfle les taux d'ouverture ; et le gagnant est désigné dès que la significativité statistique est atteinte, ou à une date limite que vous fixez, selon ce qui arrive en premier, la sélection manuelle restant possible. La limite pratique : les flows génèrent des volumes plus faibles par email qu'une campagne, donc les seuils mettent plus longtemps à être atteints.

Faut-il informer les contacts qu'ils participent à un A/B test ?

Le test lui-même n'a pas à être annoncé. Ce qui le mesure, en revanche, n'est pas neutre. Sur une base française, le pixel qui remonte les ouvertures relève de l'article 82 de la loi Informatique et Libertés, celui-là même qui encadre les cookies. Dans sa recommandation sur les pixels de suivi dans les courriers électroniques (délibération n° 2026-042 du 12 mars 2026, publiée le 14 avril 2026), la CNIL réserve l'exemption de consentement à deux cas : la mesure de délivrabilité limitée à la date de dernière ouverture pour repérer les inactifs, et la sécurité. L'optimisation des campagnes, qui inclut l'A/B test d'objets, n'entre dans aucun des deux et suppose donc le consentement préalable. La question à trancher avec votre DPO n'est pas le test, c'est le traceur qui le mesure.

→ Réserver un audit A/B test Klaviyo

Charlotte Rodrigues, CRM Lead chez Deliver.