Mesurer l’apport réel de l’IA en marketing consiste à comparer une situation avec IA à une situation de référence sans IA, sur des indicateurs définis avant le déploiement, et en intégrant le coût complet du dispositif. Sans cette discipline, tout projet d’IA paraît rentable, puisque le temps gagné se raconte plus facilement qu’il ne se démontre.
Pourquoi mesurer l’apport de l’IA avant de généraliser ?
Mesurer avant de généraliser évite deux erreurs symétriques : étendre un dispositif d’IA qui ne produit rien de plus que l’organisation précédente, ou abandonner un dispositif utile faute de preuve. La mesure transforme une impression (« l’équipe va plus vite ») en constat vérifiable, et donne un critère d’arrêt ou d’extension défini à l’avance.
L’exigence n’a rien de spécifique à l’IA : elle vaut pour tout levier marketing, qu’il soit numérique ou physique. Une entreprise qui mesure l’effet d’une opération d’asile colis par un code dédié ou une page d’atterrissage spécifique applique exactement la même logique qu’une entreprise qui mesure l’effet d’un assistant de rédaction sur sa production d’emails. L’IA n’échappe pas à cette règle commune : l’enthousiasme autour de la technologie pousse à généraliser vite, alors que la valeur réelle varie fortement d’un usage à l’autre.
Qu’est-ce qu’une situation de référence et comment l’établir ?
Une situation de référence est la photographie chiffrée de l’activité avant l’introduction de l’IA : volumes produits, délais, taux d’erreur, résultats commerciaux sur la période comparable. Cette photographie s’établit avant le déploiement, sur les indicateurs que le projet prétend améliorer. Sans référence antérieure, aucun écart n’est attribuable au dispositif.
Trois précautions rendent la référence exploitable. D’abord la période : comparer des périodes comparables, en tenant compte de la saisonnalité, forte en vente à distance. Ensuite le périmètre : figer la liste des indicateurs avant le lancement, pour éviter de choisir après coup ceux qui arrangent. Enfin, quand c’est possible, le groupe témoin : appliquer le dispositif à une partie de l’activité seulement (une gamme, une équipe, une partie de la base clients) et conserver le reste en fonctionnement inchangé. Le groupe témoin est la seule méthode qui neutralise les évolutions du marché : une comparaison avant-après seule peut attribuer à l’IA un effet venu de la conjoncture.
Quels sont les trois niveaux de mesure d’un projet d’IA marketing ?
Un projet d’IA marketing se mesure à trois niveaux successifs : la qualité de sortie (ce que le modèle produit est-il bon ?), l’effet opérationnel (l’équipe produit-elle plus, plus vite ou avec moins d’erreurs ?) et l’effet métier (les ventes, la réactivation ou la marge bougent-elles ?). Chaque niveau conditionne le suivant sans le garantir.
- Niveau 1, qualité de sortie : taux de textes ou de classements acceptés sans retouche, jugé par relecture humaine sur échantillon.
- Niveau 2, effet opérationnel : volumes traités, délais de production, taux d’erreur, mesurés sur les mêmes unités que la situation de référence.
- Niveau 3, effet métier : chiffre d’affaires, commandes, clients réactivés, comparés au groupe témoin ou à la période de référence.
La confusion la plus fréquente consiste à s’arrêter au niveau 1 ou 2 : un modèle peut produire d’excellents textes plus vite sans que les ventes n’en soient modifiées, si le goulot d’étranglement était ailleurs. Seul le niveau 3 justifie un investissement durable ; les niveaux 1 et 2 servent de diagnostic quand le niveau 3 déçoit.
Comment évaluer la qualité des sorties d’un modèle ?
La qualité des sorties d’un modèle s’évalue par relecture humaine d’un échantillon, selon une grille de critères définie avant l’évaluation : exactitude des faits, conformité au ton de la marque, respect des mentions obligatoires, absence d’invention. Le résultat s’exprime en part de sorties acceptées telles quelles, retouchées ou rejetées.
Deux règles rendent cette évaluation honnête. La première : faire évaluer par des personnes qui n’ont pas porté le projet, car le porteur d’un dispositif juge ses sorties avec indulgence. La seconde : réévaluer périodiquement, parce que les modèles évoluent au fil des versions et que la grille de départ peut cesser de couvrir les cas rencontrés. Pour structurer cette démarche dans la durée, le cadre de gestion des risques publié par le NIST (AI Risk Management Framework) propose quatre fonctions applicables à toute organisation : gouverner, cartographier, mesurer, gérer. Ce cadre est volontaire et se consulte librement, le lien figure en fin de page.
Qu’inclut le coût complet d’un dispositif d’IA marketing ?
Le coût complet d’un dispositif d’IA marketing dépasse largement l’abonnement à l’outil. Il inclut le temps de cadrage et de préparation des données, le temps de relecture et de correction des sorties, la formation des équipes, la maintenance du dispositif au fil des versions, et les mesures de sécurité qui accompagnent tout système connecté aux données de l’entreprise.
Les postes les plus sous-estimés :
- La relecture permanente : un dispositif dont chaque sortie doit être vérifiée conserve un coût humain récurrent, souvent absent du calcul initial.
- La préparation des données : nettoyer et structurer la base avant l’analyse représente fréquemment la plus grosse part du travail.
- La sécurité : l’ANSSI recommande une posture de prudence pour les systèmes d’IA générative et publie des recommandations dédiées ; les appliquer a un coût qui appartient au projet.
- La réversibilité : pouvoir changer d’outil ou revenir en arrière suppose de garder la main sur ses données et ses gabarits.
Le montant de ces postes varie trop selon la taille de la base, les outils choisis et le niveau d’intégration pour qu’une fourchette générale ait un sens : un chiffrage sérieux part du contexte de l’entreprise, ce qui est précisément l’objet d’une demande de devis.
La mesure de l’IA diffère-t-elle de celle des canaux physiques ?
Non : la mesure d’un dispositif d’IA et la mesure d’un canal physique reposent sur les mêmes principes, référence établie avant l’action, indicateurs figés à l’avance, groupe témoin quand c’est possible. L’IA n’est pas un média : c’est une couche transversale qui s’applique aux canaux existants, et qui se mesure avec leurs méthodes.
Bonne nouvelle pour les entreprises de vente à distance : celles qui savent mesurer une opération de courrier adressé ou d’asile colis (codes dédiés, vagues comparées, périodes témoins) possèdent déjà la culture nécessaire pour évaluer un projet d’IA. La page consacrée à la mesure des résultats en asile colis détaille ces méthodes sur un canal physique ; elles se transposent presque telles quelles.
Le repère
L’apport de l’IA se mesure comme celui de tout levier marketing : une situation de référence établie avant le déploiement, trois niveaux d’indicateurs (qualité de sortie, effet opérationnel, effet métier), un coût complet incluant relecture, données, formation et sécurité. Seul l’effet métier justifie la généralisation. Les cadres publics, NIST pour les risques, ANSSI pour la sécurité, aident à structurer la démarche sans la remplacer.
Pour poursuivre : la page pilier intelligence artificielle et marketing présente l’ensemble des usages de l’IA pour la vente à distance ; la page mesurer ses résultats en asile colis montre la même exigence de mesure appliquée à un canal physique ; pour un chiffrage adapté à votre contexte, la demande de devis.
Sources consultées
- NIST, « AI Risk Management Framework » : nist.gov
- ANSSI, « Recommandations de sécurité pour un système d’IA générative » : cyber.gouv.fr