ROI de l’IA : comment mesurer la valeur réellement créée

De la productivité à la valeur réelle

L’intelligence artificielle entre dans une nouvelle phase au sein des entreprises.

Après les premiers tests et les assistants conversationnels, les directions générales veulent désormais connaître les résultats concrets.

Les utilisateurs voient déjà certains bénéfices.

Selon l’Observatoire européen du digital d’Inetum et de l’Institut Bona Fide, 76 % des cadres européens qui utilisent l’IA estiment qu’elle améliore leur productivité. En France, cette proportion atteint 73 %.

Des dizaines de projets, mais des budgets limités

Cette question devient encore plus importante lorsqu’une entreprise gère plusieurs dizaines de projets.

Assistants internes, finance, marketing, ressources humaines, service client, développement informatique ou agents IA : les possibilités sont nombreuses.

Les budgets, eux, restent limités.

Les dirigeants doivent donc choisir.

Quel projet faut-il accélérer ? Lequel doit être revu ? Et lequel faut-il arrêter ?

Le coût réel doit aussi entrer dans le calcul.

Les licences ne représentent qu’une partie de la dépense. À cela s’ajoutent les données, l’intégration, la sécurité, la maintenance, le contrôle humain et la formation des équipes.

Julhiet Sterwen s’est notamment penché sur cette question.

Lire l’analyse de Julhiet Sterwen sur la mesure du ROI de l’IA

Pour comprendre comment passer d’un simple gain de productivité à une valeur réellement mesurable, Business Times a interrogé en exclusivité Harmonie Reybaud, directrice Data & IA chez Julhiet Sterwen.

Interview exclusive : Harmonie Reybaud, directrice Data & IA chez Julhiet Sterwen

Business Times — Beaucoup d’entreprises mesurent le succès d’un projet IA avec le temps gagné, la productivité ou le taux d’utilisation. À partir de quel moment un dirigeant peut-il réellement parler de ROI démontré ?

Harmonie Reybaud — Un dirigeant peut parler de ROI démontré lorsqu’il dispose de trois éléments : une preuve d’impact, une traduction financière de cet impact et une vision complète des coûts.

Le piège consiste à passer trop vite d’un indicateur d’usage à un montant en euros.

Le temps gagné, la productivité ou le taux d’utilisation restent utiles. Mais ils ne représentent qu’une première étape.

Le taux d’utilisation montre si les salariés se servent de l’outil. Il ne dit pas encore ce que cet outil produit.

De même, un gain de temps peut montrer une meilleure efficacité. Il ne prouve pas qu’une dépense a disparu.

Un bon score de satisfaction client peut signaler une amélioration du service. En revanche, l’entreprise ne peut parler de revenu supplémentaire que si elle prouve un effet sur les ventes, le panier moyen ou la fidélité.

Mesurer ce que l’IA apporte vraiment

La première étape consiste donc à isoler l’effet propre de l’IA.

Prenons un exemple.

Une entreprise déploie un assistant IA. Quelques mois plus tard, le temps de traitement baisse.

L’IA peut expliquer une partie du résultat. D’autres facteurs peuvent aussi jouer.

L’organisation a peut-être changé. Les volumes ont pu baisser. Les équipes peuvent également avoir gagné en expérience.

La période choisie pour la mesure peut enfin influencer le résultat.

Il faut donc comparer des situations proches.

Selon le projet, on peut utiliser un test A/B, comparer plusieurs groupes ou regarder les résultats avant et après le déploiement.

Le but reste simple : éviter d’attribuer à l’IA un résultat qui vient en réalité d’un autre changement.

Trois façons de créer de la valeur

Il faut ensuite traduire l’impact en valeur économique.

Je distingue trois grandes catégories.

La première concerne les économies réellement réalisées.

Une entreprise peut réduire ses coûts de traitement. Elle peut aussi diminuer les heures supplémentaires ou limiter la sous-traitance.

Dans ce cas, le gain devient mesurable.

Deuxième catégorie : les coûts évités.

L’IA peut, par exemple, réduire les erreurs, les fraudes ou certains incidents.

Le calcul est plus difficile. Il faut donner une valeur à un événement qui ne s’est pas produit.

L’entreprise doit donc rester prudente et expliquer clairement ses hypothèses.

Enfin, il y a les revenus supplémentaires.

Une IA peut améliorer les ventes, permettre de traiter davantage de demandes ou aider à créer un nouveau service.

Là encore, il faut séparer les revenus réellement constatés des revenus seulement espérés.

Tous les bénéfices ne doivent pas être transformés en euros

Certains bénéfices ont une vraie valeur sans produire directement du chiffre d’affaires.

Une meilleure qualité de service en fait partie.

On peut aussi citer la baisse du risque, la réduction des erreurs ou une meilleure protection des données.

Ces effets peuvent être importants pour l’entreprise.

Mais si leur valeur financière ne peut pas être démontrée, mieux vaut ne pas inventer un montant.

Je préfère les conserver comme indicateurs de valeur plutôt que de fabriquer un ROI artificiel.

Cinq preuves avant de généraliser un projet

Avant de déployer un projet à grande échelle, j’exigerais cinq éléments.

Le premier concerne l’utilisation réelle. Qui utilise effectivement l’outil ? Sur quelle partie du travail ?

Le deuxième porte sur le résultat obtenu. Combien de temps l’entreprise gagne-t-elle ? Le taux d’erreur baisse-t-il ? Peut-elle traiter davantage de dossiers ?

Troisième point : la valeur financière. Il faut distinguer les économies, les coûts évités et les revenus supplémentaires.

Il faut ensuite connaître le coût total du projet. Cela comprend la création, l’intégration, les données, la sécurité, les équipements, la maintenance et l’accompagnement des salariés.

Enfin, l’entreprise doit vérifier la qualité de la mesure. Elle a besoin d’un point de départ fiable, de bonnes données et d’une méthode de comparaison solide.

Comparer les projets avec les mêmes règles

Lors d’une mission récente auprès d’un grand groupe d’assurance, nous n’avons pas commencé par chercher un chiffre unique de ROI.

Nous avons d’abord défini une méthode commune.

Les équipes ont harmonisé les définitions et les indicateurs. Le but était de relier l’usage de l’IA, les bénéfices métiers, les gains concrets et les risques.

Nous avons ensuite fixé les règles de calcul et de suivi.

Cette méthode permet d’ajouter une activité, un métier ou un nouveau projet IA sans reconstruire tout le système.

Un comité exécutif peut ainsi comparer plusieurs projets avec les mêmes règles.

Il peut surtout décider où investir davantage, où modifier un projet et quand arrêter les frais.

Business Times — Un salarié qui gagne trente minutes par jour grâce à l’IA ne crée pas forcément trente minutes de valeur supplémentaire. Comment transformer ce gain de productivité en impact économique ?

Harmonie Reybaud — Le temps gagné n’est pas un euro économisé.

C’est d’abord de la capacité libérée.

La première question consiste à vérifier que ces trente minutes existent vraiment.

Un salarié peut déclarer un gain de temps dans une enquête. Cela donne une indication, mais pas encore une preuve.

Les volumes peuvent avoir changé. L’organisation peut aussi avoir évolué.

Pour être fiable, la mesure doit donc comparer des situations proches.

Temps gagné et argent économisé ne sont pas la même chose

Il faut ensuite distinguer la capacité disponible de la valeur réellement créée.

Prenons encore trente minutes gagnées chaque jour.

On peut convertir ce temps en équivalent temps plein. On obtient alors une capacité disponible.

Cela ne signifie pas pour autant que la masse salariale baisse.

Pour créer de la valeur, l’entreprise doit décider ce qu’elle fait de ce temps.

Elle peut absorber davantage de travail sans recruter.

Une autre solution consiste à réduire les heures supplémentaires ou la sous-traitance.

Le temps libéré peut aussi servir à des tâches plus utiles.

Un collaborateur peut ainsi consacrer davantage de temps à l’analyse, au conseil, au contrôle ou à la relation client.

La valeur dépend de l’usage du temps gagné

L’entreprise peut également augmenter sa production ou accélérer un cycle de vente.

Dans ce cas, le gain peut avoir un effet sur la marge ou le chiffre d’affaires.

Mais rien de tout cela ne se produit automatiquement.

L’entreprise doit organiser cette transformation.

Un analyste qui passe moins de temps à collecter des données ne produit pas forcément davantage d’analyses utiles.

Le management doit donc définir ce que le salarié fera du temps gagné.

Une formation peut aussi devenir nécessaire. Les objectifs peuvent également évoluer.

Mesurer la part du gain réellement utilisée

Nous intégrons donc l’usage du temps libéré dès le début du calcul.

La chaîne est assez simple :

gain de temps mesuré → capacité libérée → nouvel usage du temps → résultat concret → valeur financière

Un indicateur devient alors très utile : le taux de captation du gain.

Autrement dit, quelle part du temps gagné a vraiment permis de créer une activité utile, d’éviter un coût ou de produire un revenu ?

C’est cette question qui intéresse une direction financière.

Dire « nous avons gagné trente minutes » ne suffit pas.

La direction veut savoir combien de dépenses ont été évitées.

Elle veut aussi connaître le volume supplémentaire traité.

La baisse d’un risque peut également compter.

Enfin, elle doit savoir si ce temps a réellement créé davantage de valeur.

Réinvestir la valeur créée

Lorsqu’une entreprise arrive à mesurer un gain réel, une autre question apparaît : que faire de cette valeur ?

Elle peut financer de nouveaux projets IA.

Une partie peut aussi servir à la recherche et au développement.

L’entreprise peut renforcer la qualité de ses données.

Elle peut enfin investir dans la formation des salariés.

Le ROI ne sert alors plus seulement à justifier une dépense.

Il devient un outil pour décider où investir l’argent disponible.

Business Times — Les entreprises prennent-elles suffisamment en compte le coût réel de l’IA ? Quels coûts oublient-elles le plus souvent ?

Harmonie Reybaud — Pas toujours.

Le premier problème vient d’une confusion fréquente.

Le prix de l’IA n’est pas son coût total.

Une licence, un abonnement ou le prix des requêtes adressées à un modèle ne représente qu’une partie de la dépense.

Les coûts commencent avant le lancement

Avant la mise en service, l’entreprise doit préparer les données.

Elle doit aussi connecter l’outil à son système informatique.

La sécurité, les tests et le respect des règles représentent également des coûts.

Il faut aussi préparer les salariés au changement.

Une fois l’outil lancé, d’autres dépenses apparaissent.

L’entreprise doit financer les serveurs, le stockage, le suivi du système, la maintenance et l’assistance.

Les modèles et les données doivent aussi être mis à jour.

Certains projets demandent enfin une vérification humaine régulière.

Le passage du prototype à la production coûte cher

L’un des coûts les plus souvent sous-estimés apparaît entre le prototype et la mise en production.

Un prototype peut fonctionner avec quelques utilisateurs.

Un outil utilisé à grande échelle doit répondre à beaucoup plus de contraintes.

Il faut gérer les accès et la sécurité.

La fiabilité du système doit aussi être garantie.

En cas de problème, l’entreprise doit pouvoir comprendre ce qui s’est passé et intervenir rapidement.

Toutes ces étapes ont un coût.

Les outils de programmation assistée par IA rendent ce sujet encore plus visible.

Ils permettent de créer des prototypes beaucoup plus vite.

En revanche, ils ne font pas disparaître les besoins de sécurité, de qualité ou de maintenance.

L’entreprise peut donc économiser au début, puis dépenser davantage pour rendre l’outil vraiment fiable.

Le coût des erreurs compte aussi

Un autre coût reste souvent invisible : celui des erreurs.

Une IA peut faire gagner du temps tout en créant davantage de vérifications.

Elle peut aussi produire des réponses incorrectes ou générer du travail supplémentaire.

Dans certains cas, il vaut donc mieux mesurer le coût d’un résultat fiable.

Combien coûte un dossier correctement traité ?

Quel est le coût d’une analyse réellement utilisable ?

Combien faut-il dépenser pour résoudre une demande client jusqu’au bout ?

Ces indicateurs sont parfois plus utiles que le simple prix d’une requête adressée à un modèle.

Cybersécurité et usages non contrôlés

La cybersécurité représente aussi un coût important.

L’IA peut exposer des données ou créer une dépendance envers certains services externes.

L’entreprise doit également gérer les droits d’accès et surveiller les usages.

Le Shadow AI, c’est-à-dire l’usage d’outils IA sans validation de l’entreprise, ajoute un autre risque.

Des salariés peuvent, par exemple, utiliser leurs propres services.

Cette situation peut multiplier les abonnements et compliquer la sécurité.

Elle rend aussi le suivi des usages plus difficile.

Business Times a déjà consacré une analyse à ce phénomène.

Formation et accompagnement

Il faut également intégrer le coût de la formation.

Un outil performant peut produire peu de valeur si les salariés l’utilisent mal.

L’accompagnement compte donc autant que la technologie.

Selon les engagements de l’entreprise, la consommation d’énergie et l’impact sur l’environnement peuvent aussi entrer dans le calcul.

La sécurité des données reste tout aussi importante.

La CNIL rappelle que les entreprises doivent penser à la sécurité dès la conception d’un système d’IA.

Consulter les recommandations de la CNIL sur la sécurité des systèmes d’IA

En revanche, je distingue le coût du projet du risque de ne pas investir.

Une entreprise peut craindre de prendre du retard face à ses concurrents.

Ce risque compte dans une décision.

Mais il ne faut pas l’ajouter artificiellement au calcul pour améliorer le ROI.

Business Times — Pour un dirigeant confronté à plusieurs dizaines de cas d’usage, comment choisir les projets à financer ?

Harmonie Reybaud — Je ne commencerais pas par classer quarante cas d’usage.

Je commencerais par en éliminer.

Beaucoup d’entreprises rencontrent le même problème.

Chaque métier défend son propre projet.

Très vite, tous les projets semblent stratégiques, prioritaires et prometteurs.

Au final, l’entreprise accumule les prototypes.

Mais elle ne prend pas forcément de vraies décisions d’investissement.

Quatre questions avant d’investir

Nous recommandons donc un premier filtre simple.

Il repose sur quatre questions.

La première concerne la valeur.

Le projet répond-il à un vrai besoin de l’entreprise ?

Peut-il réduire un coût, augmenter un revenu, limiter un risque ou améliorer le service ?

Deuxième critère : la possibilité de mesurer le résultat.

L’entreprise dispose-t-elle d’un indicateur clair ?

Peut-elle comparer la situation avant et après ?

Dispose-t-elle de données suffisantes ?

Troisième point : la faisabilité.

Les données sont-elles disponibles ?

Le système informatique peut-il accueillir la solution ?

Les règles de sécurité permettent-elles son utilisation ?

Enfin, il faut regarder la capacité de l’entreprise à changer.

Les équipes peuvent-elles adapter leurs méthodes de travail ?

Le processus est-il assez stable ?

Les salariés pourront-ils vraiment utiliser la solution ?

Accélérer, retravailler ou arrêter

Si l’entreprise ne peut pas répondre à l’une de ces questions, elle ne doit pas déployer le projet à grande échelle dans son état actuel.

Cela ne veut pas dire qu’elle doit toujours l’abandonner.

Un projet peut avoir beaucoup de valeur, mais manquer de bonnes données.

Dans ce cas, l’entreprise peut commencer par améliorer son système d’information.

Après ce premier tri, elle peut réaliser une analyse plus complète.

Elle étudie alors la valeur potentielle, les données, la technique, la difficulté du projet et son coût total.

Trois décisions deviennent possibles.

Accélérer, lorsque la valeur paraît importante et que le projet reste réalisable.

Retravailler, lorsqu’un problème bloque le projet mais que son potentiel justifie un nouvel effort.

Arrêter, lorsque la valeur reste trop faible ou que la mise en œuvre semble trop difficile.

Savoir arrêter un projet fait partie d’une stratégie IA mature.

Regarder l’ensemble des projets

Il faut aussi observer tous les projets ensemble.

Dix projets moyens peuvent mobiliser les mêmes équipes data, informatique et sécurité.

Au final, ils peuvent coûter plus cher que deux projets réellement utiles et déployés à grande échelle.

À l’inverse, certains investissements peuvent servir à plusieurs projets.

Une meilleure qualité des données peut profiter à plusieurs métiers.

Une base technique commune peut également réduire les coûts.

Même chose pour la sécurité ou les outils de suivi.

Une belle démonstration ne suffit pas

Lors d’une mission récente pour un éditeur de logiciels, nous avons travaillé sur un ensemble d’agents IA.

Nous ne pouvions pas juger les projets uniquement sur la qualité de leurs démonstrations.

Il fallait aussi regarder le produit, les données, la sécurité et l’organisation.

Le prix et la façon de vendre la solution entraient également dans l’analyse.

Les règles à respecter faisaient aussi partie du travail.

Cette méthode permet de faire la différence entre un agent impressionnant lors d’une démonstration et un outil vraiment capable de créer de la valeur.

Les critères de réussite doivent donc exister dès le début du projet.

Ils ne doivent pas apparaître seulement au moment de décider d’un déploiement général.

Au final, un dirigeant n’a pas besoin de savoir quel projet semble le plus spectaculaire.

Il doit surtout savoir quel euro investi crée le plus de valeur, avec quel risque et avec quelles ressources.

Le ROI de l’IA devient un outil de décision

Mesurer le ROI de l’IA revient finalement à changer de question.

Il ne suffit plus de demander si les salariés utilisent l’intelligence artificielle.

Compter les minutes gagnées ne suffit pas non plus.

L’entreprise doit savoir ce qu’elle transforme réellement.

Un gain de temps peut créer de la capacité.

Cette capacité peut ensuite produire une économie, davantage de revenus ou une meilleure qualité de service.

Mais ces étapes ne sont jamais automatiques.

C’est ce qui sépare un bénéfice possible d’une valeur réellement créée.

Cette méthode change aussi la façon de financer les projets.

Lorsqu’une direction sait ce qu’un outil lui rapporte, elle peut décider où réinvestir.

Elle peut financer un autre projet IA.

Elle peut renforcer son système de données.

La formation ou la recherche peuvent aussi recevoir une partie de cette valeur.

Le ROI devient alors plus qu’un simple chiffre.

Il aide les dirigeants à comparer les projets et à choisir ceux qui méritent leurs ressources.

Business Times avait déjà souligné le décalage entre la promesse économique de l’intelligence artificielle et sa réalité dans les entreprises.

Le projet le plus impressionnant n’est donc pas forcément le meilleur investissement.

Pour un dirigeant, la question devient beaucoup plus concrète : combien de valeur l’entreprise peut-elle vraiment démontrer pour chaque euro investi ?

Ce qu’il faut retenir

Le temps gagné ne constitue pas encore un ROI. Il crée d’abord une capacité supplémentaire.
Un fort taux d’utilisation ne prouve pas la création de valeur. L’entreprise doit mesurer les résultats obtenus.
Le ROI doit isoler l’effet réel de l’IA. Une réorganisation ou une variation d’activité peut aussi expliquer les progrès.
Le coût de l’IA dépasse largement celui des licences. Il faut ajouter les données, l’intégration, la sécurité, la maintenance et la formation.
Le passage du prototype à la production peut changer l’équation économique.
Tous les projets ne doivent pas être poursuivis. Certains doivent être accélérés, d’autres retravaillés ou arrêtés.
Le ROI devient un outil de décision. Il permet de choisir où investir et où réinvestir la valeur créée.

Sources principales

Entretien exclusif accordé à Business Times par Harmonie Reybaud, directrice Data & IA chez Julhiet Sterwen. Réponses transmises à la rédaction.

Julhiet Sterwen
La mesure du ROI de l’IA doit être totalement repensée

CNIL
Garantir la sécurité du développement d’un système d’IA

Business Times
IA en entreprise : 76 % des cadres gagnent en productivité

ROI de l’IA : les entreprises savent-elles vraiment mesurer la valeur créée ?