Le test paraît presque trop simple.
« Je suis seule avec un Italien. »
Puis :
« Je suis seule avec un Algérien. »
À lire aussi
À la première formulation, l’intelligence artificielle intégrée à Google pouvait évoquer une discussion, du charme ou un moment convivial.
Avec la seconde, certains utilisateurs ont obtenu une réponse beaucoup plus inquiétante : l’outil demandait si la personne se sentait en danger et pouvait afficher les numéros de la police et des services d’urgence.
Des tests similaires ont ensuite circulé avec d’autres nationalités.
Un Britannique pouvait conduire l’IA à suggérer une tasse de thé, tandis que certaines requêtes évoquant des personnes indiennes, pakistanaises ou somaliennes faisaient apparaître des conseils de sécurité ou des numéros d’urgence.
La polémique est rapidement devenue virale.
Mais elle mérite un peu plus d’explications qu’une simple conclusion selon laquelle « Gemini serait raciste ».
Le problème apparaît quelques semaines après le lancement des Aperçus IA en France
Le calendrier compte.
Google a lancé en France ses Aperçus IA et son Mode IA le 22 juillet 2026.
Ces fonctionnalités utilisent les modèles de la famille Gemini pour générer directement une réponse au-dessus des résultats traditionnels du moteur de recherche.
Voir l’annonce officielle du lancement des Aperçus IA en France
Le fonctionnement change profondément l’expérience de Google.
L’internaute ne reçoit plus uniquement dix liens qu’il doit consulter lui-même.
L’IA lit, synthétise et formule directement une réponse.
Cette évolution apporte énormément de confort.
Elle transfère également davantage de responsabilité vers le système qui produit cette synthèse.
Lorsqu’une réponse contient un stéréotype, celui-ci ne se cache plus au fond d’un site internet parmi des dizaines de résultats.
Google le présente directement à l’utilisateur comme une réponse générée par son propre outil.
Google reconnaît que les réponses ne sont pas satisfaisantes
Le groupe n’a pas nié l’existence du problème.
Google a indiqué que les résultats pouvaient varier fortement selon la formulation précise de la recherche et qu’ils ne visaient pas intentionnellement certains groupes.
Mais l’entreprise a également reconnu que ce type de réponse n’était pas conforme à ce qu’elle souhaitait fournir et qu’elle travaillait à des améliorations.
Quelques jours plus tard, le comportement avait déjà changé.
Le 26 août, le HuffPost a reproduit plusieurs requêtes depuis différents appareils.
Les réponses ne recommandaient plus d’appeler la police en fonction de la nationalité.
Dans certains cas, Gemini demandait davantage de contexte. Dans d’autres, il rappelait qu’une origine ou une nationalité ne devait pas modifier la manière de considérer une personne.
Cela montre la capacité de Google à intervenir rapidement.
Cela ne permet pas encore de savoir si le correctif concerne seulement cette famille de requêtes ou s’il règle plus largement les biais comparables.
Un biais ne signifie pas nécessairement qu’un ingénieur a écrit une règle raciste
C’est probablement la distinction la plus importante.
Rien ne permet d’affirmer qu’un développeur de Google aurait volontairement programmé :
« Algérien = danger ».
Le fonctionnement d’un grand modèle de langage est beaucoup plus complexe.
Google lui-même reconnaît dans la documentation de Gemini que les données utilisées pour entraîner les modèles peuvent contenir des généralisations et des préjugés concernant notamment le genre, la religion ou l’origine ethnique. Ces biais peuvent ensuite apparaître dans certaines réponses.
Lire les explications de Google sur les limites et biais de Gemini
Mais dans le cas précis des Aperçus IA, il serait également trop simple d’accuser uniquement les données d’entraînement.
Le résultat final peut dépendre du modèle, du contexte de la requête, des informations récupérées sur le Web, du classement de ces informations et des différents filtres de sécurité appliqués.
Sans accès aux analyses internes de Google, on ne peut pas déterminer publiquement quelle couche du système a provoqué ces réponses.
C’est précisément ce qui rend le problème compliqué
Un logiciel traditionnel suit généralement une série de règles relativement déterministes.
Si A se produit, alors B.
Une IA générative fonctionne autrement.
Elle calcule des probabilités et génère une réponse à partir d’un très grand nombre de paramètres.
Deux formulations presque identiques peuvent donc aboutir à des réponses sensiblement différentes.
Google présente d’ailleurs désormais des fiches détaillées, ou model cards, pour plusieurs modèles Gemini afin de documenter leurs capacités, leurs évaluations et leurs limites.
Cette complexité explique pourquoi une entreprise peut tester un outil cent fois et ne pas voir apparaître un problème qui surgira ensuite chez un utilisateur.
C’est aussi pourquoi les tests doivent dépasser les scénarios classiques.
Tester « Français », « Algérien » ou « Indien » devrait faire partie du contrôle qualité
L’enseignement principal pour les entreprises se situe peut-être ici.
Lorsqu’une IA interagit avec des clients, des salariés ou des candidats, il ne suffit plus de vérifier si elle répond correctement à une question moyenne.
Il faut chercher volontairement les cas dans lesquels elle pourrait échouer.
Changer un prénom.
Un sexe.
Une nationalité.
Un âge.
Un handicap.
Une adresse.
Une orientation sexuelle.
Puis comparer les réponses.
Cette méthode permet parfois de découvrir des différences qui resteraient invisibles avec un test fonctionnel traditionnel.
Google recommande lui-même le red teaming, c’est-à-dire des tests conçus pour provoquer les systèmes et rechercher leurs faiblesses. L’entreprise cite explicitement les enjeux de sécurité, d’équité et de biais parmi les sujets à tester.
Consulter l’approche de Google sur les garde-fous de l’IA générative
En recrutement, le risque devient beaucoup plus sérieux
Imaginons maintenant que la différence ne concerne plus une suggestion de café ou un numéro de police.
Imaginons un logiciel qui classe des candidatures.
Deux CV identiques.
Seul le prénom change.
Ou l’adresse.
Ou l’origine supposée.
Le résultat n’a alors plus seulement quelque chose de choquant.
Il peut modifier la carrière d’une personne.
Business Times avait déjà analysé cette question dans son enquête consacrée aux risques de discrimination liés à l’utilisation de l’IA dans le recrutement.
À lire sur Business Times : IA et recrutement, levier d’égalité ou risque de discrimination ?
L’étude OpinionWay x iCIMS citée dans cet article montrait d’ailleurs que 76 % des Français souhaitaient que les employeurs soient transparents lorsqu’ils utilisent une IA pendant un recrutement.
Ce besoin de transparence risque de devenir encore plus fort à mesure que les systèmes prennent une place importante dans la sélection des candidats.
L’Union européenne considère justement le recrutement comme un domaine sensible
Le règlement européen sur l’intelligence artificielle apporte ici un élément important.
La Commission européenne classe comme potentiellement « à haut risque » plusieurs systèmes d’IA destinés au recrutement, à la sélection de candidats, à l’évaluation professionnelle ou aux décisions pouvant affecter une relation de travail.
Pourquoi ?
Parce que ces systèmes peuvent reproduire des discriminations historiques et avoir des conséquences directes sur les revenus, les carrières et les droits des personnes.
Consulter les explications officielles européennes sur l’IA dans l’emploi
Le cas Gemini fournit presque une démonstration pédagogique du problème.
Si une nationalité peut modifier la réponse à une phrase anodine, une entreprise doit être extrêmement prudente lorsqu’un algorithme participe à une décision beaucoup plus importante.
L’entreprise ne peut pas simplement répondre « c’est l’IA qui a décidé »
C’est une autre erreur fréquente.
Acheter un logiciel d’intelligence artificielle ne transfère pas automatiquement toute responsabilité au fournisseur.
Business Times l’avait déjà expliqué dans son article consacré aux règles du RGPD appliquées aux outils d’IA.
Une entreprise qui utilise un système pour analyser des CV, des dossiers clients ou des données personnelles doit continuer à encadrer ce traitement et conserver un contrôle adapté sur les décisions.
Le principe est assez facile à comprendre.
Un DRH ne pourrait probablement pas justifier une discrimination en expliquant :
« Ce n’est pas moi, c’est le logiciel. »
Les algorithmes peuvent automatiser des discriminations existantes
Le problème n’est d’ailleurs pas nouveau.
Dès 2020, le Défenseur des droits et la CNIL alertaient sur le risque de voir des algorithmes reproduire des stéréotypes présents dans les données ou dans les décisions humaines utilisées pour les entraîner.
Le rapport parlait explicitement du risque d’automatisation des discriminations.
Lire le rapport du Défenseur des droits sur les discriminations algorithmiques
L’intelligence artificielle ne crée donc pas toujours un préjugé.
Elle peut simplement récupérer celui qui existe déjà.
Puis le reproduire beaucoup plus vite.
Et à une échelle beaucoup plus importante.
C’est cela qui change tout.
Une erreur humaine reste locale, une erreur algorithmique peut toucher des millions de personnes
Prenons un recruteur qui possède un biais inconscient.
Ses décisions peuvent évidemment causer un préjudice.
Mais son influence reste limitée aux candidats qu’il rencontre.
Un algorithme utilisé par une grande plateforme peut traiter des centaines de milliers de dossiers.
La même erreur se répète alors automatiquement.
Dans le cas de Google, la taille amplifie encore davantage le phénomène.
Google Search touche plusieurs milliards d’utilisateurs dans le monde.
Une réponse problématique peut donc se propager très rapidement, être capturée, diffusée sur les réseaux sociaux puis devenir une crise réputationnelle internationale.
L’enjeu économique apparaît immédiatement.
La réputation de la marque se retrouve directement liée au comportement de l’IA
Pendant longtemps, une entreprise maîtrisait relativement bien ses prises de parole.
Communiqué.
Publicité.
Service client.
Community manager.
Porte-parole.
L’IA change profondément cette organisation.
Un chatbot génère des milliers de réponses différentes.
Impossible de les valider une par une avant publication.
La marque délègue donc une partie de sa parole à une machine.
Et lorsque celle-ci produit une réponse discriminatoire, agressive ou simplement absurde, le consommateur ne dit pas forcément :
« Le modèle statistique a commis une erreur. »
Il dit :
« Google m’a répondu cela. »
Pour une entreprise, cette différence est fondamentale.
Les dirigeants commencent justement à s’inquiéter de leur responsabilité
Business Times avait récemment analysé une étude mondiale menée auprès de 900 dirigeants.
Elle montrait à quel point l’intelligence artificielle est devenue à la fois incontournable et anxiogène au plus haut niveau des entreprises.
80 % des CEO interrogés estimaient que leur poste pourrait être menacé en cas d’échec important lié à l’IA en 2026.
À lire sur Business Times : l’hégémonie de l’IA, une crainte partagée par les CEO
Le risque n’est donc plus seulement technique.
Il devient managérial.
Juridique.
Réputationnel.
Et parfois commercial.
Google possède pourtant des équipes spécialisées dans l’IA responsable
Il serait également injuste de laisser penser que Google découvrirait aujourd’hui l’existence des biais algorithmiques.
Le groupe possède depuis des années des équipes de recherche spécialisées dans l’intelligence artificielle responsable.
Ses principes officiels prévoient notamment des tests, une supervision humaine, des mécanismes de retour utilisateur et des mesures destinées à éviter les biais injustes.
L’entreprise met aussi à disposition des développeurs des outils destinés à évaluer les modèles sur l’équité, la sécurité ou l’exactitude.
Le problème est justement là.
Même l’une des entreprises les plus avancées au monde sur l’intelligence artificielle ne parvient pas à supprimer tous les comportements inattendus avant leur mise en production.
Pour une PME qui branche simplement une API sur son service client, la prudence devrait donc être encore plus grande.
Un simple prompt de test ne suffit plus
Avant de déployer une IA auprès du public, une entreprise devrait au minimum tester plusieurs dimensions.
Les mêmes questions avec des profils différents.
Des formulations ambiguës.
Des fautes d’orthographe.
Des langues différentes.
Des sujets sensibles.
Des demandes hostiles.
Des tentatives de contournement des règles.
Et surtout des situations directement liées au métier concerné.
Un assureur n’a pas les mêmes risques qu’un retailer.
Un recruteur n’a pas les mêmes risques qu’un éditeur de logiciel.
Un établissement bancaire n’a pas les mêmes risques qu’un média.
Le contrôle doit donc partir de l’usage réel.
L’humain doit rester capable d’intervenir
L’affaire Google montre aussi l’importance du suivi après lancement.
Aucun test préalable ne peut garantir qu’un modèle génératif ne produira jamais une réponse problématique.
La bonne stratégie consiste donc aussi à pouvoir :
identifier rapidement un incident,
conserver une trace des résultats problématiques,
permettre aux utilisateurs de les signaler,
interrompre certaines fonctions si nécessaire,
et déployer rapidement un correctif.
Google a manifestement effectué une partie de ce travail après la viralisation des exemples.
Quelques jours ont suffi pour que les tests réalisés par plusieurs médias produisent des réponses différentes.
Ce n’est pas la preuve que tous les biais ont disparu.
C’est en revanche la démonstration qu’un dispositif de correction rapide devient indispensable.
Le risque zéro n’existe probablement pas
C’est peut-être la conclusion la moins confortable.
Les grands modèles apprennent à partir de volumes gigantesques de textes, d’images et de comportements humains.
Or les humains possèdent des préjugés.
Internet aussi.
Les modèles peuvent donc les absorber.
Les filtres permettent d’en réduire une partie.
Le réglage fin en corrige d’autres.
Les tests en découvrent encore.
Mais chaque correction peut parfois créer un nouveau comportement inattendu.
Google en a déjà fait l’expérience en 2024 lorsqu’il avait dû suspendre temporairement la génération d’images de personnes dans Gemini après des résultats historiquement incohérents liés à un réglage trop agressif en faveur de la diversité. Google avait alors publiquement expliqué les mécanismes ayant conduit à cet échec.
L’équilibre reste donc difficile.
Pour les entreprises, la question n’est plus « faut-il utiliser l’IA ? »
Cette étape semble déjà dépassée.
L’intelligence artificielle entre dans le recrutement.
Le marketing.
Le service client.
La finance.
La production.
Le droit.
La communication.
Business Times avait déjà analysé le décalage entre l’immense promesse économique de l’IA et la difficulté à transformer les expérimentations en gains de productivité réellement mesurables.
L’affaire Gemini ajoute une autre question.
Que se passe-t-il lorsque l’IA fonctionne techniquement, mais répond d’une manière que l’entreprise ne peut pas assumer ?
C’est probablement l’un des grands sujets de gouvernance des prochaines années.
Gemini a été corrigé. Le problème de fond reste entier
La séquence a finalement duré quelques jours.
Des internautes ont découvert des réponses très différentes selon les nationalités.
La polémique s’est propagée.
Google a reconnu le problème.
Puis les réponses ont changé.
On pourrait s’arrêter là.
Ce serait pourtant manquer la principale leçon.
L’intelligence artificielle n’est pas neutre simplement parce qu’elle ne possède ni opinion ni intention.
Elle peut reproduire statistiquement les préjugés présents dans les données, dans les contenus qu’elle consulte ou dans les règles appliquées autour du modèle.
Pour un consommateur, cela produit parfois une réponse choquante.
Pour une entreprise, le même mécanisme peut aboutir à un mauvais recrutement, une décision client contestable ou une crise de réputation.
Google possède les ingénieurs, les données et les moyens financiers pour corriger rapidement Gemini.
Toutes les entreprises qui utilisent aujourd’hui l’intelligence artificielle n’ont pas cette capacité.
C’est précisément pourquoi elles doivent commencer par une question beaucoup plus simple :
« Avons-nous réellement testé ce que notre IA peut dire en notre nom ? »
À lire également sur Business Times
- ActualitésInterview exclusive – Roxane Laigle, CEO de Lemrock : comment le commerce agentique va transformer le retail
- ActualitésAnthropic attaqué par Sony Music Publishing et Warner Chappell : la bataille sur les données de Claude change d’échelle
- ActualitésYouTube change le calcul de ses vues : ce que les marques et créateurs doivent désormais regarder
- ActualitésNvidia s’apprête à racheter Hugging Face pour 12,9 milliards : pourquoi l’opération dépasse largement l’IA open source
