Limites, biais et enjeux d’une IA

L'essentiel

Une IA impressionne, mais elle n'est ni parfaite ni neutre. D'abord ses limites : elle peut donner une réponse fausse tout en ayant l'air très sûre d'elle, parce qu'elle calcule des probabilités sans comprendre le sens. Elle échoue aussi sur des situations trop différentes de ce qu'elle a vu à l'entraînement.

Ensuite, le plus important : le biais. Un biais, c'est une erreur qui revient toujours dans le même sens, pas un hasard. Il vient surtout des données d'entraînement.

Si ces données ne représentent pas tout le monde, ou si elles contiennent des préjugés humains, l'IA les apprend et les reproduit — parfois même en les amplifiant. Exemple : une IA de reconnaissance de visages entraînée surtout sur un type de visages reconnaît beaucoup moins bien les autres. Autre exemple : une IA qui trie des candidatures à partir d'anciennes décisions injustes rejette les mêmes profils qu'avant.

Le problème, c'est l'effet de l'usage : si on fait confiance aveuglément à une IA biaisée, on prend des décisions injustes pour de vraies personnes. La leçon : toujours garder un esprit critique et vérifier ce que dit une IA. Une IA aide à décider, elle ne décide pas de tout à notre place.

Comprendre

C'est le cœur de ce que le BO 2024 nomme sur l'IA : « l'étude du biais et de l'effet de l'usage d'une intelligence artificielle ». Deux notions doivent être construites. Les limites d'abord : une IA n'a pas de compréhension du sens ; elle produit une réponse probable et peut donc se tromper, parfois avec assurance ; elle est peu fiable sur des cas très éloignés de ses données d'entraînement ; elle n'a pas de bon sens ni de connaissance du contexte comme un humain.

Le biais ensuite, qui est la notion centrale : un biais est une déformation systématique des résultats d'une IA — une erreur qui se répète toujours dans le même sens, et non un accident isolé. Son origine principale est dans les données d'entraînement : des données non représentatives (elles sur-représentent certains cas et en oublient d'autres) rendent l'IA plus performante pour les cas fréquents et défaillante pour les autres ; des données porteuses de préjugés humains (issues de décisions passées injustes, de stéréotypes présents dans les textes ou les images) sont apprises telles quelles par le modèle, qui les reproduit et peut les amplifier à grande échelle. Vient enfin l'effet de l'usage : utiliser une IA biaisée a des conséquences réelles sur des personnes — reconnaissance qui fonctionne mal pour une partie de la population, tri de dossiers défavorable à certains profils, recommandations qui enferment dans une bulle.

La conclusion attendue est un principe d'esprit critique : une IA doit être considérée comme une aide, pas comme une vérité ; il faut vérifier ses réponses, connaître ses limites, et ne pas lui déléguer aveuglément des décisions importantes. Ce concept mobilise directement les acquis précédents (le rôle des données d'entraînement) et prépare le concept 007 sur les enjeux de société.

Le cours

Après avoir vu tout ce qu'une intelligence artificielle sait faire, il faut regarder l'autre face : ce qu'elle ne sait pas faire, et ce qui peut mal se passer. Le programme de technologie insiste précisément là-dessus, en demandant « l'étude du biais et de l'effet de l'usage d'une intelligence artificielle ». C'est un sujet à la fois technique et citoyen.

Commençons par les limites générales d'une IA. Une IA ne comprend pas le sens de ce qu'elle traite : elle calcule des probabilités à partir d'exemples. Elle peut donc se tromper — et, fait déroutant, se tromper avec assurance, en présentant une réponse fausse comme si elle était sûre.

Elle est particulièrement peu fiable sur des situations très différentes de ce qu'elle a rencontré pendant son entraînement : un cas rare, inhabituel, hors de son expérience, la met en difficulté. Enfin, elle n'a ni bon sens, ni connaissance du contexte, ni conscience de ses propres erreurs : là où un humain douterait, elle répond quand même. Ces limites imposent déjà une règle : ne jamais prendre la réponse d'une IA pour argent comptant.

Venons-en à la notion centrale : le biais. Un biais n'est pas une erreur au hasard. C'est une déformation systématique des résultats : l'IA se trompe toujours dans le même sens, au détriment des mêmes cas ou des mêmes personnes.

D'où vient un biais ? Le plus souvent, des données d'entraînement — on retrouve ici l'idée que l'IA vaut ce que valent ses données. Deux mécanismes principaux.

Premier mécanisme : des données non représentatives. Si les exemples sur-représentent certains cas et en négligent d'autres, l'IA devient performante pour les premiers et défaillante pour les seconds. Une IA de reconnaissance de visages entraînée surtout sur un type de visages reconnaît nettement moins bien les personnes des groupes peu présents dans ses données.

Second mécanisme : des données porteuses de préjugés humains. Nos données reflètent parfois des décisions passées injustes ou des stéréotypes présents dans les textes et les images. L'IA, qui apprend sans juger, absorbe ces préjugés et les reproduit — parfois en les amplifiant, car elle applique la même règle biaisée à très grande échelle et très vite.

Une IA entraînée à trier des candidatures à partir d'embauches passées défavorables à certains profils reproduira cette injustice. Reste le point le plus important pour le citoyen : l'effet de l'usage d'une IA. Un biais n'est pas qu'un défaut technique abstrait ; dès qu'on utilise l'IA pour décider, il touche de vraies personnes.

Une reconnaissance qui marche mal pour une partie de la population peut conduire à des erreurs d'identification. Un tri automatique biaisé peut écarter injustement des dossiers, des candidatures, des demandes. Des recommandations toujours orientées dans le même sens peuvent enfermer chacun dans une « bulle » et renforcer des stéréotypes.

L'usage massif d'une IA biaisée diffuse donc l'injustice, largement et discrètement. Que faut-il en conclure ? Non pas qu'il faut rejeter l'IA, mais qu'il faut l'utiliser avec esprit critique.

Une IA est une aide à la décision, pas une vérité. Trois réflexes en découlent : vérifier ses réponses au lieu de les croire sur parole, surtout quand l'enjeu est important ; connaître ses limites et se demander sur quelles données elle a appris ; ne pas lui déléguer aveuglément des décisions qui engagent des personnes. Comprendre le biais et l'effet de son usage, c'est exactement ce qui permet de rester maître de l'outil au lieu de le subir — et c'est ce qui ouvre la question, plus large, des enjeux de l'IA pour la société.

Les erreurs fréquentes

Croire qu'une IA est neutre et objective, donc que ses réponses sont forcément justes et sans parti pris.

Une IA n'est pas neutre : elle reproduit ce que contiennent ses données d'entraînement, y compris leurs déséquilibres et les préjugés humains. Ses résultats peuvent donc être systématiquement déformés (biaisés). Il faut les vérifier, pas les croire d'office.

Confondre un biais avec une simple erreur due au hasard.

Une erreur au hasard va dans tous les sens ; un biais est une déformation systématique, toujours dans le même sens, au détriment des mêmes cas ou des mêmes personnes. Le biais vient surtout de données non représentatives ou porteuses de préjugés.

Penser que le biais est juste un défaut technique sans conséquence réelle.

L'effet de l'usage d'une IA biaisée touche de vraies personnes : mauvaise identification d'une partie de la population, tri injuste de candidatures ou de dossiers, enfermement dans une bulle. Un biais utilisé à grande échelle diffuse l'injustice.

Tu maîtrises la notion si…

• Identifier des situations où une IA se trompe ou reproduit un biais, et définir un biais comme une déformation systématique des résultats.
• Relier l'origine d'un biais aux données d'entraînement (non représentatives ou porteuses de préjugés) et décrire l'effet de l'usage d'une IA biaisée sur des personnes.
• Justifier la nécessité de vérifier les réponses d'une IA et de garder un esprit critique plutôt que de lui déléguer aveuglément une décision.

Vérifie que tu as compris

1. Qu'est-ce qu'un « biais » d'une intelligence artificielle ?

   Réponse Une déformation systématique de ses résultats, venue surtout de ses données d'entraînement

   Un biais est une erreur qui revient toujours dans le même sens ; il provient surtout de données non représentatives ou porteuses de préjugés.

2. Une IA de tri de candidatures écarte presque toujours le même profil de personnes. D'où vient le plus souvent ce biais ?

   Réponse De ses données d'entraînement (non représentatives ou porteuses de préjugés)

   L'IA apprend de ses données : si elles reflètent d'anciennes décisions injustes, elle reproduit ce préjugé de façon systématique.

3. Une IA te donne une réponse sur un ton très sûr. Que faut-il faire ?

   Réponse Garder un esprit critique et vérifier la réponse à une source fiable

   Une IA peut se tromper avec assurance : c'est une aide, pas une vérité. On vérifie ses réponses, surtout quand l'exactitude compte.