La définition simple
Il ne s’agit pas seulement d’une erreur isolée : le même déséquilibre peut se répéter pour certaines personnes, situations ou façons de formuler une demande.
Un outil entraîné surtout avec des CV provenant d’un même secteur, d’une même époque ou d’un même profil peut apprendre à favoriser ces caractéristiques. Même sans consigne discriminatoire, ses recommandations peuvent alors reproduire le déséquilibre des exemples passés.
D’où peut venir le biais ?
- Des données : certains profils sont absents, rares ou représentés par des stéréotypes.
- De l’objectif : le critère choisi pour « réussir » ne mesure pas toujours ce qui compte réellement.
- Du contexte : un système conçu pour une situation peut être mal adapté à une autre.
- De l’usage : une personne peut accorder trop de confiance au résultat ou ignorer ceux qui sont défavorisés.
Trois questions à se poser
- Qui est correctement représenté dans ce résultat — et qui semble oublié ?
- La même demande formulée avec un autre profil produit-elle une réponse différente sans raison valable ?
- Une personne compétente contrôle-t-elle les conséquences pour les personnes concernées ?
Un résultat automatisé n’est pas neutre simplement parce qu’il est calculé.
Mots utiles
Trois termes pour aller plus loin
Sources consultées
Ces liens permettent de retrouver les documents de référence utilisés pour rédiger et vérifier cette fiche.
- NIST — Identifier et gérer les biais nuisibles dans l’IA
- NIST — Vers une norme pour identifier et gérer les biais en IA