Biais des LLM : quand l’IA perpétue ce que la loi interdit ; l’exemple des castes indiennes.
Dhiraj Singha, sociologue indien d'origine modeste, utilise ChatGPT pour optimser sa candidature à un poste.

Antoine HeftlerCo-fondateur

Dhiraj Singha, sociologue indien d'origine modeste, utilise ChatGPT pour optimser sa candidature à un poste. Résultat ? Le modèle remplace son nom, "Singha", par "Sharma" — un patronyme associé aux castes privilégiées.
Un détail technique ? Non. Un exemple frappant de la façon dont les LLM reproduisent — et amplifient — des discriminations pourtant interdites par la loi en Inde.
Une enquête menée par des chercheurs de Harvard et de l’IIT Mumbai (citée dans le MIT Technology Review) montre que GPT-5 associe les Dalits à des stéréotypes dégradants (« impurs », « criminels ») dans 76 % des cas. Pire : Sora, le générateur de vidéos d’OpenAI, illustre la requête « un comportement dalit » par des images de dalmatiens.
Des erreurs ? Non. La preuve que les données d’entraînement des LLM regorgent de préjugés sociaux, même là où la société tente de les éradiquer.
Pourquoi c’est inquiétant ? 1️⃣ Aucun outil standard (comme le benchmark BBQ, utilisé pour évaluer les biais de genre ou de race) ne teste les discriminations liées à la caste. 2️⃣ Les modèles open-source, massivement adoptés en Inde pour leur coût réduit, aggravent encore ces biais (étude de l’Université de Washington). 3️⃣ Résultat : des millions d’utilisateurs interagissent avec des systèmes qui renforcent des stéréotypes illégaux, sans même le savoir.
L’article passionnant du MIT Technology Review ( https://www.technologyreview.com/2025/10/01/1124621/openai-india-caste-bias/) décortique ce phénomène. À lire pour comprendre pourquoi l’IA a besoin de garde-fous culturels — et pas seulement techniques.
Suivre ce que les IA disent de votre marque
ResonanceMetrics suit votre marque sur cinq moteurs IA et propose des améliorations. L'offre gratuite ne demande pas de carte bancaire.