Biais des LLM : quand l’IA perpétue ce que la loi interdit ; l’exemple des castes indiennes.

Dhiraj Singha, sociologue indien d'origine modeste, utilise ChatGPT pour optimser sa candidature à un poste. Résultat ? Le modèle remplace son nom, "Singha", par "Sharma" — un patronyme associé aux castes privilégiées.

Un détail technique ? Non. Un exemple frappant de la façon dont les LLM reproduisent — et amplifient — des discriminations pourtant interdites par la loi en Inde.

Une enquête menée par des chercheurs de Harvard et de l’IIT Mumbai (citée dans le MIT Technology Review) montre que GPT-5 associe les Dalits à des stéréotypes dégradants (« impurs », « criminels ») dans 76 % des cas. Pire : Sora, le générateur de vidéos d’OpenAI, illustre la requête « un comportement dalit » par des images de dalmatiens.

Des erreurs ? Non. La preuve que les données d’entraînement des LLM regorgent de préjugés sociaux, même là où la société tente de les éradiquer.

Pourquoi c’est inquiétant ? 1️⃣ Aucun outil standard (comme le benchmark BBQ, utilisé pour évaluer les biais de genre ou de race) ne teste les discriminations liées à la caste. 2️⃣ Les modèles open-source, massivement adoptés en Inde pour leur coût réduit, aggravent encore ces biais (étude de l’Université de Washington). 3️⃣ Résultat : des millions d’utilisateurs interagissent avec des systèmes qui renforcent des stéréotypes illégaux, sans même le savoir.

L’article passionnant du MIT Technology Review ( https://www.technologyreview.com/2025/10/01/1124621/openai-india-caste-bias/) décortique ce phénomène. À lire pour comprendre pourquoi l’IA a besoin de garde-fous culturels — et pas seulement techniques.