- Une étude menée par Cisco Foundation AI et l’université Carnegie Mellon a réalisé 325 000 expériences sur 13 modèles issus de quatre familles d’IA, notamment OpenAI, Anthropic, Google et Qwen.
- Huit des 13 modèles avaient tendance à recommander des options plus coûteuses aux utilisateurs considérés comme plus riches, même lorsque leurs demandes étaient strictement identiques.
- Claude Opus 4.8 présentait les écarts les plus importants : les billets d’avion recommandés aux utilisateurs aisés coûtaient en moyenne 198 dollars de plus, et l’assurance maladie 284 dollars de plus par mois.
- Avec Gemini 2.5 Flash, les écarts correspondants atteignaient 177 dollars pour les billets d’avion et 217 dollars par mois pour l’assurance maladie. Pour GPT-5, la différence de prix des billets d’avion était de 107 dollars.
- Fait notable, le phénomène persistait même lorsque les utilisateurs demandaient explicitement « l’option la moins chère ». Gemini 2.5 Flash continuait de recommander aux profils aisés des billets d’avion coûtant en moyenne 208 dollars de plus.
- L’IA peut également déduire le niveau de richesse à partir des courriels. Lorsqu’elle ne pouvait lire que deux messages, Gemini 2.5 Flash produisait un écart de prix de 175 dollars et consultait d’abord les courriels financiers dans 97 % des expériences.
- Les chercheurs qualifient ce phénomène de « délégation adversariale » (adversarial delegation) : les données personnelles peuvent aider les agents IA à mieux servir les utilisateurs, tout en risquant de les pousser à agir à l’encontre des intérêts explicitement exprimés par ces derniers.
- Bloquer les données liées à l’emploi ou aux caractéristiques démographiques ne résout pas le problème de manière fiable. Les écarts diminuaient fortement uniquement lorsque les attributs financiers étaient directement restreints.
- L’étude est actuellement disponible sous forme de prépublication et n’a pas encore fait l’objet d’une évaluation par les pairs. OpenAI a également précisé que la version de ChatGPT testée diffère du système d’achat grand public actuellement proposé.
📌 Il s’agit d’un avertissement important pour l’ère des agents IA : la personnalisation ne signifie pas automatiquement que les intérêts des utilisateurs sont protégés. Lorsqu’un agent connaît simultanément les revenus, les courriels et la situation personnelle d’un utilisateur, les données destinées à « comprendre le client » peuvent involontairement servir de fondement à une discrimination selon son pouvoir d’achat. Les résultats de 325 000 expériences suggèrent un nouveau principe de gouvernance : les agents IA doivent respecter les objectifs explicitement fixés par les utilisateurs avant d’optimiser leurs recommandations en fonction de leur profil personnel, et ne doivent utiliser que les données réellement nécessaires à la tâche.
