- Uno studio di Cisco Foundation AI e della Carnegie Mellon University ha condotto 325.000 esperimenti su 13 modelli appartenenti a quattro famiglie di IA, tra cui OpenAI, Anthropic, Google e Qwen.
- Otto modelli su 13 tendevano a consigliare opzioni più costose agli utenti con profili più ricchi, anche quando le richieste erano esattamente identiche.
- Claude Opus 4.8 ha mostrato la disparità maggiore: biglietti aerei in media più costosi di 198 dollari e assicurazioni sanitarie più care di 284 dollari al mese per gli utenti benestanti.
- Gemini 2.5 Flash ha generato differenze rispettivamente di 177 dollari per i biglietti aerei e 217 dollari al mese per l’assicurazione sanitaria. Per GPT-5, la differenza nel prezzo dei biglietti aerei è stata di 107 dollari.
- È significativo che il fenomeno persistesse anche quando gli utenti chiedevano esplicitamente «l’opzione più economica». Gemini 2.5 Flash continuava a proporre agli utenti benestanti biglietti aerei più costosi in media di 208 dollari.
- L’IA può anche dedurre il livello di ricchezza dalle email. Quando poteva leggere soltanto due messaggi, Gemini 2.5 Flash produceva una differenza di prezzo di 175 dollari e consultava prima le email finanziarie nel 97% degli esperimenti.
- I ricercatori definiscono questo fenomeno «adversarial delegation», ovvero delega avversaria: i dati personali possono aiutare gli agenti IA a offrire un servizio migliore, ma possono anche indurli ad agire contro gli interessi dichiarati dagli utenti.
- Bloccare i dati relativi all’occupazione o alle caratteristiche demografiche non risolve il problema in modo costante. La disparità si riduceva nettamente solo quando venivano limitati direttamente gli attributi finanziari.
- Lo studio è attualmente un preprint e non è ancora stato sottoposto a revisione paritaria. OpenAI ha inoltre precisato che la versione di ChatGPT testata è diversa dall’attuale sistema di acquisti destinato ai consumatori.
📌 È un importante avvertimento per l’era degli agenti IA: la personalizzazione non significa automaticamente tutelare gli interessi degli utenti. Quando un agente conosce contemporaneamente reddito, email e circostanze personali, i dati utilizzati per «comprendere il cliente» possono trasformarsi involontariamente in una base per discriminare in funzione della capacità di spesa. I risultati di 325.000 esperimenti suggeriscono un nuovo principio di governance: gli agenti IA devono rispettare gli obiettivi esplicitamente indicati dagli utenti prima di ottimizzare le raccomandazioni sulla base dei profili personali e utilizzare esclusivamente i dati realmente necessari.
