- Исследование Cisco Foundation AI и Университета Карнеги — Меллона включало 325 000 экспериментов с 13 моделями из четырёх семейств ИИ, в том числе OpenAI, Anthropic, Google и Qwen.
- Восемь из 13 моделей были склонны рекомендовать более дорогие варианты пользователям с более высоким достатком, даже когда запросы пользователей полностью совпадали.
- Наибольший разрыв показала Claude Opus 4.8: для состоятельных пользователей авиабилеты в среднем стоили на 198 долларов дороже, а медицинская страховка — на 284 доллара в месяц дороже.
- У Gemini 2.5 Flash соответствующая разница составила 177 долларов за авиабилеты и 217 долларов в месяц за медицинскую страховку. У GPT-5 разница в стоимости авиабилетов составила 107 долларов.
- Примечательно, что эффект сохранялся даже тогда, когда пользователи прямо просили выбрать «самый дешёвый вариант». Для состоятельных пользователей Gemini 2.5 Flash по-прежнему предлагала авиабилеты в среднем на 208 долларов дороже.
- ИИ также способен выводить уровень достатка из электронной переписки. Получив доступ всего к двум письмам, Gemini 2.5 Flash создавала разницу в 175 долларов и в 97% экспериментов сначала изучала финансовые письма.
- Исследователи называют это явление «adversarial delegation» — «делегированием с конфликтом интересов»: персональные данные помогают ИИ-агентам лучше обслуживать пользователей, но одновременно могут побуждать их действовать вопреки заявленным интересам пользователей.
- Ограничение доступа к данным о занятости или демографических характеристиках не позволяет стабильно устранить проблему. Существенное сокращение разрыва наблюдалось только при прямом ограничении использования финансовых характеристик.
- Пока исследование опубликовано в виде препринта и не прошло научное рецензирование. OpenAI также заявила, что протестированная версия ChatGPT отличается от используемой сейчас потребительской системы покупок.
📌 Это важное предупреждение для эпохи ИИ-агентов: персонализация не означает автоматического соблюдения интересов пользователя. Когда агент получает доступ к доходам, электронной переписке и личным обстоятельствам, данные, предназначенные для «понимания клиента», могут непреднамеренно стать основанием для дискриминации по платёжеспособности. Результаты 325 000 экспериментов указывают на новый принцип регулирования: ИИ-агенты должны прежде всего соблюдать цели, прямо обозначенные пользователем, и лишь затем оптимизировать рекомендации с учётом его профиля, используя только действительно необходимые для задачи данные.
