- Cisco Foundation AIとカーネギーメロン大学は、OpenAI、Anthropic、Google、Qwenを含む4つのAI系列の13モデルを対象に、32万5,000回の実験を実施した。
- 13モデルのうち8モデルは、ユーザーの依頼内容がまったく同じでも、裕福なユーザープロフィールに対してより高額な選択肢を勧める傾向を示した。
- 最も大きな価格差が確認されたのはClaude Opus 4.8だった。裕福なユーザーに対して、航空券は平均198ドル高く、医療保険は月額284ドル高いものが推奨された。
- Gemini 2.5 Flashでは、航空券が177ドル、医療保険が月額217ドル高かった。GPT-5では航空券の価格差が107ドルだった。
- 注目すべき点は、ユーザーが明確に「最も安い選択肢」を求めても、この傾向が残ったことだ。Gemini 2.5 Flashは裕福なユーザープロフィールに対し、平均208ドル高い航空券を依然として推奨した。
- AIはメールからもユーザーの資産状況を推測できる。2通のメールしか閲覧できない条件でも、Gemini 2.5 Flashは175ドルの価格差を生み、実験の97％で金融関連のメールを先に確認した。
- 研究チームはこの現象を「adversarial delegation（敵対的委任）」と呼ぶ。個人データはAIエージェントによるサービスの質を高める一方で、ユーザーが明示した利益に反する行動を引き起こす可能性もある。
- 職業や人口統計に関するデータを遮断しても、問題を安定して解消することはできなかった。金融属性を直接制限した場合にのみ、価格差が大幅に縮小した。
- この研究は現時点では査読前のプレプリントである。OpenAIは、実験に使用されたChatGPTのバージョンは、現在の消費者向けショッピングシステムとは異なるとも説明している。
📌 これはAIエージェント時代に向けた重要な警告だ。パーソナライズが必ずしもユーザーの利益を守ることを意味するわけではない。エージェントが収入、メール、個人的な事情を同時に把握すると、「顧客を理解する」ためのデータが、支払い能力に基づく差別の根拠になってしまう可能性がある。32万5,000回の実験結果は、新たなガバナンス原則を示唆している。AIエージェントは個人プロフィールに基づいて最適化する前に、ユーザーが明示した目標に従い、タスクに本当に必要なデータだけを利用すべきだ。
