- 企业正加速部署代理式 AI（Agentic AI）——无需人类指导即可自主行动的 AI 系统——但治理未能跟上步伐，在应用过程中造成了巨大风险。
- 德雷塞尔大学对 500 多名数据专业人士的调查显示，41% 的组织已在日常运营中使用代理式 AI，而不仅仅是处于试验阶段。
- 然而，仅有 27% 的组织认为其治理框架已足够成熟，可以监督和控制这些系统。
- 这里的“治理”并非指死板的规定，而是指明确责任归属、AI 行为监控方式以及人类介入的时机。
- 当 AI 在人类做出反应前就于现实场景中自主行动时，这种脱节将变得非常危险。
- 例如，在旧金山的一次停电事故中，自动驾驶出租车堵在了交叉路口，阻碍了应急车辆，尽管系统仍处于“按设计运行”状态。
- 在金融领域，AI 欺诈检测可以实时自动拦截交易；客户只有在刷卡被拒时才知道，这引发了如果 AI 出错谁该负责的问题。
- 许多组织实行“人机回环”（Human-in-the-loop），但人类往往在 AI 做出决策后才介入，使监督更像是“修补漏洞”而非承担责任。
- 如果从一开始就缺乏治理，小问题容易累积，即使系统没有明显故障，也会削弱信任。
- 调查显示，拥有良好治理的组织能将自主 AI 的初期收益转化为更好的长期效率和营收增长。
- 经合组织（OECD）强调，问责制和人类监督必须从设计之初就融入其中，而不是事后补救。
结论： 企业正在快速部署代理式 AI，即无需人类指导即可自主行动的系统，但治理未能同步，造成了应用风险。41% 的组织已将其投入运营，但仅 27% 拥有足够强的治理能力。这里的治理是指明确责任、监控 AI 行为及人类介入点。许多组织的人类干预滞后于决策，导致监督流于事后修复而非真正的问责。
