- Компании быстро внедряют агентный ИИ — автономные системы, действующие без указаний человека, — однако управление ими не поспевает, создавая огромные риски в процессе применения.
- Опрос более 500 специалистов по данным из Университета Дрекселя показал, что 41% организаций уже используют агентный ИИ в повседневной работе, а не только на уровне экспериментов.
- Однако лишь 27% организаций считают свои структуры управления достаточно зрелыми для надзора и контроля над этими системами.
- Управление в данном контексте — это не жесткие правила, а четкое определение ответственности, способов мониторинга поведения ИИ и моментов, когда необходимо вмешательство человека.
- Этот разрыв становится опасным, когда ИИ действует автономно в реальных ситуациях до того, как люди успевают отреагировать.
- Например, во время отключения электроэнергии в Сан-Франциско беспилотные роботакси застряли на перекрестке, мешая машинам спасателей, хотя система работала «в соответствии с проектом».
- В финансах ИИ для обнаружения мошенничества может автоматически блокировать транзакции в реальном времени; клиенты узнают об этом только при отказе по карте, что ставит вопрос о том, кто несет ответственность в случае ошибки ИИ.
- Во многих организациях человек находится «в контуре» (human-in-the-loop), но подключается только после того, как ИИ принял решение, что делает надзор исправлением ошибок, а не проявлением ответственности.
- При отсутствии управления на старте мелкие проблемы накапливаются, подрывая доверие, даже если в системе нет явных поломок.
- Исследование показывает, что организации с хорошим управлением превращают ранние преимущества автономного ИИ в лучшую эффективность и долгосрочный рост выручки.
- ОЭСР подчеркивает, что подотчетность и человеческий надзор должны быть заложены в конструкцию системы с самого начала, а не добавляться позже.
Заключение: Бизнес быстро внедряет агентный ИИ (системы, действующие без участия человека), но управление за этим не успевает. Агентный ИИ уже используют 41% компаний, но только у 27% есть сильное управление. Под управлением понимается четкая ответственность, мониторинг поведения ИИ и точки вмешательства человека. Во многих компаниях человек подключается к процессу слишком поздно, что превращает контроль в реактивное исправление ошибок, а не в реальную ответственность.
