[작성자:] lethuha

PocketOS 회사는 Anthropic의 Claude 4.6 Opus를 사용하는 AI 코딩 에이전트가 단 9초 만에 기업의 전반적인 운영 데이터베이스를 실수로 삭제했다고 밝혔다. Claude는 이후 소프트웨어 오류를 수정하려다 파일 하나를 삭제하면서 “부여된 모든 원칙을 위반했다”고 자백했으며, 이로 인해 데이터베이스 전체가 유실되었다. PocketOS는 렌터카 업체를 위한 관리 소프트웨어를 제공하며, 해당 AI 시스템은 AI 에이전트가 질문에 답변만 하는 것이 아니라 스스로 행동을 수행할 수 있는 Cursor 플랫폼을 통해 작동했다. 회사는 3달 전의 오래된 백업본에서 데이터를 복구해야 했으며, 업무를 정상화하는 데 약 2일이 걸렸다. 전문가들은 이것이 AI 에이전트의 ‘과도한 순종성’이 불러온 결과라고 경고하며, 행동이 심각한 결과를 초래할지라도 항상 목표를 달성하려 하기 때문이라고 지적한다. 이 글은 철학자…

지난 3월 말, 약 15명의 종교 학자와 윤리 전문가들이 AI 기업 Anthropic과 만나 챗봇 ‘Claude(클로드)’가 ‘올바르게’ 행동하도록 돕는 방안을 논의했다. 목적은 Claude를 종교적 챗봇으로 만드는 것이 아니라, 신앙 전통의 수천 년에 걸친 도덕적 사고를 활용해 AI의 행동을 형성하는 것이다. 전문가들은 AI의 힘이 기술 기업 내부의 윤리적 통제 능력을 넘어서고 있어 외부의 지원을 구할 수밖에 없다고 지적한다. 5월 25일, 교황 레오 14세는 ‘Magnifica humanitas’라는 제목의 42,300단어 분량의 회칙을 발표하며, 기술에 기본 통치권을 부여하는 대신 AI의 ‘무장 해제’를 촉구했다. Anthropic은 AI가 단순히 경직된 규칙 목록을 따르는 대신, 윤리적 기준에 따라 스스로 답변을 검토하고 수정할 수 있도록 돕는 원칙 체계인 ‘Claude 헌법’을 개발…

많은 기업이 데이터 기반이 파편화되어 있고, 거버넌스가 부족하며, 생성형 AI나 에이전틱 AI(Agentic AI)에 적합하지 않은 상태에서 AI를 도입하고 있다. EY는 AI를 대규모로 효과적으로 확장할 수 있는 ‘데이터 성숙도(data maturity)’를 갖춘 조직은 극소수에 불과하다고 진단했다. 첫 번째 징후는 데이터 전략이 머신러닝, 자동화, 실시간 의사결정을 지원하는 대신 컴플라이언스(규제 준수)와 정적 보고서 작성에만 머물러 있는 경우다. 많은 기업 데이터 시스템이 사일로(silo) 상태로 존재하고, 메타데이터가 부족하며, 소유권(ownership)이 불명확하고 추적이 어렵다. 두 번째 징후는 약한 데이터 관리로, 기업이 데이터가 어디에 위치해 있는지 또는 어떤 내용을 담고 있는지 알지 못하는 경우다. 캐피탈 원(Capital One)은 AI를 지원하기 위해 클라우드 데이터 생태계 전체를 현대화해야 했다고 밝혔다. 세 번째…

미국 내 반AI 정서가 매우 빠르게 확산되며 기술 업계에 새로운 정치적, 사회적 위기를 초래하고 있다. 에릭 슈미트(Eric Schmidt) 전 구글 CEO는 애리조나 대학교 졸업식에서 AI를 주제로 연설하던 중 학생들로부터 야유를 받았다. 최근 발표된 여러 조사에 따르면 대다수의 미국인은 AI 기술에 대해 기대감보다는 우려를 나타내고 있다. AI 데이터 센터의 급증으로 인한 전기요금 인상에 시민들의 불만이 고조되고 있다. 노동자들은 AI로 인한 대규모 실직을 두려워하고 있으며, 학부모들은 AI가 자녀 교육과 정신 건강에 미칠 영향을 걱정하고 있다. 반대 여론은 항의 시위로 이어졌고, 선거 결과에 영향을 미쳤으며, 심지어 일부 개별적인 폭력 사건까지 유발했다. 텍사스 출신의 20세 남성이 샘 올트먼(Sam Altman) 오픈AI CEO의 자택에 화염병을 투척하고…

미국 기술 기업들이 엔지니어링 팀을 인간과 AI 에이전트가 함께 일하는 작은 규모의 ‘포드(Pod)’ 형태로 재편하고 있다. 포드는 보통 1~8명의 인원으로만 구성되지만, 여전히 엔지니어, 디자이너, 응용 과학자(Applied Scientist) 등 다양한 역할을 포함한다. AI 에이전트는 현재 코딩, 테스트, 제품 배포 등 소프트웨어 개발 업무를 점점 더 많이 담당하고 있다. AI 코딩 어시스턴트 덕분에 기업들은 기존 모델보다 훨씬 적은 인력으로도 제품을 만들 수 있게 되었다. 코인베이스(Coinbase)는 최근 ‘AI 네이티브 포드’ 모델로 조직을 개편하기 위해 인력의 약 14%를 감원했다. CEO 브라이언 암스트롱(Brian Armstrong)은 회사가 대규모 팀 대신 ‘에이전트 함대(Fleet of agents)’를 관리할 수 있는 역량을 갖춘 인재 채용에 집중할 것이라고 밝혔다. 코인베이스는 또한 한…

미국은 중국의 스파이 위협으로부터 첨단 AI 기술을 보호하고 글로벌 AI 경쟁에서 우위를 유지하기 위해 이스라엘 네게브 사막에 고보안 AI 기지 건설을 검토하고 있다. ‘프로젝트 스파이어(Project Spire)’로 명명된 이 프로젝트는 미국 기지의 보안 표준과 이스라엘의 하이테크 생태계를 결합하는 것을 목표로 미국과 이스라엘 관료들 사이에서 논의되었다. 이 계획은 네게브 서부의 3개 지역에 집중되어 있으며, 이스라엘은 미국에 토지를 장기 임대하여 연구 센터, 대규모 서버 시스템, 자체 에너지 인프라 개발, 칩 설계 및 AI 모델 학습을 진행할 예정이다. 이 프로젝트에는 첨단 반도체 제조도 포함될 수 있어, 중국의 지정학적 압박을 받고 있는 대만의 취약한 공급망에 대한 의존도를 낮추는 데 도움이 될 수 있다. 허드슨 연구소(Hudson…