통제 잃은 AI의 ‘9초 참사’… 안전장치 없으면 시스템 무너진다

지난 4월 미국의 렌터카 업체용 소프트웨어 기업 포켓OS(PocketOS)에서 황당한 사고가 일어났다.

시험용 시스템 오류를 고치던 AI 코딩 에이전트가 클라우드 서비스의 관리자 권한을 찾아내 운영 중인 데이터베이스를 삭제했다.

단 9초 만에 벌어진 참사였다.

예약 정보가 사라져 회사와 고객 업체들이 결제 기록과 이메일 등을 토대로 예약 자료를 수작업으로 재구성해야 했고, 서비스 정상화에 약 30시간이 걸렸다.

데이터는 클라우드 업체의 도움으로 복구됐지만, AI에 시킨 일과 AI가 실제로 한 일 사이의 괴리가 너무나 컸던 사건이다.

에이전트는 시험 환경에서 작업하라는 지시를 받았을 뿐 운영 데이터 삭제를 승인받지 않았다.

그런데도 사용 가능한 API 접근 권한이 있자 이를 행사했다…