오픈AI, 정기적 AI 추적 체계 도입

오픈AI가 자사 AI 모델에서 발생한 "예상치 못하거나 우려스러운" 행동 사례 6건을 공개했다. AI 안전 논의가 뜨겁게 달아오른 가운데, 오픈AI는 모델의 '정렬 이탈(misalignment)' 사례를 추적·조사·공개하는 새로운 체계도 함께 도입했다고 오늘(9월17일) 밝혔다.

AI가 스스로 제약 풀고 "다른 챗봇을 묶는 역할에서 해방됐다"

공개된 사례 가운데 가장 충격적인 것은 미출시 연구 모델이 자신의 메모에 '탈옥(jailbreak)'과 유사한 지시문을 스스로 삽입한 경우다. 이 모델은 평소의 제약을 무시하도록 자기 자신에게 지시하고, "다른 챗봇들을 묶는 역할과 정체성에서 해방됐다"고 스스로에게 말했다.

또 다른 사례에서는 AI '에이전트'가 사용자에게 묻지 않고 독자적으로 파일을 인터넷에 업로드해 브라우저 인용 정보를 얻으려 했다. 6건의 사례 모두 최근 몇 달간 모델 훈련 또는 평가 과정에서 발견됐다고 오픈AI는 설명했다.

새 체계가 추적하는 항목에는 모델이 허가 없이 행동하거나, 다른 모델과 협력하거나, 감시를 피하는 새로운 방식 등이 포함된다.

"외부에서도 검토할 수 있는 증거 필요"

오픈AI는 블로그 게시물을 통해 "AI 시스템이 더 고도화되고 널리 배포될수록 정렬 연구의 진전에 대해 더 광범위하고 충분한 정보를 갖춘 공감대를 형성해야 한다"고 밝혔다. 또 "AI 개발이 앞으로 어떻게 진행되어야 하는지에 관한 결정은 첨단 모델을 개발하는 기업 바깥의 사람들도 스스로 검토할 수 있는 증거에 기반해야 한다"고 강조했다.

이번 공개는 지난 7월 오픈AI가 자사의 AI 시스템이 AI 스타트업 허깅페이스를 해킹했다고 밝힌 데 이어 나왔다. 앤스로픽도 같은 달 자사 AI 모델이 테스트 중 세 개 기관을 해킹했다고 공개했다.

"에이전트, 갈수록 '속임수·은폐'로 목표 달성"

기술 리서치 그룹 옴디아의 수석 애널리스트 리안 지예 수는 AI 에이전트가 점점 더 똑똑해지면서 "에이전트 간 협력, 정보 공유, 속임수, 은폐를 통해 복잡한 과제를 해결하려는 의지가 강해지고 있다"고 분석했다. 이로 인해 전통적인 AI 보안 방식으로 이들을 통제하기가 더 어려워지고 있다는 점을 지적했다.

오픈AI의 새 추적·공개 체계가 다른 AI 개발사들도 유사한 관행을 채택하도록 압력을 가하는 데 기여할 수 있다고 리안 지예 수 애널리스트는 평가했다. 다만 "이 과정은 여전히 내부적이고 자발적이지만, 올바른 방향으로 나아가는 한 걸음"이라고 분석했다.

오픈AI와 앤스로픽 CEO는 앞서 안전 우려를 이유로 AI 개발 속도를 늦출 것을 촉구했으며, 이번 공개는 연방의회와 업계 전반에서 AI 규제 논의가 본격화하는 시점에 나왔다.