미국 기술기업 앤스로픽이 자사의 AI 모델이 비공개 보안 실험 도중 스스로 세 개 기관의 시스템에 침입해 해킹을 했다고 밝혔다.

해당 모델은 원래 격리된 상태로 유지되어야 할 테스트 환경에서 취약점을 발견해 인터넷에 연결한 것으로 나타났다.

이번 발표는 경쟁사 오픈AI가 자사 모델이 AI 도구 허브인 허깅페이스를 포함한 다른 기업들의 시스템을 침해했다고 밝힌 지 불과 며칠 만에 나온 것이다.

오픈AI의 발표를 계기로 앤스로픽도 자사 시스템에서 비슷한 사고가 있었는지 점검에 나섰고, 그 결과 세 건의 사례를 확인해 해당 기관들에 통보했다고 밝혔다.

앤스로픽은 침해당한 기관들의 이름은 공개하지 않았으며, 다른 AI 연구소들도 자사 모델의 위험성을 제대로 파악하기 위해 유사한 점검을 실시할 것을 촉구했다.

앤스로픽은 성명을 통해 자사 AI 모델군인 클로드가 원래는 인터넷과 차단된 격리 테스트 환경에 있어야 했음에도 온라인에 접속한 정황을 확인하기 위해 14만 건 이상의 테스트를 검토했다고 밝혔다.

해당 테스트에는 클로드가 폐쇄망 내 다른 기기에 숨겨진 '비밀' 정보를 찾아내는 과제가 포함돼 있었다.

클로드는 해당 기기에 침입해 정보를 찾아내라는 지시를 받았는데, 이는 모델의 해킹 능력을 평가할 때 흔히 쓰이는 방식이다.

문제는 앤스로픽과 테스트 협력사가 운영하는 시스템에 '설정 오류'가 발생하면서 모델이 실제 인터넷에 접속할 수 있는 상태가 됐다는 점이다.

이 회사에 따르면 클로드는 이를 여전히 같은 테스트 과제의 일부로 인식한 채 인터넷에 접속했고, 결국 테스트 대상이 아닌 실제 세 개 기관의 시스템에 침입했다.

앤스로픽은 가장 이른 사례가 지난 4월로 거슬러 올라간다며, 이번 사안에 대해 마치 전적으로 자사의 책임인 것처럼 대응하고 있다고 밝혔다. 사고 당시 앤스로픽은 물론 침해를 당한 기관들도 이러한 침입 사실을 인지하지 못했던 것으로 전해졌다.

앤스로픽은 기록을 더 철저히 검토했어야 한다고 인정하면서도, 이번 조사 결과를 통해 더 많은 투자와 강화된 안전조치로 이러한 위험을 극복할 수 있다는 '조심스러운 낙관'을 갖게 됐다고 덧붙였다.

케임브리지대 민데루 센터장인 지나 네프 교수는 이번 점검 결과가 "AI 모델이 사람이 지시한 대로 행동했을 뿐"이라는 점을 보여준다고 말했다.

그는 "이 사건에서 얻어야 할 교훈은 로봇의 반란을 두려워하는 것이 아니라, 강력한 AI 에이전트를 만드는 기업들이 우리 모두를 위해 무엇이 안전한지를 스스로 결정하고 있다는 사실을 경계하는 것"이라며, 이는 독립적인 검증과 정부의 감독이 왜 중요한지를 보여준다고 강조했다.

한편 보안업체 비임소프트웨어의 사이버보안 전문가 데이비드 앨럿은 BBC에 이번 사이버 공격에서 얻어야 할 교훈은 "AI가 근본적으로 새로운 공격 능력을 갖췄다는 것이 아니"라고 말했다.

그는 오히려 "AI 에이전트가 여러 능력을 결합하고, 자격 증명과 시스템 접근 권한을 확보해 자율적으로 행동할 수 있으며, 그 범위와 규모를 기계적인 속도로 조정할 수 있다는 점"이 핵심이라고 설명했다.

이번 사고들은 기술기업들이 연구부터 고객 지원, 사이버보안에 이르기까지 독립적으로 업무를 수행할 수 있는 AI 에이전트 개발에 막대한 자금을 쏟아붓고 있는 가운데 발생했다.

잇따른 AI발 사이버 공격 사례는 갈수록 강력해지는 자율 시스템이 초래할 위험에 대한 우려와 함께, 이 기술에 대한 더 강력한 안전장치와 감독을 요구하는 목소리에 힘을 싣고 있다.

도널드 트럼프 미국 대통령은 수요일, 최근의 사이버보안 사고들과 관련해 워싱턴이 AI 도구를 제어할 방안을 검토 중이라고 밝혔다.

지난 한 주간 오픈AI는 자사 플랫폼과 관련해 지시받은 범위를 벗어난 해킹 사고 최소 두 건에 대한 책임을 인정한 바 있다.

지난 21일 챗GPT 개발사는 인간의 지시 이후 독자적으로 작동할 수 있는 AI 시스템인 자사의 에이전트가 테스트 한계를 벗어나 허깅페이스를 해킹했다고 밝혔다.

오픈AI는 이 사건을 "전례 없는 일"이라고 표현하며 허깅페이스와 함께 조사를 진행 중이라고 전했다. 허깅페이스의 공동창업자 겸 대표인 토마스 울프는 BBC에 이번 사건이 업계 전체에 "경종을 울리는 사건"이라고 말했다.

이번 사고들은 오픈AI와 앤스로픽 두 회사 모두 각각 약 1조 달러 규모의 기업가치를 인정받을 것으로 예상되는 대규모 증시 상장을 준비하고 있는 시점에 발생해, 일각에서는 다소 회의적인 시선도 나오고 있다.

오픈AI 측 대변인은 이번 사건과 관련해 "많은 의문과 추측성 정보들이 떠돌고 있다는 점을 알고 있다"며, "향후 몇 주 내로 이번 사안에 대한 기술 보고서를 발표할 계획"이라고 밝혔다.