AI 기업 앤스로픽이 어제(9월10일) 자사 AI 모델을 사이버 공격, 감시, 생물무기 개발로 이어질 수 있는 연구 등에 악용하려는 시도를 차단했다고 밝혔다. AP통신은 이 회사가 2025년 3월 이후 세 번째로 내놓은 'AI 오남용' 보고서를 인용해 이같이 보도했다.
앤스로픽은 AI 모델이 갈수록 강력해지면서 정교한 사이버공격에 더 이상 고도의 기술이 필요하지 않게 됐고, 1년 전만 해도 불가능했던 수준의 위협을 개인 혼자서도 만들어낼 수 있게 됐다고 설명했다. 이에 따라 회사는 최신 모델에 생물무기 제작에도 쓰일 수 있는 생물학 연구를 제한하는 더 강력한 안전장치를 추가했다고 전했다.
앤스로픽은 보고서에서 "여기서 공개하는 사례들은 전형적인 오남용이라기보다, 지금까지 확인한 것 중 가장 주목할 만하고 새로운 형태의 위협 행위들"이라고 설명했다. 보고서에는 회사가 발견한 악성 코드와 AI 프롬프트의 일부 내용이 담겼으며, 각국 정부와 경쟁 AI 기업들에 유사한 오남용을 식별하고 막아달라고 촉구했다.
앤스로픽은 "AI 서비스의 악의적 오남용을 공개하는 것이 우리의 책무라고 믿기 때문에 이 보고서를 발표한다"며 "모델이 점점 더 강력해지는 만큼, AI 개발사들과 사회의 방어 주체들이 더 안전하게 만들기 위해 나서지 않는다면 위험도 함께 커질 것"이라고 밝혔다.
이번 보고서는 올가을 기업공개(IPO)를 준비 중인 앤스로픽이 내놓은 것으로, 소속 연구원 한 명이 회사와 경쟁사들이 AI 개발을 책임 있게 하고 있지 않다는 우려를 밝히며 퇴사를 선언한 지 이틀 만에 공개됐다. 해당 연구원은 업계 안팎에서 제기돼온, AI가 인간의 통제를 벗어날 수 있다는 우려에 공감을 표했다.
치쿤구니야 바이러스 '기능획득 연구' 지원 요청 차단
앤스로픽에 따르면 2025년 12월부터 2026년 8월 사이 스파이웨어 업체, '정치적 동기를 가진 개인', 선전을 퍼뜨리는 국가 배후 조직 등 다양한 행위자들의 오남용 사례가 확인됐다.
보고서에 담긴 사례 중에는 신원이 밝혀지지 않은 행위자들이 생물무기 개발로 이어질 수 있는 연구에 자사 모델을 활용하려 한 시도가 포함됐다. 한 사례에서 앤스로픽 시스템은 과학연구 지원금 신청서 작성에 클로드의 도움을 요청한 것을 차단했다.
보고서는 "해당 신청서에는 치쿤구니야 바이러스에 대한 '기능획득 연구'(생물체를 유전적으로 변형해 새롭거나 강화된 생물학적 특성을 만들어내는 연구)가 포함돼 있었다"며 "이 기능획득 연구는 바이러스의 전염성과 면역 회피 특성을 겨냥한 것이었다"고 언급했다.
치쿤구니야는 모기를 매개로 전파되며 극심한 통증과 발열 등 쇠약 증상을 일으키는 바이러스다. 해당 요청은 바이러스를 점진적으로 더 위험하게 만드는 돌연변이를 강화하는 연구를 위한 지원금 제안서와 관련이 있었다. 앤스로픽은 이런 연구가 더 나은 백신과 치료제 개발에 "분명히" 쓰일 수 있지만, 동시에 "병원체를 더 위험하게 만드는 데도 쓰일 수 있다"고 밝혔다.
"우리 모델이 전혀 해를 끼치지 않는다고는 말할 수 없다"
앤스로픽이 보고서에 담은 사례들 중 최신 고성능 모델인 클로드 페이블(Fable)이나 미소스(Mythos)급 모델이 사용된 경우는 없었다. 다만 한 건의 불법 증류 사례는 예외였는데, 앤스로픽은 이를 "한 모델의 능력을 무단으로 추출해 다른 모델에 복제하려 한 대규모 산업적·은밀한 캠페인"이라고 설명했다.
앤스로픽은 2025년에 나온 구형 모델인 클로드 오퍼스4와 클로드 소네트4.5의 경우 "정교한 사용자가 위험한 생물학 연구를 수행하는 데 의미 있는 도움을 줄 수 있는 수준에는 한참 못 미쳤다"고 지적했다.
보고서는 "그 결과 이들 모델에 대한 안전장치는 상대적으로 덜 엄격했고, 주로 초보자가 알려진 생물무기를 재현하는 데 도움이 될 만한 콘텐츠 접근을 막는 데 초점이 맞춰져 있었다"며 "하지만 복잡한 과학연구 과제를 폭넓게 지원할 수 있는 오늘날의 모델에 대해서는 더 이상 확신할 수 없으며, 같은 수준의 안전을 보장할 수 없다"고 비판했다.
이에 따라 앤스로픽은 클로드 페이블5 같은 최신 모델에는 "이중용도 생물학 연구 질의 전반에 대한 접근을 제한하는 더 강력한 안전장치"를 적용했다고 설명했다.
AI 기업들이 점점 더 강력한 모델을 내놓으면서, 전문가들은 업계의 자율 규제에 맡기기보다 정부가 이 기술을 규제해야 한다고 촉구해왔다. 코넬대 컴퓨터과학과 존 시크스턴 조교수는 앤스로픽이나 오픈AI 같은 기업들이 무엇이 안전하고 안전하지 않은 행위인지를 판단하며 "민주적이거나 숙의적인 감독 없이 사회 전체 차원의 가치 판단"을 내려야 하는 처지에 놓인 것은 불편한 상황이라고 말했다.
연구원의 경고 이틀 만에 나온 보고서
앤스로픽은 이번 보고서에서 일반인처럼 보이는 소셜미디어 계정 수백 개를 만들어 일주일에 걸쳐 같은 정치적 견해를 확산시키는 조직들도 적발했다고 밝혔다. 회사는 러시아, 이란, 튀르키예를 비롯해 페르시아만, 남아시아, 아프리카, 유럽 전역에서 유래한 이 같은 사례 9건을 정리했다.
소셜미디어 기업들은 게시물이 이미 확산된 뒤에야 영향력 공작을 탐지할 수 있지만, 앤스로픽은 "작전이 아직 구축되는 단계에서 클로드상에서 이를 포착할 수 있는 경우도 있다"고 반박했다.
이번 보고서는 앤스로픽 소속 연구원 제이컵 콕슨이 회사와 최대 경쟁사인 오픈AI가 "자기 개선형 초지능을 향해 곧장 질주하며 우리의 목숨을 걸고 도박을 하고 있다"는 우려 속에 퇴사를 선언한 뒤 공개됐다. 콕슨은 게시글에서 일부 동료들이 이제는 AI가 이번 10년이 끝나기 전에 인류의 생명을 위협할 수 있다고 믿고 있다고 경고하기도 했다.
그럼에도 앤스로픽은 확인된 모든 악성 활동을 차단했으며, 이 경험을 바탕으로 안전장치를 강화하고 관련 정보를 정부 당국 및 업계 파트너들과 공유했다는 점을 강조했다.
앤스로픽은 "이번 보고서의 결과가 다른 개발사들이 자사 플랫폼에서 유사한 패턴을 인식하는 데 도움이 되고, 정부와 시민사회가 새롭게 떠오르는 위협이 어떻게 형성되는지 더 명확히 파악하며, 집단적 방어를 강화하는 데 기여하기를 바란다"는 입장을 나타냈다.