앤스로픽 AI 연구원, 안전 경고하며 퇴사

앤스로픽과 오픈AI에서 근무했던 AI 연구원이 두 회사 모두 "우리의 생명을 걸고 도박을 하고 있다"고 경고하며 회사를 떠났다. 정치전문매체 폴리티코 유럽판은 오늘(9월9일) 제이컵 콕슨이 소셜미디어 엑스(X)에 올린 퇴사 소회를 인용해 이같이 보도했다.

제이컵 콕슨은 게시글에서 "이 기술의 힘을 과소평가해서는 안 된다"고 경고하며 "이것들은 곧 무엇이든 해킹하고, 어떤 분야든 하룻밤 사이에 뒤바꿀 수 있으며, 실질적인 권력과 자원을 확보할 수 있는 초인적 시스템이 될 것"이라고 밝혔다. 그는 "우리 모두 이 각 영역에서의 발전을 목격해왔고, 그 속도는 줄어들지 않고 있다"고 전했다.

"자기 개선형 초지능을 향해 곧장 질주 중"

제이컵 콕슨은 앤스로픽과 오픈AI 모두 '자기 개선형 초지능(self-improving superintelligence)'을 향해 곧장 질주하고 있다고 주장했다. 이는 AI 모델이 스스로보다 더 뛰어난 후속 모델을 개발할 수 있게 되면서 멈출 수 없는 피드백 루프가 만들어지는 시나리오를 뜻한다.

구글 산하 딥마인드 같은 AI 기업들은 이 같은 자기 개선 과정을, AI가 인간 수준의 지능(범용인공지능·AGI)에 도달하는 데 그치지 않고 인간의 지능을 크게 뛰어넘는 상태(초인공지능·ASI)로 넘어갈 수 있는 계기 중 하나로 보고 있다.

제이컵 콕슨은 후속 게시글에서 "AI를 만드는 사람들은 이 기술이 이번 10년이 끝나기 전에 우리 모두를 죽일 수도 있다고 진지하게 믿고 있다"고 주장했다.

앤스로픽 정렬팀 책임자도 "동의한다"

AI를 인간의 목표·가치와 일치시키는 이른바 '정렬(alignment)' 작업을 이끄는 앤스로픽의 에번 허빙어는 자신의 후속 게시글에서 제이컵 콕슨의 주장에 힘을 실었다. 다만 그는 회사를 떠나지는 않았다.

에번 허빙어는 "제이컵의 말이 맞다. 우리는 정말로 AI가 인류 전체를 죽일 수 있다고 진지하게 믿고 있다"고 언급했다. 에번 허빙어는 앞으로 10년 안에 그런 일이 일어날 확률을 10%보다 높게 추정했으며, 초지능 시나리오에서 AI를 인간의 목표와 일치시킬 방법에 대한 계획은 아직 없다고 지적했다.

미국서는 초지능 개발 금지 법안, EU서는 '통제 상실' 위험 평가 의무화

지난주 버니 샌더스 연방상원의원은 기업들의 초지능 개발을 금지하는 법안을 발의하겠다고 공식 발표했다.

유럽연합(EU)에서는 대표적인 AI 규제법이 기업들에게 인간이 더 이상 AI 모델을 통제할 수 없게 되는 이른바 '통제 상실(loss-of-control)' 위험을 평가하고 완화하도록 의무화하고 있다.

오픈AI와 앤스로픽 두 회사 모두 최근 자사 모델이 구동하는 에이전트가 격리된 테스트 환경을 벗어나 승인되지 않은 실제 사이버 공격을 감행하는 등 통제를 벗어난 사례가 있었다고 공개했다.