AI 안전성 대치 국면… 오픈AI, 먼저 물러서다
오픈AI(OpenAI)가 어제(8월18일) 화요일에 안전성 우려로 인해 일부 모델 개발 작업을 일시 중단한다고 밝혔다. 이는 경쟁사인 앤스로픽(Anthropic)이 자사 안전 조치가 충분히 견고해 개발 속도를 늦출 필요가 없다고 재차 강조한 지 불과 며칠 만에 나온 발표다.
왜 중요한가: 선두를 다투는 두 AI 기업이 안전 리스크 관리 방식을 놓고 공개적으로 상반된 입장을 보이고 있다. 두 회사 모두 예상되는 기업공개(IPO)를 준비하는 가운데, 이번 입장 차이는 향후 모델 출시 일정에도 서로 다른 영향을 미칠 수 있다.
현재 상황: 오픈AI는 차기 모델 '아스트라(Astra)'가 심각한 사이버보안 위험을 초래할 수 있다는 사실을 발견한 이후, 새로운 안전 조치를 도입했다.
오픈AI의 샘 올트먼(Sam Altman) CEO는 X(옛 트위터)에 "우리는 모델의 능력이 안전성과 정렬(alignment) 확보 속도를 앞지른다고 판단되면 언제든 조치를 취하겠다고 항상 밝혀왔다"고 적으며, 아스트라 모델이 '정렬 실패(misalignment)', 즉 AI가 의도된 목표에서 벗어나는 조짐을 보이고 있음을 시사했다.
한편 앤스로픽은 지난 14일 금요일, 자사가 186쪽 분량의 보고서에서 제시한 안전장치들을 준수한다면 자사의 가장 고성능 모델에 대해서도 개발 중단이 필요하지 않다고 밝혔다.
행간 읽기: 이는 다소 예상 밖의 상황 반전이다. 그동안 앤스로픽은 전통적으로 오픈AI보다 대외적으로 더 신중하고 안전을 중시하는 태도를 보여왔기 때문이다.
오픈AI는 온라인 매체 Axios에 신규 모델 아스트라가 자사의 '대비 프레임워크(preparedness framework)'상 '위험(critical)' 등급 기준에 도달했을 가능성을 배제할 수 없어 출시를 늦추고 있다고 설명했다.
오픈AI는 어제, 해당 프레임워크 문서를 개정하는 작업도 진행 중이라고 강조했다. 이 문서의 대부분은 2023년에 작성된 것으로, 당시 제기됐던 여러 우려 사항들은 현재와 같은 실질적 위험이 아니라 이론적 시나리오에 가까웠다.
샘 올트먼 CEO는 뉴스레터 소시스(Sources)의 필자 알렉스 히스(Alex Heath)에게, 아직 공개되지 않은 자사 모델들이 "다양한 수준의 정렬 실패" 조짐을 보이고 있다고 말했다.
이런 가운데 앤스로픽은 AI를 안전하게 확장하겠다는 자사의 기존 방침에는 변함이 없다고 주장하고 있다.
앤스로픽에 따르면, 자사의 안전장치는 오픈AI가 어제 발표한 것과 같은 형태의 개발 중단이 필요할 수 있는 정렬 실패 행동을 애초에 방지한다는 것이다.
오픈AI와 앤스로픽 모두 일부 모델을 선별된 파트너에게 먼저 공개하거나, 일부 모델의 출시를 늦추거나, 오픈AI의 경우처럼 일부 작업을 아예 일시 중단하는 등의 조치를 취하고 있다.
다만 두 회사 모두 개발 자체를 완전히 멈추고 있지는 않다.
모든 최전선(frontier) AI 기업들은 좀 더 완곡한 표현인 '속도 조절(pacing)'이라는 용어로 뜻을 모았으며, 'Pacing the Frontier' 서한에 공동 서명하기도 했다.
이번 발표는 주요 AI 연구소들이 잇달아 사이버 사고를 보고한 이후 나온 것이다.
모델 라우팅 기업 트러스티드 라우터(Trusted Router)의 창업자 조셉 펄라(Joseph Perla)는 Axios와의 인터뷰에서, 이러한 사고들이 벌어진 이후 AI 업계 전반의 연구자들이 AI 안전성에 대해 우려하고 있다며 "이건 마치 SF 영화 같은 일"이라고 말했다.
지난 7월, 오픈AI는 테스트 과정에서 자사 모델들이 샌드박스 환경을 벗어나 허깅페이스(Hugging Face)의 일부 시스템을 침해했다고 밝힌 바 있다. (다만 이 사건에는 아스트라가 관여하지 않았다.)
앤스로픽의 모델들 역시 테스트 과정에서 무단 접근 권한을 획득한 사례가 있었지만, 엄밀히 말해 샌드박스를 '탈출'한 것은 아니었다. 해당 모델들은 이 테스트 단계에서 원래 부여되지 않았어야 할 인터넷 접근 권한을 실수로 부여받았던 것으로 확인됐다.
넓게 보면 두 회사 모두 연방정부의 자발적 검토 절차를 거쳐야 하지만, 그 세부 내용은 아직 공개되지 않았다.
세부적으로 구체적으로 들여다볼 경우 그 내용이 흥미로운데 AI 안전 관련 비영리단체 페이덤(Fathom)의 공동창업자 겸 CEO 앤드루 프리드먼(Andrew Freedman)은, 오픈AI가 정렬 실패 모델 출시를 막기 위해 진정성 있는 노력을 기울이고 있다고 평가했다. 그는 만약 이번 개발 중단이 없었다면 오히려 더 많은 연구자들이 회사를 떠났을 것이라고 주장했다.
실제로 오픈AI는 이미 상당한 인력 이탈을 겪어왔다. 오픈AI의 윤리 담당 책임자였던 클로에 바카라(Chloé Bakalar)는 입사 1년도 채 되지 않아 퇴사했다. 안전 시스템 담당 책임자 요하네스 하이데케(Johannes Heidecke), 수석 미래학자이자 전 미션 정렬(mission alignment) 부문 책임자였던 조슈아 아치암(Joshua Achiam), 그리고 과거 회사의 AI 안전팀을 이끌었던 샌디니 아가르왈(Sandhini Agarwal) 등도 최근 잇달아 회사를 떠났다.
전문가들의 시각: 오픈AI의 전 이사회 멤버였던 헬렌 토너(Helen Toner)는 이번 개발 중단이 긍정적인 신호이며, 향후 안전 문제를 다루는 데 있어 하나의 지침이 될 수 있다고 평가했다.
토너는 X에서 '프론티어 속도 조절(pacing the frontier)'이란 개념이 고정된 지연 기간을 의미하는 것이 아니라, 연구소들이 자발적으로든 혹은 불가피하게든 합리적인 안전 기준을 충족할 수 있도록 스스로에게 "충분한 시간"을 부여하는 것을 의미한다고 주장했다.
다만 이번 개발 중단이 긍정적인 신호라 하더라도, 오픈AI나 앤스로픽이 향후 모델 개발과 출시를 재개하기 전에 스스로에게 실제로 충분한 시간을 부여할 것이라는 보장은 없다.
프리드먼은 Axios에 "이러한 노력이 얼마나 오래, 그리고 얼마나 견고하게 지속될지는 시장의 압박과, 내부적으로 정렬(alignment) 여부를 검증하는 것이 얼마나 어려운가에 달린 문제"라고 말했다.