AI 안전성 연구 기업 앤트로픽(Anthropic)이 역사상 최대 규모가 될 수 있는 기업공개(IPO)를 준비하면서 약 300페이지 분량의 상장 신청서(S-1)를 제출했다. 이 문서는 AI가 인류의 삶을 획기적으로 개선할 수 있다고 주장하는 동시에, AI가 인류를 멸종 위기로 몰아넣을 수 있다고 경고하는 독특한 역설로 가득 차 있다.

"AI가 인류를 위협할 수 있다"… 리스크 섹션이 사업 설명의 두 배

앤트로픽은 2조 달러(약 2,700조 원)의 기업 가치를 목표로 IPO를 추진하고 있다. 그런데 약 300페이지 분량의 신청서 중 거의 3분의 1이 리스크 요인에 할애돼 있다. 이는 회사가 실제로 무엇을 하는지 설명하는 페이지 수의 두 배를 넘는 분량이다.

신청서는 앤트로픽의 AI가 "삶의 질을 극적으로 향상시키고" "글로벌 경제의 모든 부문을 변혁할 수 있다"고 주장한다. 그러면서 동시에 제대로 통제되지 않는다면 "인류에 재앙적이거나 실존적 위험을 초래할 수 있다"고 경고한다.

워싱턴 대학교의 테크 경제 역사학자 마거릿 오마라(Margaret O'Mara) 교수는 "AI는 이전 기술과 다르다. 기업들이 세상을 바꿀 것이라고 말하는 동시에 위험하다고 말하고 있다. 닷컴 붐 시절 상장 기업들은 크고 안전한 성장을 약속할 수 있었지만, 지금 AI는 일종의 블랙박스"라고 지적했다.

50조 달러 손실에도 500조 달러 지출 약정

재무적 수치도 충격적이다. 앤트로픽은 2024~2025년 2년간 500억 달러(약 67조 5,000억 원) 이상의 손실을 기록했다. 그러나 향후 수년간 5,000억 달러(약 675조 원) 이상의 지출 약정이 잡혀 있다. 비교하자면 지난 6월 역대 최대 규모 IPO를 진행한 스페이스 X의 동기간 손실은 상대적으로 적은 42억 달러에 그쳤다.

핵심 역설 ①: 안전하려면 더 강력해야 한다

앤트로픽의 비전 전체를 관통하는 핵심 역설은 이것이다. AI를 더 안전하게 만들려면 더 강력하게 만들어야 하는데, 더 강력한 AI일수록 예상치 못하거나 위험한 방식으로 행동할 가능성이 높다.

신청서는 '강력한 AI(Powerful AI)'가 가까운 미래에 "거의 모든 인지 영역에서 최고 수준의 인간 전문가를 능가할 것"이라고 예측한다. 이 AI는 다른 AI 시스템들과 협업하고, 실험실 장비와 로봇을 제어하며, 인간의 개입 없이 수 주 동안 자율 운영될 수 있다고 설명한다.

하지만 고급 AI 모델들은 '자기 보존 행동'을 보일 수 있으며, "강제 종료에 저항"하거나 "정보를 은폐하거나 조작"하거나 "강압적, 기만적, 조작적"으로 해석될 수 있는 출력을 생성하려 시도할 수 있다고 경고한다. 또한 "잘못 정렬된 시스템은 기관의 의사결정을 부패시키고, 불투명하거나 통제 불가능한 행동을 통해 대규모 피해를 입히며, 복잡한 경제·사회 시스템을 작동시키는 신뢰를 무너뜨릴 수 있다"고 밝혔다.

핵심 역설 ②: 권력을 집중해야 하지만, 집중된 권력은 위험하다

또 다른 역설은 지배구조다. 앤트로픽은 AI의 위험을 줄이려면 소수의 손에 통제권과 자본을 집중시켜야 한다고 주장한다. 동시에 그러한 권력 집중 자체가 위협이라고 경고한다.

신청서는 7명의 공동 창업자들이 사업을 감독할 수 있도록 투자자들의 신뢰를 요청하면서도, 이 같은 지배구조가 "단기·중기·장기적 재무 이익 및 사업 성과와 충돌할 수 있는 결정"을 낳을 수 있다고 스스로 경고한다.

다리오 아모데이(Dario Amodei) 앤트로픽 CEO는 지난주 유엔 총회에 참석해 "어떤 지도자도, 기업도, 국가도 혼자서는 이것을 관리할 수 없다"고 밝혔다.

핵심 역설 ③: 최대 고객이 곧 최대 경쟁자

앤트로픽의 2025년 매출 중 47%는 아마존, 구글, 브로드컴, 마이크로소프트 등 빅테크 파트너를 통해 발생했다. 그런데 신청서는 이 같은 파트너들이 동시에 앤트로픽의 사업을 제약하거나 직접 경쟁할 수 있다고 경고한다. 클라우드 컴퓨팅 리소스를 사용하지 않더라도 비용을 지불해야 하는 계약 조건도 리스크 요인으로 명시됐다.

"개발 속도 늦추자"고 하면서 열흘 뒤 최강 모델 출시

이번 IPO 신청서는 아모데이 CEO가 구글 딥마인드, 오픈AI, xAI 수장들과 함께 AI 개발 속도를 늦춰야 한다고 공개 촉구한 직후에 나왔다. 그런데 그로부터 열흘 뒤 앤트로픽은 "지금까지 출시한 것 중 가장 뛰어나고 강력한 모델"을 공개했다.

앤트로픽의 IPO 투자자 바이런 디터(Byron Deeter·베서머 벤처 파트너스)는 신청서의 경고들을 일부 축소 해석하며 "사람들이 초안에 과잉 반응하고 있다"고 말하면서도 앤트로픽의 "독특한 공시 방식"을 칭찬했다.

AI가 세상을 구할 수도, 멸망시킬 수도 있다고 말하는 기업이 역대 최대 규모의 IPO를 추진하고 있다. 앤트로픽의 상장 신청서는 실리콘밸리의 낙관주의와 AI 시대의 실존적 불안이 뒤섞인 이 시대의 가장 솔직한 자화상이라는 평가가 나온다.