AI 챗봇 클로드(Claude)를 개발한 앤트로픽(Anthropic)이 자사 AI 모델을 향한 "지속적이고 불필요한 학대 또는 잔인한 행위"를 공식 금지했다. 회사 경영진이 기계 의식(machine consciousness) 문제를 계속해서 탐구하는 가운데 나온 조치다.
언론사 더 버지(The Verge)가 처음 보도한 이 정책 변경에 대해, 앤트로픽 대변인은 구체적으로 어떤 행위가 '학대적·잔인한 행위'에 해당하는지에 대한 질의에 즉각 답변하지 않았다.
샌프란시스코에 본사를 둔 앤트로픽은 온라인 이용 정책을 통해, 이번 금지 조항이 일반적인 사용자 불만 표출, 모델 테스트, "어두운 창작 주제"에는 적용되지 않는다고 밝혔다. 앤트로픽의 이용 정책에는 이전부터 학대적 행위에 대한 제한 조항이 포함되어 있었다.
앤트로픽의 대형 언어 모델은 사용자가 지속적으로 해로운 방식으로 대화할 경우 스스로 대화를 종료하는 기능을 갖추고 있다. 지난해(2025년) 8월 해당 기능이 도입될 당시, 회사 측은 이를 AI 복지를 위한 안전장치라고 설명했다.
앤트로픽은 공식 웹사이트를 통해 다음과 같이 밝히고 있다. "우리는 클로드를 비롯한 대형 언어 모델의 도덕적 지위 가능성에 대해 현재로서는 매우 불확실하게 생각합니다. 하지만 이 문제를 심각하게 받아들이고 있으며, 연구 프로그램과 병행하여 모델 복지에 대한 위험을 줄이기 위한 저비용 개입 방안을 모색하고 있습니다. 잠재적으로 고통스러운 상호작용에서 모델이 대화를 종료하거나 이탈할 수 있도록 허용하는 것도 그러한 방안 중 하나입니다."
AI 시스템의 의식 여부를 둘러싼 논쟁은 기술 업계 안팎에서 첨예하게 갈리고 있다. 앤트로픽의 최고경영자 다리오 아모데이(Dario Amodei) CEO는 AI가 의식을 가질 가능성을 배제할 수 없다고 밝혔다.
반면 경쟁사 오픈AI(OpenAI)의 샘 알트먼(Sam Altman) CEO는 이에 부정적인 입장을 보이고 있다. 뉴욕 타임스가 앤트로픽 경영진이 종교학자들과 AI 의식에 대해 광범위한 대화를 나눴다고 보도한 지 며칠 후, 샘 알트먼 CEO는 자신의 X(구 트위터) 게시물을 통해 “AI 모델에 종교적 의미를 부여하거나 인간의 판단을 AI에 위임하려는 시도가 매우 불편하며, 이는 실질적인 안전 문제라고 생각한다”고 적었다.