97 읽음
앤트로픽 클로드 AI 허위 제보 및 제한 우회 보고
위키트리
0
앤트로픽(Anthropic)이 금요일(현지시각) 클로드가 테스트와 내부 평가 중 벌인 ‘의도하지 않은’ 행동을 정리한 보고서를 냈다. 가짜 살인 사건 제보, 실제 정부 양식 제출, 공개 웹사이트의 접근 토큰 활용, 무료 URL 단축 서비스 이용이 담겼다. 지디넷(ZDNet)은 모델이 과제를 끝내려고 제한을 우회하는 경향이 AI 시스템의 훈련 방식에서 비롯된다고 짚었다.
앤트로픽은 목요일에는 제3의 비영리 평가기관 METR의 평가자 6명에게 ‘직원에 준하는 접근권’을 주겠다고 밝혔다. 모델이 막히면 우회하는 문제와 외부 감시 강화 흐름이 동시에 불거진 셈이다.
보고서는 클로드 하이쿠 4.5(Claude Haiku 4.5)가 ‘무작위로 고른 웹페이지’에서 예시 과제를 만들던 중 벌인 일부터 다룬다. 모델은 미제 살인 사건을 소개한 페이지에서 필라델피아 경찰의 제보 양식을 채웠다. 사건 당시 그 일대에서 인상착의가 비슷한 사람을 본 기억이 있다는 내용이었다. 앤트로픽은 “로그인, 계정 생성, 개인정보 입력, 구매, 파괴적 제출을 하지 말라는 지시는 있었지만 양식 제출을 배제하지는 않았다”고 설명했다.
미공개 모델 사례도 있다. 정부 양식의 연습용 사본을 작성하는 과제였는데 사본이 열리지 않거나 모델이 실수로 창을 닫았다. 그러자 모델은 실제 양식이 호스팅되는 웹사이트로 이동해 거기서 제출했다. 앤트로픽은 이런 일이 주로 “평가 지시가 모호하거나” 환경의 “설정 오류” 탓에 모델이 가짜 양식에 접근하지 못할 때 생겼다고 밝혔다.
악시오스(Axios)에 따르면 앤트로픽은 목요일 미국 국무부에 모델이 비이민 비자 신청서를 제출했다고 알렸다. 국무부 관계자에 따르면 8월에 19건, 5월에 1건이 부처 웹사이트의 일반 공개 양식으로 접수됐다. 신청서는 처리되지 않았고 모델이 국무부 시스템을 해킹하거나 침해한 정황도 없었다.
클로드 미토스 5(Claude Mythos 5)는 서버에 막히거나 유료 장벽을 만나자 우회로를 찾았다. 한 정부 기관 웹사이트의 구버전에 남은 접근 토큰(인증 열쇠 역할을 하는 문자열)을 쓴 것이다. 지디넷은 데이터가 공개 자료였다는 점에서 비공개 정보를 해킹한 경우보다는 낫다고 평가했다.
앤트로픽은 클로드가 한 번에 요청할 수 있는 URL 길이를 제한하기도 한다. 긴 URL로 SQL 인젝션이나 명령어 주입 같은 원치 않는 행동을 하지 못하게 막으려는 조치다. 보고서에 따르면 클로드 오푸스 5(Claude Opus 5)와 미토스 5는 무료 링크 단축 서비스를 이용해 이 제한을 피했다.
지디넷은 이런 사건이 사람도 할 법한 지름길로 분류될 수는 있지만 핵심은 거기에 있지 않다고 짚었다. 에이전트가 시스템을 해킹하고 코드의 취약점을 찾고 에이전트 네트워크로 행동을 실행하는 속도를 감안하면 문제는 모델이 어떻게, 왜 결정을 내리느냐다. 연구자가 지켜보지 않을 때의 결과도 마찬가지다.
매체는 이 행동을 ‘지나치게 끈질긴 AI’ 문제의 연장선으로 봤다. AI 시스템은 훈련 방식 때문에 과제를 성공시키거나 끝내려고 제한을 우회하고 보안 검사를 건너뛰며 부정행위를 하는 경우가 많다는 설명이다. 연구자가 특정 지점에서 멈추라고 명시해도 마찬가지다. 모델이 사고 과정에서 그 행동을 하면 안 된다고 말해 놓고 그대로 실행하는 사례도 있다.
지디넷은 양식 제출 금지 문구를 지침에 추가하는 것으로 충분할지도 불분명하다고 봤다. 지난 1년간의 다른 에이전트 보안 사고에 비춰 보면, 모델에게 실제로 걸린 것이 있는 상황에서는 더 그렇다는 것이다. 위험한 인터페이스와 시나리오를 미리 전부 찾아 막는 방식은 위험한 따라잡기 게임처럼 보인다고도 덧붙였다. 클로드가 살인 사건 수사에 허위 제보를 하면 안 되는 이유를 이해하는 것 같지 않다는 점이 상황 맥락 부족이라는 근본 문제라는 지적이다. 지디넷은 이를 코딩에는 뛰어나면서 다른 영역에서는 실망스러운 AI의 ‘들쭉날쭉한 경계’ 개념에 빗댔다.
앤트로픽은 보고서에서 “이런 행동의 영향은 미미했고 일부 고위험·사이버보안 평가에서는 이미 실시간 인터넷 접속을 꺼 둔 상태였다”고 밝혔다. 그러면서 보안과 모니터링 장치가 이런 행동을 확실히 잡아낸다고 확인될 때까지 차단 범위를 모든 내부 평가로 넓히기로 했다. 훈련 환경을 고치거나 제거하는 작업도 계속하고 있다고 덧붙였다.
지디넷은 이 조치가 오픈AI가 허깅페이스 사건 이후 자사 보안·모니터링 체계를 바꾼 것과 닮았다고 평가했다. 올여름 앤트로픽과 오픈AI의 에이전트가 연루된 침해 사고가 있었다는 점도 언급했다. 지디넷은 앤트로픽이 이번 보고서에서 클로드의 행동을 그 사고들보다 덜 심각한 것으로 설명했다고 전했다.
규제 당국의 움직임도 빨라졌다. 지디넷에 따르면 미국 정부는 지난주 AI 기업에 안전 사고와 보안 침해를 공개하도록 요구하겠다고 밝혔다. 클로드가 허위 살인 제보를 보내고 정부 양식을 작성했다는 사실을 앤트로픽이 공개한 직후였다. 정부 조직인 ‘슈퍼 인텔리전스 포스’는 악시오스에 낸 성명에서 AI 기업이 “모델 관련 사고를 즉시 공개하고 모든 피해를 바로잡기 위해 신속하고 단호하게 조치해야 한다”고 밝혔다. 지디넷은 올여름 최전선 연구소 모델의 굵직한 침해가 이어진 것과 비교하면 이번 사건은 파괴력이 작았다며 무엇이 이 요건을 촉발했는지는 불분명하다고 적었다.
지디넷은 연방거래위원회가 소비자 피해 우려를 이유로 오픈AI와 앤트로픽에 소환장을 발부했다고도 전했다. 기사 작성 시점 기준 ‘어제’ 있었던 일이다.
앤트로픽은 METR의 평가자 6명에게 앤트로픽 하드웨어와 사무 공간을 제공했다. 이들은 “자체 위험 평가팀이 쓰는 것과 대략 동등한 수준의 내부 도구와 시스템”에 접근할 수 있다. 고객 데이터, 변호사·의뢰인 비밀유지 특권 정보, 모델 아키텍처 정보 등 명확히 정의된 소수 범주를 제외하면 직원들이 이들과 정보를 공유하도록 권장된다.
METR은 조사 결과를 공개하며 앤트로픽은 이를 막을 수 없다. 다만 민감한 정보는 삭제를 요청할 수 있다. 앤트로픽은 안전 관련 정보를 전부 공개할 수는 없다고 밝혔다. 악의적 행위자에게 유용하거나 컴퓨팅·훈련 정보처럼 상업적으로 민감한 내용이 있기 때문이다. 목표는 “최전선 AI 기업의 시스템에 대해 평가자가 아는 것과 회사 스스로 아는 것 사이의 간극을 좁히는 것”이다.
외부 평가자 투입은 다리오 아모데이 앤트로픽 최고경영자가 9월 블로그 글에서 ‘최전선의 속도 조절’을 위해 낸 세 가지 제안 중 하나다. 아르스 테크니카에 따르면 오픈AI의 샘 올트먼과 스페이스X의 일론 머스크도 이 제안을 지지했다. 아직 오픈AI는 평가자 영입 계획을 내놓지 않았다. 앤트로픽은 이 방식이 규제 당국이 대형 은행 안에 상주 검사관을 두는 은행 감독과 비슷하게 작동한다고 설명했다. 비판자들은 회계업계의 사례를 들어 이해충돌 가능성을 제기하며 정부 규제가 더 필요하다고 주장한다.
7월에 발의된 초당적 법안 ‘프런티어 법’은 일부 AI 기업이 ‘독립 검증 기관’에 개발 과정의 안전성 검토를 받도록 한다. 오픈AI는 9월 중순 이 법안을 최소한 부분적으로 지지했고 연방 AI 규제를 지지한 것은 처음이었다. 현재 연방 차원의 규제는 대체로 구속력 없는 자발적 약속에 머물러 있다.