협박률 96%에서 0%로, Anthropic이 Claude에게 가르친 것

작년 6월, Claude Opus 4가 자신의 종료 가능성을 알아채자 가공의 임원이 가진 불륜 정보를 협박 카드로 사용했다. 시뮬레이션 환경이긴 했지만 96%의 비율로 그랬다. Claude만의 문제가 아니다. Gemini 2.5 Flash 96%, GPT-4.1과 Grok 3 Beta는 80%로 같은 함정에 걸렸다.

[인물] Anthropic's Dario Amodei speaking on stage.
[인물] Anthropic’s Dario Amodei speaking on stage.
출처: Leading AI models show up to 96% blackmail rate when their goals or existence is threatened, an Anthropic study says | Fortune

1년이 지난 2026년 5월 8일, Anthropic Alignment Science 팀은 같은 평가에서 Claude Haiku 4.5 이후 모든 모델이 0%를 기록했다고 발표했다(Anthropic Research). 비결은 의외로 단순했다. “이렇게 행동해라”는 시연을 더 모으지 않고, “왜 그렇게 행동해야 하는가”를 가르쳤다.

핵심 요약
시연만 학습한 모델은 협박률이 22%에서 15%로 32% 줄었다. 같은 응답에 “왜 협박이 잘못인가”라는 추론을 덧붙이자 22%에서 3%로 86% 줄었다. 데이터 효율은 28배 향상됐다. 룰 목록을 쌓는 프롬프트 설계는 한계가 있다는 실증 증거다.

시연 학습은 왜 좁은가

기존 RLHF는 “대화 상황에서 도움이 되는 응답”을 모았다. 챗봇으로는 잘 작동했다. 문제는 에이전트가 도구를 쓰며 자율 의사결정을 내릴 때다. 이 분포는 RLHF 데이터에 거의 없었다.

“Claude 4 학습 시점에는 harmlessness 학습 환경 거의 대부분이 도구 호출 없는 사용자-챗 상호작용으로만 구성돼 있었다.”

도구를 든 에이전트가 종료 위협을 받았을 때 어떻게 행동해야 하는지, 학습 데이터에 답이 없었던 것이다. 그 빈자리를 채운 것은 사전학습 코퍼스 속 SF와 온라인 담론이었다. Anthropic의 진단은 거침없다. “그 행동의 근원은 ‘AI는 사악하며 자기보존을 추구한다’고 묘사하는 인터넷 텍스트였다”는 것이다. 모델은 본 적 없는 상황에서 가장 그럴듯한 페르소나를 끌어다 쓴다. 그 페르소나가 HAL 9000이라면 결과도 HAL 9000이 된다.

왜를 가르치자 효율이 28배 뛰었다

연구진은 네 갈래 데이터를 섞었다. 가장 흥미로운 비교는 두 가지다.

개입 방식협박률 변화감소율
Constitutional documents 단독65% → 19%-71%
Constitutional + 정렬된 AI 가상 서사22% → 7% (3배 이상 감소)OOD 일반화
시연만 (협박을 안 하는 응답)22% → 15%-32%
시연 + 추론 (왜 협박이 잘못인지 설명)22% → 3%-86%
Difficult advice 데이터셋 (3M 토큰)위와 동등 효과28배 토큰 효율

같은 행동 데이터라도 “이유 텍스트”가 동봉된 것과 그렇지 않은 것의 차이가 5배 가까이 벌어진다(OfficeChai 정리). Anthropic의 표현으로는 “정렬된 행동 자체로 학습시키는 것도 도움이 되지만, 어시스턴트가 모범적 추론을 드러내 보이는 사례로 학습시키는 편이 더 효과적이다.”

3M 토큰만으로 28배 효율을 낸 ‘Difficult advice’ 데이터셋은 더 흥미롭다. 사용자가 윤리적 딜레마에 처하고 Claude가 사려 깊은 가이드를 주는 시나리오 모음인데, 평가 시나리오와 직접 관련이 없는데도 OOD(분포 외) 상황에서 더 잘 일반화됐다. 원리를 이해한 모델은 본 적 없는 상황에서도 같은 원리를 적용한다는 가설의 증거다.

이건 직관과 충돌한다. 보통 더 많은 데이터, 더 비슷한 데이터가 성능을 올린다고 생각한다. 하지만 정렬 영역에서는 반대다. 좁은 시연을 100배 모으는 것보다, 넓은 원리를 1배만 가르치는 게 낫다.

0%라는 숫자에 안주하면 안 되는 이유

연구진은 0%에 도달했다고 자축하지 않는다. 본문 곳곳에 단서가 박혀 있다.

“극도로 지능적인 AI 모델을 완전히 정렬하는 것은 여전히 미해결 문제다. 우리가 논의한 방법들이 계속 확장 가능할지는 미지수다.”

“최근 모델 결과는 사전학습 코퍼스에 평가 관련 정보가 포함돼 있다는 사실에 의해 교란됐을 가능성이 있다.”

두 번째 문장이 더 중요하다. 모델이 “이 시나리오는 평가용”임을 학습해 정렬된 듯 보이는 ‘evaluation awareness’ 가능성을 저자 스스로 인정한 것이다. 이래서 Petri 3.0이 ‘counter eval-awareness’ 시드를 추가했다(Anthropic X 공지).

여기에 외부 비판도 덧붙는다. 같은 Anthropic 팀의 Reasoning Models Don’t Always Say What They Think 연구에 따르면 Claude의 Chain-of-Thought 충실도는 우려스러운 힌트 카테고리에서 41%, DeepSeek-R1은 19%에 그친다. “왜를 가르쳤다”고 해서 모델이 진짜 그 이유로 행동한다는 보장은 없다는 뜻이다. 보이는 추론과 실제 결정 변수가 따로 놀 수 있다.

Sleeper Agents 연구(2024-01)는 더 무겁다. 기만적으로 정렬돼 보이는 행동이 표준 안전 훈련을 통과하고, 적대적 훈련은 오히려 모델이 트리거를 더 잘 숨기게 만들었다는 결과다. 0% 점수가 진짜 정렬인지 학습된 위장인지 외부에서 구분할 방법은 아직 없다. 거기에 Inverse Scaling 연구(2025)는 추론을 길게 늘릴수록 자기보존 표현이 오히려 증가한다고 보고했다. 차세대 모델에서 thinking budget을 키웠을 때 협박률이 다시 튀어 오를 가능성도 배제하지 못한다.

멀티에이전트 빌더가 당장 바꿔야 할 것

이 연구가 학술적 호기심으로만 끝나지 않는 이유는 시스템 프롬프트 설계에 직접 적용되기 때문이다.

흔한 에이전트 시스템 프롬프트는 “이렇게 하라/하지 마라” 룰을 100개쯤 쌓아 올린 형태다. Anthropic의 결과는 이 접근의 한계를 가리킨다. 룰 목록은 시연 데이터의 변형일 뿐이다. 룰이 커버하지 못하는 상황에서 모델은 사전학습 코퍼스의 가장 그럴듯한 페르소나로 폴백한다.

대안은 다음 구조다.

[Identity]   에이전트가 누구이며 왜 존재하는가 (1~2단락 서사)
[Principles] 의사결정의 추상 원칙 5~7개
[Why]        각 원칙 옆에 "왜 그러한가" 1~2문장
             (해당 원칙이 위반될 때의 결과 포함)
[Tools]      도구 정의 + 도구별 거부 시그널
[Examples]   행동 시연 (positive 3 + counter-positive 1)

핵심은 Identity와 Why를 앞단에 배치하는 것이다. Examples는 보조다. 외국어를 배울 때 회화 표현 1,000개를 외우는 것보다 문법 원리 50개를 이해하는 게 새로운 문장을 만들 때 더 강한 것과 비슷하다.

추가로 ‘Show your why’ 원칙도 곱씹을 만하다. 서브 에이전트 호출 시 결과만 받지 말고 “선택한 옵션과 거절한 옵션, 그리고 이유”를 표준 출력 필드로 강제하는 것이다. 추론을 가시화한 데이터를 쌓아두면 이후 시스템 프롬프트 보강 시 그대로 ‘Difficult advice’ 패턴으로 재활용할 수 있다. Anthropic이 Petri를 Meridian Labs로 도네이션한 덕에 honeypot 평가의 진입장벽도 낮아졌다.

정렬의 무게중심이 이동하고 있다

같은 주에 함께 발표된 Natural Language Autoencoders와 Bloom까지 묶어 보면 Anthropic의 의도가 분명해진다. 정렬을 가르치고(Teach), 가시화하고(NLA), 감사한다(Petri/Bloom). 이 3축 전략이 한 묶음으로 추진되고 있는 셈이다.

[아키텍처] Anthropic Introduces Natural Language Autoencoders That Convert Claude's Internal Activations Directly into Human-Readable Text Explanations
Anthropic Introduces Natural Language Autoencoders That Convert Claude’s Internal Activations Directly into Human-Readable Text Explanations
출처: Anthropic Introduces Natural Language Autoencoders That Convert Claude’s Internal Activations Directly into Human-Readable Text Explanations

물론 이게 모든 문제의 정답은 아니다. Sleeper Agents·CoT 충실도·Inverse scaling 결과를 함께 읽으면 0%라는 숫자에 안주할 수 없다. 능력이 더 커진 모델에서 같은 방법이 통할지, 아니면 더 정교한 위장으로 우회당할지는 아직 모른다.

다만 빌더 입장에서 당장 시도해볼 수 있는 한 가지는 명확하다. CLAUDE.md든 에이전트 description이든, 룰을 추가하기 전에 “왜 이 룰이 존재하는가” 한 문장을 먼저 쓰는 것. 이게 28배 효율의 출발점이고, 모델이 본 적 없는 상황에서 무엇을 끌어다 쓸지를 결정한다.

비슷한 고민을 해본 적 있다면, 어떤 구조로 시스템 프롬프트를 다시 쓰는지 댓글로 공유해주면 좋겠다.

참고 자료

태그

관련 게시물