ChatGPT 점점 멍청해지는 이유, 대화가 너무 길어서다

“아까 존댓말로 쓰라고 했잖아.” ChatGPT 대화에서 이 말을 세 번째 하고 있다면, 대화가 너무 길어졌다는 신호다. 그래서 더 자세히 설명할수록 오히려 더 헷갈려 한다.

ChatGPT 대화는 왜 길어지면 엇나갈까?

ChatGPT는 답할 때마다 대화 전체를 처음부터 다시 읽는다. 그런데 한 번에 집중할 수 있는 양은 정해져 있다. 그래서 대화가 길어질수록 처음에 정한 규칙이 뒤로 밀린다.

ChatGPT 대화가 길어지자 처음 정한 존댓말 3줄 규칙을 잊고 반말 8줄로 답하는 예시 대화
이해를 돕기 위해 만든 예시 대화

이건 실험으로도 확인됐다. Chroma라는 회사가 AI 모델 18개를 시험했더니, 18개 모두 입력이 길어질수록 결과가 불안정해졌다. 사람들은 이 현상을 컨텍스트 로트(대화가 쌓일수록 AI 답이 흐려지는 현상)라고 부른다.

증상마다 무엇을 빼면 될까?

AI가 엇나가는 모습은 네 가지로 나뉜다. Drew Breunig가 처음 정리했고, IBM도 같은 분류로 설명한다. 그런데 네 가지 모두 고치는 법이 같다. 무언가를 더하지 않고 뺀다.

ChatGPT가 엇나가는 4가지 증상과 증상마다 빼야 할 것을 정리한 카드
네 가지 증상과 빼야 할 것

그래서 한 대화에서 계속 고쳐 달라고 하는 것은 잘 통하지 않는다. 틀린 답과 고친 답이 모두 대화에 남아서 다음 답을 헷갈리게 만들기 때문이다.

우리도 이걸 겪었다

어바웃코어랩은 뉴스레터 발송을 AI에게 맡긴다. 2026년 8월 31일, AI가 긴 대화 끝에 원본 뉴스레터를 잊어버렸다. 그러자 기억나는 대로 새로 쓴 요약본을 진짜처럼 보냈다.

그날 나간 메일은 제목이 보이지 않았다. 흰 바탕에 흰 글씨로 찍혔기 때문이다. 그 뒤로 AI가 긴 원본을 대화 속에 들고 다니지 않게 바꿨다.

오늘 바로 해 볼 것, ChatGPT 긴 대화 하나 옮기기

지금 쓰는 ChatGPT 대화 중 가장 긴 것을 연다. 그리고 맨 끝에 아래 질문을 보낸다.

복사해서 쓰는 질문

지금까지 대화에서 정한 목표와 확정된 조건만
10줄 이내로 정리해줘. 바로잡은 내용은 바로잡은 쪽만 남겨줘.

요약이 오면 한 줄씩 읽고 틀린 줄을 고친다. 그다음 새 대화를 열고 그 요약을 첫 메시지로 붙여 넣는다. 옛 대화는 지우지 말고 둔다. 요약에서 빠진 내용이 필요할 때 찾아 쓸 수 있기 때문이다.

이렇게 하면 같은 말을 반복하던 시간이 무엇을 넘길지 고르는 시간으로 바뀐다. 그 고르는 일만 내가 하고 나머지는 AI에게 맡긴다.

함께 읽으면 좋은 글

'다시 확인해줘'는 이제 그만, Claude Opus 5 프롬프트를 짧게 고쳐 토큰 아끼기 대표 이미지‘다시 확인해줘’는 이제 그만, Claude Opus 5 프롬프트를 짧게 고쳐 토큰 아끼기 길게 다듬어 온 프롬프트에서 무엇을 빼야 답이 나아지는지 정리한 글이다.

어바웃코어랩
어바웃코어랩

현직 AI 프로덕트 매니저. AI 도구를 일상과 업무에 녹여 쓰는 방법을 계속 찾고 기록합니다. 직접 사용한 경험과 공식 문서·연구·인터뷰를 바탕으로 한 분석을 함께 나눕니다. 초안 작성과 자료 정리에 AI를 활용하되, 사실 확인과 최종 판단은 직접 합니다. 부가적인 일은 AI에게. 우리는 일상의 본질에.

기사 : 49