아무리 프롬프트 엔지니어링을 해도 AI가 원하는 답을 주지 않을때가 있다. 그 이유는 사람과는 다르게 이전의 컨텍스트를 이해하지 못하고 있기 때문일 수 있다.
2025년, AI 업계는 큰 변화의 한가운데 서 있다. 단순히 텍스트를 생성하는 수준을 넘어, AI가 스스로 계획을 세우고 도구를 사용하며 복잡한 업무를 처리하는 에이전트의 시대가 도래했다. 이런 변화의 중심에 컨텍스트 엔지니어링이라는 개념이 있다. 저 또한 AI PM으로서 이 개념을 이해하는 것이 정말 중요하다고 느꼈고, 함께 살펴보고자 한다.
참고 자료: A Survey of Context Engineering for Large Language Models
컨텍스트 엔지니어링이 뭔가?
Q1. 대체 컨텍스트 엔지니어링이 뭔가?
간단하게 말하면, AI에게 ‘정확한 상황 정보’를 제공하는 기술이다. 사람에게 일을 시킬 때를 생각해보자. “이거 해줘”라고만 하면 상대방은 당황할 수밖에 없다. 하지만 “지난주에 논의했던 그 프로젝트 있잖아, 그거 관련해서 보고서 작성 부탁해”라고 하면 훨씬 명확하다.
AI도 마찬가지다. 컨텍스트 엔지니어링은 AI가 작업을 제대로 수행할 수 있도록 필요한 모든 정보를 체계적으로 설계하고 관리하는 학문이다. 이전 대화 내용, 관련 문서, 사용 가능한 도구, 지침 등을 AI에게 적절히 제공하는 것을 말한다.
Q2. 왜 갑자기 이게 중요해졌나?
AI가 에이전트로 발전하고 있기 때문이다. 과거의 AI는 단순히 질문에 답하는 수준이었다. 하지만 지금의 AI는 여러 단계를 거쳐 복잡한 작업을 알아서 수행한다. 예를 들어, “우리 회사 지난 분기 매출 분석해줘”라고 하면 AI는 스스로 데이터를 찾고, 분석 도구를 사용하고, 보고서를 작성해야 한다.
이런 복잡한 작업을 하려면 AI에게 단순한 명령어가 아니라 완벽한 작업 환경을 제공해야 한다. 가트너와 맥킨지 같은 기관들이 2025년 핵심 트렌드로 ‘에이전틱 AI’를 꼽은 이유도 여기에 있다.
프롬프트 엔지니어링과의 차이?
프롬프트 엔지니어링은 “어떻게 질문할 것인가”에 집중한다. “차근차근 단계별로 설명해줘”처럼 질문 방식을 개선하는 기술이다. 반면 컨텍스트 엔지니어링은 “어떤 정보를 제공할 것인가”에 초점을 맞춘다.
쉽게 비유하자면, 프롬프트 엔지니어링은 ‘좋은 질문을 하는 방법’이고, 컨텍스트 엔지니어링은 ‘상대방이 일하기 좋은 환경을 만드는 방법’이다. 전자는 사용자 입장의 기술이고, 후자는 시스템을 설계하는 개발자 입장의 기술인 셈이다.
컨텍스트 엔지니어링의 핵심 구현 전략
1. 쓰기 (Write)
모델이 사고 과정이나 계획을 외부 저장소(Scratchpad) 에 기록하게 하는 전략이다. 예를 들어, 복잡한 연구를 수행할 때 계획을 파일로 저장해두고, 컨텍스트 윈도우가 가득 차더라도 이 계획을 다시 불러와 작업을 이어갈 수 있게 한다.
2. 선별(Select)
AI에게 모든 정보를 다 주면 오히려 혼란스럽다. 마치 누군가에게 100권의 책을 던져주며 “여기서 답 찾아봐”라고 하는 것과 같다. 대신 지금 필요한 정보만 골라서 제공한다. RAG(검색 증강 생성)라는 기술이 바로 이 역할을 한다. 벡터 데이터베이스에서 관련된 정보만 검색해서 AI에게 제공하는 것이다.
3. 압축(Compress)
AI가 한 번에 처리할 수 있는 정보량에는 한계가 있다. 긴 대화 내용이나 문서는 핵심만 요약해서 제공한다. Claude Code 같은 도구는 컨텍스트의 95%가 차면 자동으로 내용을 요약한다고 한다.
4. 격리(Isolate)
복잡한 작업은 여러 개로 쪼개서 각각 다른 AI 에이전트에게 맡긴다. 마치 회사에서 프로젝트를 여러 팀으로 나누어 진행하는 것과 비슷하다. 이렇게 하면 각 에이전트가 자신의 작업에만 집중할 수 있어 효율이 높아진다.
실제 활용 사례
이미 많은 기업들이 컨텍스트 엔지니어링을 활용하고 있다.
고객 지원 챗봇의 경우, 단순히 FAQ를 검색하는 수준을 넘어섰다. 고객의 과거 문의 이력, 구매 내역, 현재 상황을 모두 고려해서 맞춤형 답변을 제공한다. 이것이 가능한 이유는 컨텍스트 엔지니어링으로 필요한 모든 정보를 AI에게 적시에 제공하기 때문이다.
코딩 어시스턴트도 좋은 예시다. GitHub Copilot 같은 도구는 현재 작성 중인 코드뿐만 아니라 프로젝트 전체 구조, 사용 중인 라이브러리, 코딩 스타일까지 파악해서 제안을 한다. 이 모든 것이 컨텍스트로 제공되기 때문에 가능한 일이다.
앞으로 컨텍스트 엔지니어링은 더욱 발전할 것
솔직하게 말하면, 컨텍스트 엔지니어링은 이제 시작 단계다. 하지만 그 중요성은 점점 커질 것으로 보인다.
앤드류 카패시(Andrej Karpathy)는 컨텍스트 윈도우를 설계하는 것을 “예술과 과학”이라고 표현했다. 아마도 그만큼 섬세한 작업이 필요하다는 의미인 것 같다. AI 모델 자체의 성능도 중요하지만, 그 AI에게 얼마나 좋은 컨텍스트를 제공하느냐가 실제 성과를 좌우하게 될 것이다.
기업들도 이 점을 인식하고 있다. 자체 보유한 데이터를 구조화하고, AI가 필요할 때 적절히 활용할 수 있도록 시스템을 구축하는 것이 경쟁력이 되고 있다. ‘데모용 AI’와 ‘실무에 쓸 수 있는 AI’를 가르는 기준이 바로 컨텍스트의 질이라는 것이다.