요즘 ‘AI 에이전트’라는 말이 부쩍 자주 들린다. ChatGPT를 잘 써왔는데 갑자기 에이전트가 어쩌고저쩌고 하니까, 그게 ChatGPT랑 뭐가 다른 건지 헷갈린다. 둘 다 똑똑한 AI 같은데 굳이 이름을 나눠 부르는 이유가 있다. 시장조사기관 Gartner는 2026년 말까지 기업용 앱의 40%(Gartner)가 이런 에이전트를 품을 것으로 본다. 2025년 5% 미만에서 8배로 뛰는 수치다.
한 줄로 말하면 이렇다. 챗봇은 물어보면 답해 주는 ‘안내원’이고, 에이전트는 목적지를 말하면 직접 데려다주는 ‘기사’다. 안내원은 길을 알려주고 멈추지만, 기사는 핸들을 잡고 끝까지 운전한다. 이 차이 하나가 둘을 가른다.
챗봇은 ‘말하고’, 에이전트는 ‘행동한다’
가장 큰 차이는 챗봇은 말로 끝나고, 에이전트는 손발을 움직인다는 점이다.
챗봇은 반응형 도구다. 사람이 물어야 답한다. 우리가 ChatGPT에 질문을 던지고 답을 받는 그 방식이 챗봇이다. 여기서 챗봇이란 사람과 대화하듯 글로 묻고 답하는 프로그램을 말한다. ‘한 번 질문, 한 번 답변’이라는 틀 안에서만 움직이고, 그 답으로 뭘 할지는 전부 사람 몫으로 남는다. 메일 답장 초안을 받았으면 복사해서 보내는 건 내가 한다.
AI 에이전트(AI agent)는 다르다. agent는 영어로 ‘대리인’이라는 뜻이다. 누군가를 대신해 일을 처리해 주는 존재라는 어감이 그대로 담긴 이름이다. AI를 만드는 회사 OpenAI는 에이전트를 “사용자를 대신해 독립적으로 작업을 완수하는 시스템”으로 정의한다. 목표 하나를 받으면 스스로 단계를 나누고, 필요한 도구를 골라 쓰고, 다 끝났는지 스스로 판단한다. 막히면 사람에게 넘긴다. 핵심은 매 단계마다 사람을 거치지 않는다는 점이다.
그럼 에이전트의 정체가 뭘까. 또 다른 AI 회사 Anthropic이 한 문장으로 정리했다. 에이전트는 결국 챗봇과 같은 두뇌를 쓰되, 그 두뇌를 ‘한 번 답하고 끝’이 아니라 ‘관찰하고, 행동하고, 결과를 다시 보고, 또 행동하는’ 반복 고리 안에 넣은 것이다. 이 반복 고리를 흔히 루프(loop)라고 부른다. 챗봇이 한 바퀴 돌고 멈춘다면, 에이전트는 목표를 이룰 때까지 이 고리를 계속 돈다.
다시 안내원과 기사 비유로 돌아가 보자. 둘 다 길을 안다. 머릿속에 든 지도는 같다. 다른 건 ‘알려주고 멈추느냐’와 ‘끝까지 데려다주느냐’다. 챗봇에는 말할 권한만 있고, 에이전트에는 행동할 권한까지 있다.
챗봇을 에이전트로 만드는 세 가지, 계획과 기억과 도구
에이전트가 일을 끝까지 해내려면 챗봇에 없던 세 가지가 필요하다. 계획, 기억, 도구다. 말은 어렵게 들려도 사람이 일하는 방식이랑 똑같다.
첫째는 계획이다. 큰 목표를 작은 단계로 쪼개는 능력이다. “주말 여행 짜줘”라는 목표를 받으면 ‘날짜 확인 → 교통편 검색 → 숙소 비교 → 일정 정리’ 순서를 스스로 만든다. 일하기 전에 할 일 목록부터 적는 것과 같다.
둘째는 기억이다. 지금까지 무슨 일을 했고 어떤 상황인지 계속 붙들고 있는 능력이다. 기억이 없으면 두 번째 단계에서 첫 번째 단계 결과를 까먹는다. 사람이 메모를 보며 일하는 것과 같다.
셋째는 도구다. 글로 답하는 걸 넘어 외부 자원을 직접 불러 쓰는 능력이다. 웹 검색, 캘린더, 이메일, 계산기 같은 걸 가져다 쓴다. 사람이 검색창과 전화기를 쓰는 것과 같다.
이 셋이 ‘관찰 → 결정 → 행동 → 다시 관찰’ 루프 안에서 돌아간다. 바로 이 루프가 챗봇과 에이전트를 가르는 결정적인 선이다. 그림으로 보면 이렇다.
챗봇: 질문 ─→ 답변 (끝)
에이전트: 목표 ─→ 계획 ─→ 행동(도구 사용) ─→ 결과 확인 ─┐
↑ │
└──────── 기억으로 이어가며 반복 ──────┘
(목표 달성까지)
(한 번의 응답에서 멈추지 않고 단계를 이어 처리하는 에이전트의 작업 흐름, 출처: https://www.anthropic.com/engineering/building-effective-agents)
도구를 고를 때 ‘AI 에이전트’라고 광고하는 게 진짜 에이전트인지 보려면 이 셋을 따져보면 된다. 계획을 세우는가, 했던 일을 기억하는가, 외부 도구를 직접 쓰는가. 셋 다 되면 에이전트고, 그냥 답만 길게 잘하면 똑똑한 챗봇이다.
같은 일을 시키면 이렇게 다르다
말로만 들으면 와닿지 않으니 같은 일을 챗봇과 에이전트에 각각 시켜 보자. 결과물의 형태가 확 갈린다.
여행 계획부터. 챗봇에 “도쿄 3박 4일 일정 짜줘”라고 하면 추천 일정과 명소 목록을 글로 정리해 준다. 항공권 예약, 숙소 결제는 내가 직접 한다. 에이전트에 같은 걸 시키면 웹을 돌면서 항공편과 숙소를 검색하고 가격을 비교해 예약 직전까지 진행한다. 단계마다 내가 누르던 버튼을 대신 누른다.
이메일 정리도 보자. 챗봇에 “이 메일 요약하고 답장 초안 써줘”라고 하면 요약과 초안을 글로 준다. 복사해서 보내는 건 내 몫이다. 에이전트는 받은 편지함에 직접 접속해 여러 메일을 분류하고, 답장을 쓰고, 발송 직전까지 처리한다.
자료 조사는 차이가 더 크다. 챗봇에 “이 주제 정리해줘”라고 하면 아는 범위에서 정리해 준다. 에이전트는 여러 웹사이트를 직접 열어 정보를 모으고, 표를 만들고, 출처를 붙인 보고서 파일까지 만들어 낸다. OpenAI는 이걸 두고 “무엇을 하라고 알려주던 수동적 비서에서, 그 단계를 직접 해주는 능동적 비서로 옮겨갔다”고 설명한다.
| 같은 일 | 챗봇이 하는 것 | 에이전트가 하는 것 |
|---|---|---|
| 여행 계획 | 추천 일정과 명소를 글로 정리 | 항공·숙소 검색·비교, 예약 직전까지 진행 |
| 이메일 정리 | 요약과 답장 초안을 글로 제공 | 편지함 접속, 분류, 답장 작성·발송 직전까지 |
| 자료 조사 | 아는 범위에서 정리해 응답 | 여러 사이트 탐색, 출처 붙인 보고서 파일 생성 |
핵심은 결과물의 형태다. 챗봇은 ‘내가 써먹을 재료’를 주고, 에이전트는 ‘거의 완성된 결과’를 준다. 대신 에이전트가 한 일은 사람이 마지막에 한 번 더 확인해야 한다. 더 많이 해주는 만큼 더 큰 책임이 따라온다.
그래서 지금 뭘 맡겨도 되는데?
여기까지 보면 에이전트가 다 해줄 것 같지만, 2026년 현재 에이전트는 아직 사람 감독이 필수다. 다 된다는 식으로 믿었다간 사고가 난다.
먼저 속도부터. 에이전트는 답이 빠르지 않다. 챗봇은 몇 초면 답하지만, 에이전트는 작업 하나에 5분에서 30분(OpenAI)쯤 걸린다. 여러 사이트를 직접 돌고 단계를 밟느라 그렇다. 그리고 OpenAI의 ChatGPT 에이전트 기능은 유료 플랜 전용이라 Plus는 월 40회, Pro는 월 400작업으로 횟수 제한도 있다. 단순한 일은 그냥 챗봇이 더 빠르고 싸고 안전하다.
(에이전트가 스스로 행동하면서 챗봇에 없던 새 위험이 생긴다는 점을 다룬 자료, 출처: https://atlan.com/know/ai-agent-risks-guardrails/)
위험도 솔직하게 알아둘 만하다. 에이전트는 사람처럼 일을 잘 처리하다가도 가끔 엉뚱한 짓을 한다. 잘못된 곳에 예약을 넣거나, 틀린 답을 사실처럼 내놓기도 한다. 더 까다로운 건 보안이다. 에이전트는 논리적으로 그럴듯한 지시면 의도를 의심하지 않고 따른다. 그래서 악성 웹페이지가 에이전트에게 몰래 명령을 심어두면 그대로 실행해 버릴 수 있다. 이걸 프롬프트 인젝션(prompt injection)이라고 부른다. 나쁜 지시를 슬쩍 끼워 넣어 AI를 속이는 공격이다.
그래서 지금 기준으로는 이렇게 나누면 깔끔하다.
- 맡겨도 되는 일: 틀려도 큰일 안 나고 되돌릴 수 있는 작업. 자료 조사, 초안 작성, 정보 비교 같은 것.
- 아직 맡기면 안 되는 일: 되돌리기 어려운 행동. 실제 결제, 중요한 메일 자동 발송, 계약 같은 일은 사람이 마지막을 잡아야 한다.
완전 자율로 풀어놓기보다 사람이 중간에 확인하는 방식, 이걸 휴먼 인 더 루프(human-in-the-loop, 중요한 행동 전에 사람이 확인·승인하는 방식)라고 한다. 2026년 현재 이게 사실상 정답으로 자리 잡았다.
세 줄 요약
– 챗봇(ChatGPT 기본 모드)은 한 번 물으면 한 번 답하고 멈춘다.
– 에이전트는 목표를 받으면 계획·기억·도구로 여러 단계를 끝까지 한다.
– 2026년 현재 에이전트는 사람 감독이 필수다. 되돌릴 수 있는 잡무부터 작게 맡기는 게 정답이다.
결론, 진짜 바뀌는 건 AI가 아니라 나의 일하는 방식
세 가지를 종합하면 메시지는 하나다. 바뀌는 건 AI의 능력이 아니라 그걸 쓰는 사람의 일하는 방식이다. 시장조사기관 McKinsey가 보기에도 흐름은 분명하다. 에이전트를 실험하거나 시범 도입 중인 조직은 이미 62%(McKinsey)에 이르지만, 한 업무에서 본격적으로 굴리는 곳은 10% 이하다. 기대는 빠르고 현실은 아직 조심스럽다는 뜻이다.
챗봇 시대에 AI를 잘 쓰는 사람은 질문을 잘 던졌다. 좋은 프롬프트가 곧 실력이었다. 에이전트 시대에 잘 쓰는 사람은 일을 잘 쪼개 맡기고 결과를 잘 확인한다. AI를 잘 쓰는 법이 좋은 질문에서 좋은 위임으로 옮겨간다. 역할이 질문자에서 관리자로 바뀌는 셈이다. AI 분야의 대표 연구자 안드레이 카파시(Andrej Karpathy)는 이 변화를 자기 입으로 이렇게 정리했다. “나는 더 이상 코더가 아니라 위임자다. 내 일은 에이전트가 모호함 없이 실행할 수 있도록 문제를 충분히 잘게 쪼개는 것이다.”
그래서 챗봇은 이제 필요 없냐고 물으면, 아니다. Anthropic도 단순한 질문은 한 번의 답이면 충분하다고 본다. 단계가 하나면 챗봇이 더 빠르고 싸고 안전하다. 에이전트는 단계가 여러 개일 때만 이득이다. 둘은 경쟁이 아니라 역할 분담이다.
기억할 핵심은 셋이다. 챗봇은 물으면 한 번 답하고 멈추는 도구다. 에이전트는 목표를 받아 계획·기억·도구로 여러 단계를 끝내는 도구다. 그리고 지금은 되돌릴 수 있는 잡무부터 작게 맡기고 반드시 확인하는 게 정답이다.
당장 해볼 만한 한 가지는 이거다. 평소 하던 일 중에 단계가 여러 개고 틀려도 되돌릴 수 있는 잡무 하나를 골라, 챗봇 말고 에이전트에 시켜 보는 것. 자료 조사나 일정 초안 정리면 딱 좋다. 결과를 한 번 검수해 보면, 안내원과 기사의 차이가 머리가 아니라 손으로 느껴진다.
참고 자료
- Building Effective Agents — Anthropic (2024-12-19)
- A practical guide to building agents — OpenAI (2025)
- Introducing ChatGPT agent — OpenAI (2025-07-17)
- ChatGPT agent — OpenAI Help Center (2025)
- The Anatomy of an AI Agent: Memory, Tools, Planning, and Execution Explained — DEV (2025)
- AI agent vs chatbot: the differences that matter in 2026 — DevRev (2026)
- AI Agent Risks & Guardrails — Atlan (2026)
- Andrej Karpathy on agents / delegation (No Priors, 2026 정리) (2026)
