ChatGPT로 몇 초면 끝날 일을 에이전트 기능에 맡기면, 우리는 작업 하나에 5분에서 30분을 기다린다. 반대로 단계가 여러 개인 일을 챗봇에만 시키면 단계마다 내가 직접 손을 대야 한다. 요즘 AI 에이전트라는 말이 부쩍 자주 들린다. ChatGPT를 잘 써왔어도 갑자기 에이전트 얘기가 나오면 헷갈린다. 둘 다 똑똑한 AI인데 굳이 이름을 나눠 부르는 이유가 있다.
시장조사기관 Gartner는 2026년 말까지 기업용 앱의 40%가 이런 에이전트를 품을 것으로 본다. 2025년 5% 미만에서 8배로 뛰는 수치다. 그만큼 에이전트와 마주칠 일이 늘어난다. 그래서 일마다 맞는 쪽을 고르려면 ChatGPT와 AI 에이전트 차이부터 알아야 한다.
30초 요약
- 뺀 일: 단계마다 내가 누르던 버튼. 자료 조사, 일정 초안 정리, 정보 비교처럼 단계가 여러 개고 틀려도 되돌릴 수 있는 잡무가 대상이다.
- 남긴 일: 되돌리기 어려운 행동(실제 결제, 중요한 메일 자동 발송, 계약)과 에이전트가 한 일의 마지막 확인.
- 되찾은 시간: 미측정. 다만 에이전트는 작업 하나에 5분에서 30분이 걸리고 그동안 매 단계마다 사람을 거치지 않는다.
- 든 비용: ChatGPT의 에이전트 기능은 유료 플랜 전용이다. Plus는 월 40회, Pro는 월 400작업까지다.
말로 끝나는 챗봇과 행동하는 AI 에이전트
가장 큰 차이는 챗봇은 말로 끝나고 에이전트는 손발을 움직인다는 점이다.
한 줄로 말하면 챗봇은 물어보면 답해 주는 ‘안내원’이다. 에이전트는 목적지를 말하면 직접 데려다주는 ‘기사’다.
안내원은 길을 알려주고 멈춘다. 반면 기사는 핸들을 잡고 끝까지 운전한다.
챗봇은 사람이 물어야 답한다
챗봇은 반응형 도구다. 우리가 ChatGPT에 질문을 던지고 답을 받는 그 방식이 챗봇이다. 여기서 챗봇이란 사람과 대화하듯 글로 묻고 답하는 프로그램을 말한다.
챗봇은 ‘한 번 질문, 한 번 답변’이라는 틀 안에서만 움직인다. 그래서 그 답으로 뭘 할지는 전부 사람 몫이다.
메일 답장 초안을 받았으면 복사해서 보내는 건 내가 한다.
AI 에이전트 정의, 목표를 받아 끝까지 가는 도구
AI 에이전트(AI agent)는 다르다. agent는 영어로 ‘대리인’이라는 뜻이다. 누군가를 대신해 일을 처리해 주는 존재라는 어감이 그대로 담긴 이름이다.
AI를 만드는 회사 OpenAI는 에이전트를 “사용자를 대신해 독립적으로 작업을 완수하는 시스템”으로 정의한다.
목표 하나를 받으면 스스로 단계를 나눈다. 필요한 도구를 골라 쓰고 다 끝났는지도 스스로 판단한다.
막히면 사람에게 넘기므로 매 단계마다 사람을 거치지 않는다.
그럼 에이전트의 정체가 뭘까. 또 다른 AI 회사 Anthropic이 한 문장으로 정리했다.
에이전트는 챗봇과 같은 두뇌를 쓴다. 다만 그 두뇌를 ‘관찰하고 행동하고 결과를 다시 보고 또 행동하는’ 반복 고리 안에 넣었다.
이 반복 고리를 흔히 루프(loop)라고 부른다. 챗봇은 한 바퀴 돌고 멈춘다. 에이전트는 목표를 이룰 때까지 이 고리를 계속 돈다.
다시 안내원과 기사 비유로 돌아가 보자. 둘 다 길을 안다. 머릿속에 든 지도는 같다.
다른 건 알려주고 멈추느냐, 끝까지 데려다주느냐다. 그래서 챗봇에는 말할 권한만 있고 에이전트에는 행동할 권한까지 있다.
AI 에이전트 조건 세 가지, 계획과 기억과 도구
에이전트가 일을 끝까지 해내려면 챗봇에 없던 세 가지가 필요하다. 계획, 기억, 도구다.
말은 어렵게 들려도 사람이 일하는 방식과 똑같다. 첫째는 계획이다. 큰 목표를 작은 단계로 쪼개는 능력이다.
“주말 여행 짜줘”라는 목표를 받으면 ‘날짜 확인 → 교통편 검색 → 숙소 비교 → 일정 정리’ 순서를 스스로 만든다. 일하기 전에 할 일 목록부터 적는 것과 같다.
둘째는 기억이다. 지금까지 무슨 일을 했고 어떤 상황인지 계속 붙들고 있는 능력이다.
기억이 없으면 두 번째 단계에서 첫 번째 단계 결과를 까먹는다. 그래서 에이전트는 사람이 메모를 보며 일하듯 지난 일을 붙들고 간다.
셋째는 도구다. 글로 답하는 걸 넘어 외부 자원을 직접 불러 쓰는 능력이다. 웹 검색, 캘린더, 이메일, 계산기 같은 걸 가져다 쓴다. 사람이 검색창과 전화기를 쓰는 것과 같다.
이 셋은 관찰, 결정, 행동, 다시 관찰로 이어지는 루프 안에서 돌아간다. 바로 이 루프가 챗봇과 에이전트를 가르는 선이다. 그림으로 보면 이렇다.
챗봇: 질문 ─→ 답변 (끝)
에이전트: 목표 ─→ 계획 ─→ 행동(도구 사용) ─→ 결과 확인 ─┐
↑ │
└──────── 기억으로 이어가며 반복 ──────┘
(목표 달성까지)
그래서 광고에 AI 에이전트라고 적힌 도구가 진짜 에이전트인지 보려면 이 셋을 따져 본다.
계획을 세우는가, 했던 일을 기억하는가, 외부 도구를 직접 쓰는가. 셋 다 되면 에이전트고 그냥 답만 길게 잘하면 똑똑한 챗봇이다.
같은 일을 시키면 이렇게 다르다
말로만 들으면 와닿지 않으니 같은 일을 챗봇과 에이전트에 각각 시켜 보자. 결과물의 형태가 확 갈린다.
여행 계획부터 보자. 챗봇에 “도쿄 3박 4일 일정 짜줘”라고 하면 추천 일정과 명소 목록을 글로 정리해 준다. 항공권 예약과 숙소 결제는 내가 직접 한다.
반면 에이전트에 같은 걸 시키면 웹을 돌면서 항공편과 숙소를 검색하고 가격을 비교한다. 그리고 예약 직전까지 진행한다. 단계마다 내가 누르던 버튼을 대신 누른다.
이메일 정리도 보자. 챗봇에 “이 메일 요약하고 답장 초안 써줘”라고 하면 요약과 초안을 글로 준다. 복사해서 보내는 건 내 몫이다.
하지만 에이전트는 받은 편지함에 직접 접속해 여러 메일을 분류하고 답장을 쓴다. 발송 직전까지 처리한다.
자료 조사는 차이가 더 크다. 챗봇에 “이 주제 정리해줘”라고 하면 아는 범위에서 정리해 준다.
반면 에이전트는 여러 웹사이트를 직접 열어 정보를 모으고 표를 만든다. 출처를 붙인 보고서 파일까지 만들어 낸다.
OpenAI는 이걸 두고 “무엇을 하라고 알려주던 수동적 비서에서, 그 단계를 직접 해주는 능동적 비서로 옮겨갔다”고 설명한다.
| 같은 일 | 챗봇이 하는 것 | 에이전트가 하는 것 |
|---|---|---|
| 여행 계획 | 추천 일정과 명소를 글로 정리 | 항공·숙소 검색·비교, 예약 직전까지 진행 |
| 이메일 정리 | 요약과 답장 초안을 글로 제공 | 편지함 접속, 분류, 답장 작성·발송 직전까지 |
| 자료 조사 | 아는 범위에서 정리해 응답 | 여러 사이트 탐색, 출처 붙인 보고서 파일 생성 |
차이는 결과물의 형태에서 나온다. 챗봇은 내가 써먹을 재료를 주고 에이전트는 거의 완성된 결과를 준다.
대신 에이전트가 한 일은 사람이 마지막에 한 번 더 확인해야 한다. 더 많이 해주는 만큼 더 큰 책임이 따라온다.
그래서 지금 뭘 맡겨도 되는데?
여기까지만 보면 에이전트가 다 해주는 도구로 읽힌다. 그런데 2026년 현재 에이전트는 사람 감독이 필수다.
다 된다고 믿고 맡기면 사고가 난다.
느리고 횟수에 제한이 있다
에이전트는 답이 빠르지 않다. 챗봇은 몇 초면 답하지만 에이전트는 작업 하나에 5분에서 30분(OpenAI)쯤 걸린다.
여러 사이트를 직접 돌고 단계를 밟기 때문이다.
OpenAI의 ChatGPT 에이전트 기능은 유료 플랜 전용이다. Plus는 월 40회, Pro는 월 400작업으로 횟수 제한도 있다.
그래서 단순한 일은 그냥 챗봇이 더 빠르고 싸고 안전하다.
가끔 엉뚱한 짓을 하고 속기도 한다
위험도 솔직하게 알아둘 만하다. 에이전트는 사람처럼 일을 잘 처리하다가도 가끔 엉뚱한 짓을 한다. 잘못된 곳에 예약을 넣거나 틀린 답을 사실처럼 내놓기도 한다.
더 까다로운 건 보안이다. 에이전트는 논리적으로 그럴듯한 지시면 의도를 의심하지 않고 따른다.
그래서 악성 웹페이지가 에이전트에게 몰래 명령을 심어두면 그대로 실행해 버릴 수 있다.
이걸 프롬프트 인젝션(prompt injection)이라고 부른다. 나쁜 지시를 슬쩍 끼워 넣어 AI를 속이는 공격이다.
그래서 지금 기준으로는 이렇게 나누면 깔끔하다. 맡겨도 되는 일은 틀려도 큰일 나지 않고 되돌릴 수 있는 작업이다. 자료 조사, 초안 작성, 정보 비교가 여기에 든다.
아직 맡기면 안 되는 일은 되돌리기 어려운 행동이다. 실제 결제, 중요한 메일 자동 발송, 계약은 사람이 마지막을 잡아야 한다.
중요한 행동 전에 사람이 확인·승인하는 방식을 휴먼 인 더 루프(human-in-the-loop)라고 한다. 완전 자율로 풀어놓는 대신 이 방식이 2026년 현재 사실상 정답으로 자리 잡았다.
내 일은 ChatGPT와 AI 에이전트 중 어디에 맡길까?
일 하나를 앞에 놓고 두 가지를 묻는다. 단계가 몇 개인가, 그리고 틀렸을 때 되돌릴 수 있는가.
앞의 질문은 에이전트가 이득인지 정한다. 에이전트는 단계가 여러 개일 때만 이득이기 때문이다.
뒤의 질문은 사람이 어디까지 잡을지 정한다. 에이전트가 가끔 엉뚱한 짓을 하기 때문이다.
| 내 일의 모습 | 맡길 곳 | 이유 |
|---|---|---|
| 단계가 하나인 단순한 질문 | 챗봇 | 몇 초면 답하고 더 빠르고 싸고 안전하다 |
| 단계가 여러 개고 틀려도 되돌릴 수 있는 잡무 (자료 조사, 일정 초안 정리, 정보 비교) | 에이전트, 결과는 사람이 검수 | 단계마다 누르던 버튼을 대신 누르고 틀려도 큰일이 나지 않는다 |
| 단계는 여러 개인데 마지막이 되돌리기 어려운 일 (예약, 발송) | 에이전트가 직전까지, 마지막 승인은 사람 | 예약과 발송 직전까지 진행하므로 사람이 마지막 확인을 한다 |
| 되돌리기 어려운 행동 자체 (실제 결제, 계약) | 사람 | 에이전트는 가끔 엉뚱한 짓을 하고 프롬프트 인젝션에 속는다 |
첫 줄의 단순한 질문은 챗봇이 맡는다. Anthropic도 단순한 질문은 한 번의 답이면 충분하다고 본다.
에이전트 쪽으로 넘어가면 시간과 횟수도 따진다. 앞에서 본 대로 작업 하나에 5분에서 30분이 걸리고 월 횟수 제한이 있다.
그래서 몇 초에 끝나는 일에 에이전트를 쓰면 시간과 횟수만 쓴다.
자료 조사는 앞에서 에이전트에 맡겨도 되는 일로 꼽았다. 리서치를 에이전트 4개에 나눠 맡긴 과정은 리서치 피드를 만든 기록에 적었다.
마무리하며
이 글의 결론은 하나다. 에이전트가 늘면 먼저 바뀌는 쪽은 그걸 쓰는 사람의 일하는 방식이다. 시장조사기관 McKinsey가 보기에도 흐름은 분명하다. 에이전트를 실험하거나 시범 도입 중인 조직은 이미 62%에 이른다.
그런데 한 업무에서 본격적으로 굴리는 곳은 10% 이하다. 기대는 빠르고 현실은 아직 조심스럽다는 뜻이다.
챗봇 시대에 AI를 잘 쓰는 사람은 질문을 잘 던졌다. 좋은 프롬프트가 곧 실력이었다. 에이전트 시대에 잘 쓰는 사람은 일을 잘 쪼개 맡기고 결과를 잘 확인한다.
AI를 잘 쓰는 법이 좋은 질문에서 좋은 위임으로 옮겨가므로 역할이 질문자에서 관리자로 바뀌는 셈이다. AI 분야의 대표 연구자 안드레이 카파시(Andrej Karpathy)는 이 변화를 이렇게 정리했다.
“나는 더 이상 코더가 아니라 위임자다. 내 일은 에이전트가 모호함 없이 실행할 수 있도록 문제를 충분히 잘게 쪼개는 것이다.”
그래서 단계가 여러 개인 일을 에이전트에 넘기면 내 시간은 일을 쪼개고 결과를 확인하는 데 들어간다.
챗봇이 이제 필요 없냐고 물으면 아니다. 둘은 경쟁이 아니라 역할 분담이다.
당장 해볼 일은 하나다. 평소 하던 일 중에서 잡무 하나를 고른다. 단계가 여러 개고 틀려도 되돌릴 수 있는 일이어야 한다. 그 일을 챗봇 말고 에이전트에 시켜 본다. 자료 조사나 일정 초안 정리면 알맞다.
결과를 반드시 한 번 검수한다. 그러면 안내원과 기사의 차이가 머리가 아니라 손으로 느껴진다.
참고 자료
- Building Effective Agents – Anthropic (2024-12-19)
- A practical guide to building agents – OpenAI (2025)
- Introducing ChatGPT agent – OpenAI (2025-07-17)
- ChatGPT agent – OpenAI Help Center (2025)
- The Anatomy of an AI Agent – DEV, 기억·도구·계획·실행 해설 (2025)
- AI agent vs chatbot – DevRev, 2026년에 의미 있는 차이 (2026)
- AI Agent Risks & Guardrails – Atlan (2026)
- Andrej Karpathy on agents – No Priors 2026 정리, 위임 (2026)
