회사에 AI 에이전트를 하나 붙였습니다. 잘 돌아갑니다. 그런데 월말에 날아온 API 청구서를 보고 한 번 더 놀랍니다. “이거, 하는 일에 비해 너무 비싼데?”
많은 분이 비슷한 경험을 합니다. 그리고 대부분 “더 싼 모델 없나” 하고 모델 비교표부터 뒤집니다. 그런데 엔비디아 연구진이 2025년에 내놓은 논문은 조금 다른 답을 줍니다. 문제는 어떤 모델을 쓰느냐가 아니라, 어떤 일에 얼마짜리 모델을 쓰느냐라는 겁니다.
한 줄 요약부터 말씀드립니다
AI 에이전트가 처리하는 일의 대부분은 똑같은 잡일의 반복입니다. 이런 일은 작은 모델(SLM, 소형 언어모델)로도 충분히 잘합니다. 그리고 작은 모델은 거대 모델보다 10~30배 쌉니다. 그러니 반복되는 잡일은 작은 모델에, 진짜 판단이 필요한 일만 비싼 거대 모델에 나눠 맡기면 됩니다. 이게 비용을 줄이는 가장 현실적인 길입니다.
이 내용은 엔비디아 연구진(Peter Belcak, Pavlo Molchanov 등)이 발표한 논문 ‘Small Language Models are the Future of Agentic AI'(arXiv 2506.02153)에 근거합니다.
AI 에이전트는 사실 대부분 ‘잡일’을 반복합니다
먼저 오해부터 풀겠습니다. AI 에이전트라고 하면 똑똑한 비서가 매번 깊이 고민하는 모습을 떠올리기 쉽습니다. 실제로는 그렇지 않습니다.
에이전트가 하는 일을 들여다보면, 정해진 형식으로 데이터를 정리하고, 명령을 분류하고, 똑같은 양식의 결과를 찍어내는 일이 대부분입니다. 논문은 이런 작업을 “반복적이고, 범위가 좁고, 대화가 아닌” 일이라고 부릅니다. 거대 모델이 가진 폭넓은 능력 중에 아주 일부만 쓰는 셈입니다.
비유하자면 이렇습니다. 포클레인으로 화분에 흙을 담고 있는 것과 같습니다. 할 수야 있지만, 그 큰 장비가 굳이 필요하지 않습니다. 작은 모종삽이면 충분합니다.
작은 모델이 10~30배 싼 이유
논문에서 가장 또렷한 숫자는 이것입니다. 7B 크기의 작은 모델을 돌리는 비용은, 70~175B 크기의 거대 모델보다 10~30배 쌉니다. 응답 속도, 전기 소비, 연산량 모두에서 그렇습니다.
이유는 단순합니다. 모델이 크면 한 번 굴리는 데 드는 계산이 그만큼 무거워집니다. 게다가 특정 업무에 맞게 다듬는 비용도 다릅니다. 작은 모델은 몇 시간이면 우리 회사 업무에 맞춰 학습시킬 수 있지만, 거대 모델은 같은 작업에 몇 주가 걸립니다.
실제 사례도 있습니다. 마이크로소프트의 Phi-2(2.7B)는 30B급 모델과 비슷한 성능을 내면서 약 15배 빠릅니다. 도구를 호출하는 작업에서는 8B짜리 모델이 GPT-4o나 클로드 같은 최고급 모델을 능가했다는 보고도 인용합니다. 작다고 무조건 못하는 게 아닙니다.
흥미로운 대목도 있습니다. 2024년 한 해 거대 모델을 돌리기 위한 클라우드 인프라 투자는 570억 달러였는데, 정작 그 모델을 불러 쓰는 시장은 56억 달러에 그쳤습니다. 무려 10배 차이입니다. 거대 모델 중심으로 과하게 깔린 인프라가 실제 수요와 어긋나 있다는 신호입니다.
그런데 작은 모델로 정말 괜찮을까요?
당연히 드는 의문입니다. 작은 모델은 어딘가 부족하지 않을까요?
논문의 답은 “그 좁은 일에서는 오히려 더 낫다”입니다. 에이전트 작업은 정해진 형식을 정확히 지키는 게 중요합니다. 도구를 호출하거나 코드를 만들 때 형식이 한 글자만 틀려도 작업이 깨집니다. 이럴 때는 한 가지 형식에 맞춰 잘 훈련된 작은 모델이 더 예측 가능하고 안정적입니다. 거대 모델의 박학다식함은 여기서 쓸 일이 없는 잉여입니다.
물론 모든 일을 작은 모델에 맡길 수는 없습니다. 복잡한 판단, 처음 보는 상황, 자유로운 대화는 여전히 거대 모델의 몫입니다. 핵심은 둘을 나누는 데 있습니다.
우리 에이전트, 어떻게 옮기나요
논문은 기존 시스템을 작은 모델로 옮기는 절차를 6단계로 정리합니다. 복잡해 보여도 핵심은 간단합니다. 추측하지 말고, 실제 기록을 보고 결정하라는 겁니다.
- 기록하기: 에이전트가 주고받는 요청과 응답을 모두 로그로 남깁니다(개인정보는 제거).
- 모으기: 1만~10만 건쯤 쌓이면 충분합니다.
- 묶기: 비슷한 작업끼리 자동으로 분류해 “반복되는 패턴”을 찾습니다.
- 고르기: 그 작업에 맞는 작은 모델을 성능·라이선스·크기 기준으로 선택합니다.
- 다듬기: 적은 비용으로 우리 업무에 맞춰 학습시킵니다(LoRA 같은 기법).
- 반복하기: 새 데이터로 계속 개선합니다.
직접 실험한 사례를 보면, 한 오픈소스 에이전트는 약 70%의 작업을 작은 모델로 대체할 수 있다고 추정했습니다. 다른 두 곳은 각각 60%, 40% 수준이었습니다. 다만 이 비율은 실제 측정값이 아니라 연구진의 추정이라는 점은 감안해야 합니다.
큰 모델과 작은 모델, 이렇게 나눕니다
결국 답은 “하나의 거대 모델로 다 하지 말라”는 겁니다. 대화는 대화용 모델에, 반복 작업은 작은 전용 모델에, 어려운 판단은 거대 모델에 나눠 맡기는 구성입니다. 논문은 이를 “작은 모델 우선” 구조라고 부릅니다.
이 방식에는 비용 말고도 큰 장점이 하나 더 있습니다. 여러 모델로 나누면 한 회사에 묶이지 않습니다. 특정 모델의 가격이 오르거나, 어느 날 갑자기 막혀도(실제로 정책 문제로 모델 접근이 차단된 사례가 있었습니다) 전체가 멈추지 않습니다. 비용과 안정성을 동시에 챙기는 셈입니다.
정리하면
AI 에이전트 비용을 줄이는 첫걸음은 더 싼 모델을 찾는 게 아닙니다. 지금 우리 에이전트가 어떤 일에 얼마짜리 모델을 쓰고 있는지 기록부터 들여다보는 것입니다. 그 안에서 반복되는 잡일을 찾아 작은 모델로 옮기면, 같은 일을 10~30배 싸게 할 수 있습니다.
거대 모델은 여전히 필요합니다. 다만 모든 일에 부를 필요는 없습니다. 포클레인은 포클레인이 필요한 곳에만 부르면 됩니다.
참고 자료
– Belcak et al., “Small Language Models are the Future of Agentic AI” (arXiv 2506.02153, NVIDIA Research) — https://arxiv.org/abs/2506.02153
– NVIDIA Research 공식 페이지 — https://research.nvidia.com/labs/lpr/slm-agents/correspondence.html
