요즘 채용 시장을 보면 ‘AI PM(Product Manager)’이라는 타이틀이 심심치 않게 보인다.
실제로 2025년 전체 PM 채용 중 약 10%였던 AI PM 비중이, 2026년에는 20%까지 늘어날 것으로 예상된다. 바야흐로 AI 활용 능력이 선택이 아닌 필수가 되는 시대가 오고 있는 것으로 보인다.
오늘은 Aakash Gupta의 팟캐스트에서 Pendo의 CEO인 Todd Olsen이 공유한 내용을 바탕으로, 2026년 AI PM으로서 갖춰야 할 핵심 역량과 전략에 대해 이야기해 보고자 한다.
이 글을 통해 AI 시대를 준비하는 PM들이 중요한 인사이트를 얻어갈 수 있기를 바란다.
Q1. 왜 AI PM은 왜 연봉이 30~40% 더 높을까?
가장 솔직한 이유는 ‘희소성(Scarcity)’ 때문인 것으로 생각된다.
AI 기술은 하루가 다르게 변하고 있고, 이를 제대로 이해하고 제품에 녹여낼 수 있는 인재는 아직 많지 않다. Todd Olsen은 AI PM이 일반 PM보다 30~40% 더 높은 연봉을 받는 경향이 있다고 언급했다. (물론 우리나라는 아직이다) 기술적 난이도가 높은 만큼 그에 상응하는 대우를 받는 것이다.
하지만 주의할 점이 있다. 바로 ‘AI 워싱(AI Washing)’ 이다.
기업들은 이제 단순히 이력서에 “AI에 관심 있음” 정도를 적는 사람을 원하지 않는다. 진짜 AI를 다룰 줄 아는 실무자를 원한다.
Todd Olsen의 말이 인상적이었다. “AI PM이라고 타이틀을 달려면, 정말로 그 분야를 잘 알고 있어야 한다. 2시간짜리 강의 하나 듣고 AI PM이 될 수는 없다.”
그렇다면 우리는 무엇을 준비해야 할까?
Q2. AI PM ‘4단계 스킬 피라미드’는 무엇인가?
1단계: 기초 기술 (Foundational Skills)
가장 기본이다. LLM(거대언어모델)이 어떻게 작동하는지, RAG(검색 증강 생성) 가 무엇인지 알아야 한다.
데이터 파이프라인을 이해하는 것이 특히 중요하다. 우리 서비스의 데이터가 어떻게 AI에게 전달되는지, 벡터 데이터베이스는 무엇인지 파악해야 한다. RAG는 현재 제품 기능에서 가장 중요한 구축 방식 중 하나이다. 예를 들어 고객 지원 에이전트가 최신 지원 문서를 실시간으로 반영하는 것이 바로 RAG의 활용 사례이다.
프롬프트 엔지니어링도 필수이다. AI에게 일을 잘 시키는 법, 즉 LLM에 보내는 컨텍스트와 지침이 좋을수록 더 나은 응답을 얻는다. 이는 10년 전 구글 검색을 잘하는 기술이 필요했던 것과 유사하다.
2단계: 관찰 가능성 (Observability)
AI가 내놓은 답이 왜 그렇게 나왔는지 추적할 수 있어야 한다. 에이전트가 어떤 도구를 호출했고 어디서 오류가 났는지 모니터링(Trace)하는 능력이 중요해진다.
트레이스 분석을 통해 에이전트가 다른 에이전트나 도구를 호출하는 오케스트레이션을 이해해야 한다. 프로덕션에서 기능이 중단될 경우, PM도 단순히 조율만 하는 것이 아니라 트레이스를 확인하고 오류를 파악하는 데 도움을 줄 수 있어야 한다.
3단계: 비용 및 성능 최적화 (Optimization)
이 부분이 정말 중요하다. AI 모델을 돌리는 데는 돈(토큰 비용)이 든다.
PM은 “이 기능이 비즈니스적으로 이익인가?” 를 따져야 한다. 시스템 설계 방식이 매출원가(COGS)와 총이익률(Gross Margin)에 직접 영향을 미친다.
무조건 최고 성능의 모델(GPT-4 등)을 쓰는 게 아니라, 상황에 맞춰 가성비 좋은 모델을 선택하거나 캐싱 전략을 고민해야 한다. 초기에는 속도를 위해 비용을 희생할 수 있지만, 장기적으로는 아키텍처 변경이 필요할 수 있다.
4단계: 평가 및 QA (Evaluation)
마지막 단계는 ‘평가(Eval)’ 이다. AI가 쓴 글이 100점 만점에 몇 점인지, 할루시네이션(거짓 정보)은 없는지 판단하는 기준 세트를 PM이 직접 설계하고 관리해야 한다.
여기서 중요한 점이 있다. PM이 평가 세트를 작성하고 관리하는 데 가장 적합한 사람이라는 것이다. PM은 사용자 및 비즈니스 요구사항 전문가이므로, 엔지니어보다 평가를 더 잘 이해한다. 이는 AI PM뿐만 아니라 모든 PM에게 필수 역량이 될 것으로 보인다.
진정성 있는 AI 제품 감각을 기르는 법
AI PM은 앞으로 더욱 각광받는 직업이 될 것이다. 하지만 그만큼 ‘진짜 실력’ 이 요구되는 자리이기도 하다.
2026년에 성공하는 AI PM이 되기 위해서는 기술을 두려워하지 않고, 직접 부딪히며 경험해보는 것이 가장 중요한 것 같다.
“현장 파견 PM (Forward Deployed PM)” 과 같이 고객의 현장에서 직접 컨텍스트 윈도우를 조정하고 워크플로우를 최적화하는 실행력을 갖춰야 한다.
무엇보다 중요한 것은 진정성이다. ‘AI’라는 타이틀을 붙이기 전에, 정말로 그 분야를 잘 알고 있는지 스스로에게 물어보아야 한다.
저 또한 여러분과 함께 끊임없이 공부하고 고민해 나가고 있다. 이 글이 여러분의 커리어 로드맵을 그리는 데 조금이나마 도움이 되길 바란다.