최근 가장 뜨거운 직업, AI 프로덕트 매니저(AI PM)에 대해 이야기해보려고 합니다. 소프트웨어 개발자로 시작해서 프로덕트 매니저로 경력을 쌓고 지금은 AI 프로덕트 매니저로 일하게 되면서, AI PM은 어떻게 일을 해야하는가? 에 대한 고민을 많이 했습니다. 하루가 무섭게 생성형 AI 모델은 발전하고 있고 새로운 기술과 기능들을 출시하고 있습니다. 이런 새로운 패러다임의 시대에 AI PM은 과연 어떤 일을 하고 어떤 역량이 필요한지에 대해서 배워보고 발전해보고자 이 글을 써봅니다.
AI 프로덕트 매니저 (AI PM) 은 어떤 사람들일까?
AI PM은 우선 말그대로 AI를 제품으로 하는 프로덕트 매니저라고 보면 될 것 같습니다. 좀 더 세분화 해보면, (1) AI 모델 자체를 제품으로하는 PM, (2) AI를 활용한 기능 또는 서비스를 제품으로 하는 사람으로 분류 할 수 있을 것 같습니다. (1)의 PM의 경우에는 AI 모델에 새로운 기능을 추가하거나 모델의 능력을 발굴하여 기능화 할 수 있고 좀 더 직접적으로 모델팀과 논의하여 학습에 방향성을 제시 할 수 있습니다. (2) 의 PM의 경우에는 제공된 모델을 활용하여 기존 제품의 기능을 강화하고 기존의 제품을 AI로 더 강화하는 역할을 하게 됩니다.
기존의 PM과는 어떻게 다른가?
전통적인 PM을 생각해보면 사용자 관점에서 해결해야하는 문제를 정의하고 그를 위한 플로우를 설계하고 요구사항을 작성합니다. 논리적으로 설계되는 요구사항은 항상 정답이 있도록 설계 됩니다. A + B는 항상 C라는 답을 내어야만 하죠 예를들면 사용자가 로그인 중에 패스워드를 잘못 입력하면 에러문구를 “비밀번호를 다시 확인해주세요” 라고 동일하게 대응하는 것이죠, 하지만 AI 제품의 세계는 완전히 다릅니다.
AI 모델은 비결정적 시스템입니다. 같은 질문을 해도 매번 다른 대답이 나올 수 있고, 어제까지 못했던 일을 오늘 갑자기 해낼 수도 있습니다. 이런 상황에서 AI PM은 마치 살아있는 생물을 다루듯이 제품을 설계해야 합니다. 그리고 그 누구도 모델의 능력을 명확하게 판단 할 수 없기 때문에 항상 가변성을 두고 문제 해결을 해야하는 부분들이 있는 것이죠.
더 흥미로운 점은 모델의 성능에 따라 제품 디자인이 완전히 달라진다는 것입니다. 모델의 성능이 60%, 90%, 99% 이냐에 따라서 제품의 디자인을 완전히 다르게 할 수 도 있습니다. 예를 들어 AI를 활용한 기능을 만드는 AI PM의 경우 정확도가 낮다면 그 정확도를 끌어올리기 위해서 사용자의 개입을 유도하는 플로우를 넣어 보완을 할 수 있습니다. 그리고 모델의 성능이 이후에 올라간다면 해당 플로우를 제거하여 더 간소화된 경험을 제공 할 수 있는 것입니다. 이처럼 AI PM은 기존의 전형적인 PM들과는 다른 모습들을 보입니다.
OpenAI의 소수 정예 조직, PM
OpenAI의 최고 제품 책임자 케빈 웨일은 현재 자신의 역할이 “인생에서 가장 도전적이고 흥미로우며 잠 못 이루는 제품 역할”이라고 고백합니다. 왜 그럴까요?
OpenAI에서는 연구팀조차도 새로운 모델이 어떤 능력을 가질지 완전히 예측하지 못합니다. 이를 ‘발현적 속성(emergent property)’이라고 부르는데, 마치 화학 실험에서 예상치 못한 반응이 일어나는 것과 같습니다. 이런 상황에서 PM은 어떻게 제품을 계획하고 개발할 수 있을까요?
케빈 웨일은 Eval(평가)이 그 해답이라고 말합니다. Eval은 모델에게 주는 일종의 ‘퀴즈’입니다. 특정 주제에 대한 지식을 테스트하거나, 실제 사용 사례에서 얼마나 잘 작동하는지 측정합니다. OpenAI의 PM들은 이런 Eval을 작성하고 분석하는 데 많은 시간을 보냅니다. 왜냐하면 측정할 수 없으면 개선할 수도 없기 때문입니다.
흥미로운 점은 OpenAI가 ‘모델 극대주의(Model Maximalism)’라는 철학을 가지고 있다는 것입니다. 모델이 완벽하지 않아도, 실수를 저질러도 괜찮습니다. 왜? 2개월 안에 더 나은 모델이 나올 것이기 때문입니다. 이런 사고방식은 제품 개발 속도를 극적으로 높이고, 실험과 학습의 기회를 늘립니다.
OpenAI는 또한 ‘PM light’ 조직을 지향합니다. 소수의 고품질 PM이 많은 엔지니어들과 함께 일하며, 엔지니어들에게 많은 영향력과 책임을 위임합니다. PM은 지시하는 사람이 아니라 영향력을 통해 팀을 이끄는 사람입니다. 높은 자율성, 모호함에 대한 편안함, 그리고 빠른 의사결정 능력이 필수적입니다.
Anthropic CPO의 새로운 도전
인스타그램의 공동 창업자이자 Anthropic의 CPO인 마이크 크리거는 매년 다른 경험을 하겠다는 철학을 가지고 있습니다. Anthropic에서의 경험은 그에게도 완전히 새로운 도전이었습니다.
Anthropic에서 가장 놀라운 변화는 AI가 코드의 70~90%를 작성한다는 것입니다. 더 놀라운 것은 Claude 코드 팀이 Claude 코드를 사용하여 Claude 코드를 개선한다는 사실입니다. 이는 마치 도구가 스스로를 개선하는 자기 개선 루프와 같습니다.
이런 환경에서 PM의 역할도 진화했습니다. 이제 PM과 디자이너는 Claude와 Artifacts를 사용하여 실제로 작동하는 프로토타입을 직접 만들 수 있습니다. 아이디어가 떠오르면 즉시 구현해볼 수 있고, 사용자에게 보여줄 수 있는 데모를 몇 분 만에 만들어낼 수 있습니다. 이를 ‘바이브 코딩(vibe coding)’이라고 부르는데, 정확한 구현보다는 아이디어의 ‘느낌’을 빠르게 전달하는 것이 목적입니다.
마이크는 또한 MCP(Multi-Cloud Protocol)의 중요성을 강조합니다. AI 제품의 유용성은 단순히 모델의 지능에만 달려있지 않습니다. 올바른 컨텍스트와 메모리를 제공하고, 이를 직관적인 UI로 연결하는 것이 중요합니다. MCP는 이 모든 요소를 연결하는 다리 역할을 합니다.
프롬프트 엔지니어링에 대한 그의 조언도 흥미롭습니다. Claude에게 “think hard”라고 말하면 더 깊은 추론을 하고, “be brutal” 또는 “roast me”라고 하면 더 비판적인 피드백을 제공한다고 합니다. 이는 마치 AI와 대화하는 새로운 언어를 배우는 것과 같습니다.
AI PM이 갖춰야 할 핵심 역량들
그렇다면 성공적인 AI PM이 되기 위해서는 어떤 역량이 필요할까요?
1️⃣ Eval 능력 (모델 평가 능력): OpenAI와 Anthropic의 CPO가 모두 강조하는 것처럼, 모델의 성능을 정확하게 측정하고 개선 방향을 제시하는 것은 AI 제품 성공의 핵심입니다. KPI를 설정하고, AI를 활용하여 평가할 수 있는 평가 프롬프트를 작성하는 것이 일상이 되어야 합니다.
2️⃣ 프롬프트 엔지니어링: 새로운 기능을 테스트할 때도, AI를 활용한 평가를 할 때도, 심지어 일상적인 업무에서도 프롬프팅은 필수입니다. AI PM은 프롬프팅을 생활화하고 언제든 모델을 평가할 준비가 되어 있어야 합니다.
3️⃣ 프로토타이핑: AI 도구를 활용하여 아이디어를 기능하는 프로토타입으로 빠르게 전환하는 능력은 PM과 디자이너의 핵심 스킬이 될 것입니다. 바이브 코딩을 통해 빠른 개념 증명과 아이디어 탐색이 가능해졌습니다.
4️⃣ 전략 수립: AI가 모든 것을 할 수 있다고 해도, 회사는 모든 것을 할 수 없습니다. 어떤 제품을 만들고, 어떤 시장에서 경쟁하며, 어떻게 승리할지 전략을 수립하는 능력은 여전히 제품팀의 핵심 역할입니다.
5️⃣ 피드백 메커니즘 설계: 모델의 오작동을 감지하고, 사용자 피드백을 빠르게 수집하며, 적절한 가드레일을 설정하는 피드백 루프를 만들어야 합니다.
6️⃣ 영향력을 통한 리더십: AI PM은 엔지니어와 연구원에게 직접적으로 지시하기보다는, 그들을 설득하고 영향력을 행사하여 제품 방향을 이끌어야 합니다.
7️⃣ 호기심과 독립적인 사고: AI가 많은 답을 제공할지라도, 새로운 질문을 던지고, 탐구하며, 독립적으로 사고하는 능력은 미래에 더욱 가치 있을 것입니다.
AI PM은 다양하게 진화할 것
AI PM의 역할은 앞으로 더욱 전략적이고 융합적인 방향으로 진화할 것입니다.
AI PM의 역량을 살펴보면 AI PM은 좀더 엔지니어링적인 측면으로 융합되어 있습니다. 모델의 테스트를 위해서는 엔지니어링이 필요하고 프로토타이핑을 빠르게 해보는 과정이 중요해질 것이기 때문입니다. 그를 통해서 모델 개발자와 함께 모델의 성능을 높이는 역할 또한 하게 될 것 입니다. 한편으로는 AI 모델을 사용자에게 어떻게 인터렉션하게 할지 어떻게 AI 모델의 기능을 사용자에게 제공할지에 대한 UX 융합적인 모습도 가져갈 것으로 보입니다.
AI 시대의 PM은 단순히 제품을 관리하는 사람이 아닙니다. 그들은 인간과 AI 사이의 다리를 놓는 건축가이며, 끊임없이 진화하는 기술을 의미 있는 사용자 경험으로 변환하는 번역가입니다. 이런 급변하는 패러다임 속에 AI PM은 점점 더 다양한 모습으로 발전하게 될 것이고 AI와 가장 밀접하게 협업하는 직업이라고 예상해봅니다.