AI PM의 새로운 필수 역량: AI Eval (평가)

AI PM(프로덕트 매니저)으로 업무를 전환한 뒤 느낀 것이 있습니다. 평가(Evaluation, 줄여서 Eval) 능력이 AI PM의 핵심 역량이라는 것이죠. 모델의 기능을 평가하고 활용하려면 평가 방법이 필요합니다. 실제 모델을 활용한 AI 제품의 상품화를 위해서도 평가가 필요하고요. LLM의 능력은 모두 알 수 없습니다.…

AI PM(프로덕트 매니저)으로 업무를 전환한 뒤 느낀 것이 있습니다. 평가(Evaluation, 줄여서 Eval) 능력이 AI PM의 핵심 역량이라는 것이죠. 모델의 기능을 평가하고 활용하려면 평가 방법이 필요합니다. 실제 모델을 활용한 AI 제품의 상품화를 위해서도 평가가 필요하고요. LLM의 능력은 모두 알 수 없습니다.…

요즘 어떻게 검색을 하십니가? ChatGPT나 Perplexity 같은 AI 챗봇들이 등장하면서 “구글 검색은 이제 끝났다”는 이야기들이 많았습니다. 정말 그럴까요? 실제로 구글 내부에서는 어떤 변화가 일어나고 있을까 궁금했습니다. 솔직히 저도 구글이 AI 경쟁에서 ChatGPT에 주도권을 뺏겼다고 생각했습니다. 하지만 최근 Lenny’s Podcast에서 구글…

요즘 AI 에이전트라는 말, 많이 들어보셨습니까? 단순히 질문에 답하는 것을 넘어, 스스로 판단하고 행동하는 AI 말입니다. 처음에는 신기하지만, 곧 이런 생각이 들 수 있습니다. “정말 믿고 맡길 수 있을까?” “어디까지 자율성을 줘야 할까?” 저도 최근 Anthropic의 “클로드와 함께 에이전트의 미래를…

Apps SDK 다음은 AgentKit에 대해서 공유를 해보고자 합니다.혹시 AI를 활용해서 자동화 도구를 만들어보려고 시도해보신 적 있으신가요? 복잡한 API 연결, 끝없는 테스트, 그리고 실제 배포까지 가는 험난한 과정을 경험하셨다면 아마도 이런 생각을 하셨을 것입니다. “이거 왜 이렇게 만들기 어려운 거지?” 솔직하게…

OpenAI가 Dev Day 2025에서 발표한 내용들은 단순한 기술 업데이트를 넘어서 하나의 생태계를 구축하려는 야망을 보여줍니다. 오늘은 첫번째 주제인 Apps SDK에 대해서 이야기 해보고자합니다. Apps SDK는 ChatGPT를 슈퍼앱으로 만들려는 OpenAI의 전략을 명확히 드러내는 것 같습니다. Apps SDK: ChatGPT의 슈퍼앱 야망 Apps…

구글 Gemini Robotics 1.5가 공개되며 Physical AI 시대가 열렸다. 집안일 자동화로 본질에 집중하는 삶, 생각보다 가까이 왔다.

GPT가 없을 때가 기억이 나십니까? 불과 몇 년 전만 해도 우리는 검색창에 키워드를 입력하고, 수많은 링크 중에서 필요한 정보를 직접 찾아야 했습니다. 그런데 이제는 어떤가요? 검색부터 리서치, 개인적인 고민까지 정말 다양한 것들을 GPT에게 물어보곤 합니다. 그야말로 나의 모든 것을 GPT와…

요즘 Vibe Coding 해보셨나요? 간단한 함수는 척척 만들어주지만, 복잡한 프로젝트를 맡기기엔 아직 부족하다고 느끼셨을 겁니다. 그런데 이제 상황이 완전히 달라질 것 같습니다. OpenAI에서 최근 발표한 Codex 업그레이드 블로그를 바탕으로 정리해보니, AI 코딩 도구가 정말 어마어마하게 진화했더군요. GPT-5-Codex가 뭔가요? 정말 그렇게…

요즘 채용공고를 보면서 ‘AI Product Manager’ 또는 ‘AI PM’이라는 직책 보셨나요? ChatGPT가 세상을 뒤흔든 이후, 정말 많은 기업들이 AI PM을 찾고 있습니다. 하지만 막상 “AI PM이 뭐에요?”라고 물어보면, 명확한 답을 주는 사람을 찾기가 쉽지 않은 것 같습니다. 저도 역시 처음에는…

노트 앱을 써보시면서 이런 경험 해보셨습니까? 처음엔 정말 열심히 정보를 모으고 정리했는데, 시간이 지나면서 점점 복잡해져서 결국 사용하지 않게 되는 경험 말입니다. 정말 똑똑한 세컨드 브레인을 만들려고 했는데, 어느 순간 그냥 정보의 쓰레기통이 되어버렸죠. 저 역시 옵시디언을 꾸준하게 활용하고 있지만,…