Netflix 엔지니어가 만든 Headroom, AI 비용을 절반 넘게 깎는 법
“우리는 최신 AI에게 똑같은 양식 문서를 읽히려고 비싼 값을 치르고 있다.” Netflix에서 일하는 엔지니어 Tejas Chopra가 한 말이다. 그는 자기가 만든 AI 서비스가 매번 똑같은 형식의 데이터를 AI에게 보내고 있다는 걸 발견했다. 파일 하나 검색하는 데 4만 단어어치 데이터가 들어갔는데,…
태그 LLM 비용
“우리는 최신 AI에게 똑같은 양식 문서를 읽히려고 비싼 값을 치르고 있다.” Netflix에서 일하는 엔지니어 Tejas Chopra가 한 말이다. 그는 자기가 만든 AI 서비스가 매번 똑같은 형식의 데이터를 AI에게 보내고 있다는 걸 발견했다. 파일 하나 검색하는 데 4만 단어어치 데이터가 들어갔는데,…