최근 1년간 기업의 AI 토큰 사용량이 급격하게 늘어난 이유

24년 말에 GPT가 추론을 도입하면서 주요 LLM들이 서로 추론 기능을 도입하기 시작해. 추론을 단순하게 설명하자면 "답변하기 전에 빠진 자료는 없는지 다시 확인 해봐"를 자동으로 입력한다고 생각하면 돼 즉 질문은 한번 했는데 llm은 스스로 셀프 질문을 하며 몇번을 돌고 있는 거지. 놀랍게도 이게 효과가 있었고 너도 나도 추론 기능을 도입하기 시작한 게 작년 트렌드야. 예전에는 인간의 한계로 토큰 사용량을 일정량 이상 넘기 힘들었는데 llm이 자가발전하기 시작하니 토큰 사용량이 기존의 인간이 입력할 수 있는 한계를 넘기 시작했어. 옛날에 어떤 사람의 토큰 사용량이 2K였다면 지금은 llm이 혼자 여러 번씩 셀프 질문하면서 몇배씩 뻥튀기가 되는 상황이 된거야. 그 상태에서 AI를 활용하겠다며 사용 인원과 사용처도 배로 늘려버렸으니 토큰 사용량이 수십배 수백배로 뛰어오른 거지. 추론을 대체할 획기적인 방법이 없다면 이대로 토큰 사용량은 크게 변하는 게 없을 거야. 바꿔말하면 지금처럼 인건비와 비교했을 때 미묘한 가격에서 사람과 경쟁하게 될 거란 거지. 토큰 값 더 올라서 내 인건비도 올랐으면 좋겠다. 싸다 휴먼! LLM보다 더!