60 읽음
AI 토큰 비용 급증, SW업계 비용 절감 및 최적화 고심
아주경제
0
25일 정보기술(IT) 업계에 따르면 기업들이 개발과 비개발 업무 전반에 AI 에이전트를 도입하면서 토큰 비용 부담이 빠르게 커지고 있다.
SW 개발 업체 A사의 경우 월 AI 사용 비용이 당초 계획한 예산의 30%를 매달 초과하고 있다고 밝혔다. 비용 증가 추세를 미리 계산해 잡은 예산이었지만 환율이 급등했고 예상보다 토큰 사용량이 많았기 때문이다.
지난 24일 기준 원·달러 환율은 1546원으로 6개월 전 1400원대 중반에서 약 7% 상승했다. 같은 작업을 해도 7%에 달하는 비용을 추가 지출해야 하는 상황이다. 여기에 더해 개발 직군의 경우 방대한 코드 베이스를 읽고 추론, 수정해 거듭 검증하는 과정을 거친다. AI에 요구하는 작업 수준도 높아지며 토큰 사용량도 급증하고 있다.
A사 관계자는 "월별 예산을 보수적으로 잡은 것이 아닌데도 예상보다 더 많은 토큰이 사용되고 있다. 하지만 AI 에이전트 버전 업데이트 속도도 빨라지고 있어 예산 책정이 어려운 상황"이라며 "향후 프롬프트 방법부터 시작해 토큰 사용량을 최소화 및 최적화하는 방법에 대해 검토한 후 전사 공지를 내릴 계획"이라고 말했다.
게임업체 B사의 경우 개발자 1인당 150~400달러에 달하는 토큰 비용을 매일 결제한다고 밝혔다. 아직 1인당 인건비에는 미치지 못하는 수준이지만 조만간 인건비를 넘어설 가능성도 있어 대책 마련에 나섰다.
토큰 사용을 줄이기 위한 가이드라인 배포와, 부서별 차등을 둬 토큰 사용량을 제한하는 방향을 논의 중이다. 하지만 작업에 따라 사용하는 AI 모델과 성능 수준이 천차만별이라 비용 규모를 사전에 예측할 수 없어 구체적인 가이드라인 작성에 어려움을 겪고 있다.
시장조사업체 IDC는 2027년까지 AI 에이전트 사용량이 10배 늘고, 토큰 호출 횟수는 100배 증가할 것으로 전망하고 있다. 특히 연간 총 토큰 수요는 올해 약 100경(10¹⁷)에서 2030년 약 4해(4 × 10¹⁸)로 늘어난다고 예측하고 있다. 연평균 증가율이 약 150%에 달한다. 다시 말해 토큰 비용이 매년 2.5배씩 늘어난다는 얘기다.
특히 1인당 토큰 사용량이 급증하고 있다는 점은 기업들에게 골칫거리로 자리잡고 있다. 대화형 AI에 익숙해진 사용자들은 과거 대비 더 길고 복잡한 프롬프트를 입력하고 있다. 이 경우 토큰 사용량이 폭발적으로 늘어난다. 여기에 더해 복잡한 추론, 협업과정, 코딩 등을 AI에 위임하며 1인당 토큰 사용량은 계속 늘어나는 추세다.
ICT 업계는 AI에 대한 기업들의 관심사가 '비용 관리' 단계로 접어들었다고 보고 있다. B사 관계자는 "AI가 개발 생산성을 높이는 것은 분명하지만 비용 구조 상 무제한으로 쓸 수 없다"며 "이제는 기업 차원에서 가능한 비용 절감 방식에 대해 고민하고 있다"고 말했다.