💾 AI 에이전트는 사람보다 토큰 5배 사용, 메모리 수요 폭발한다 - IT 전문매체 Tom’s Hardware의 10/3 보도에 따르면, AI 모델중개 플랫폼 OpenRouter

💾 AI 에이전트는 사람보다 토큰 5배 사용, 메모리 수요 폭발한다

- IT 전문매체 Tom’s Hardware의 10/3 보도에 따르면, AI 모델중개 플랫폼 OpenRouter의 사용 데이터를 분석한 결과(8월 기준):

1) AI 에이전트 토큰 사용량 약 7.3조 개, 사람 사용량 약 1.4조 개의 약 5배

2) 2월 이후 AI 에이전트 사용량 약 14배, 사람 사용량은 약 2.8배 증가

3) AI 에이전트 토큰의 85% 이상은 캐시된 입력, 이전 계산 결과인 ‘KV 캐시’를 재사용한다는 의미

- 이에 따라, Tom's Hardware는 AI 에이전트는 HBM·DRAM·NAND 수요를 모두 증가시킬 수 있다는 견해를 제기

✅ HBM 수요 증가할 것
- AI 서버의 GPU는 계산 수행, GPU에 연결된 HBM은 계산에 필요한 데이터와 문맥 처리 결과인 KV 캐시를 저장
- AI 에이전트가 더 많은 일을 수행할수록, HBM 용량 & 속도 요구 수준이 커지며 수요도 커질 것

✅ 서버 DRAM·NAND 수요 증가할 것
- HBM에 작업 내용을 다 담기 어려워지면, KV 캐시 일부를 서버 DRAM & NAND 기반 SSD에 옮겨 저장하고 필요할 때 다시 불러오는 방식을 활용
- AI 에이전트 사용이 확대되며 HBM뿐 아니라 서버 DRAM·SSD용 NAND로 수요가 확장될 것, NVIDIA도 1Q25에 해당 구조를 소개한 바 있음

메타의 뮤즈와 오픈AI의 dots를 비롯해, AI 에이전트의 상용화로 메모리 수요는 공급과잉 우려를 불식시키고 도리어 '폭발'할 것으로 전망되는 중

🔗 Tom’s Hardware 🔗 NVIDIA 🔍 지엘리서치