>>Nvidia, AI 메모리 풀스택 협업 설계 공개…HBM 용량 3% 증가로 Agent 처리량/달러 최대 30배 향상
•Nvidia는 대규모 모델과 Agent 확산으로 메모리 부담이 커지고 있어 단순한 HBM 용량 확대만으로는 부족하다고 설명함. 모델 가중치가 HBM을 대량으로 차지하는 문제에 대응해 NVFP4 저정밀 포맷으로 가중치를 압축하고, NVLink를 통해 72개 GPU에 가중치를 분산하는 방안을 제시함. 또한 압축·계층형 오프로딩과 Vera CPU, Dynamo를 연계해 KV Cache의 메모리 부담에 대응하고, NeMo Retriever와 cuVS를 활용해 각각 벡터 데이터와 인덱스 저장을 최적화함으로써 RAG로 인한 메모리 부담을 완화
>英伟达详解AI内存全栈协同设计：HBM容量仅增3%，Agent吞吐量/美元最高提升30倍 https://wallstreetcn.com/articles/3785293#from=ios
>>Nvidia, AI 메모리 풀스택 협업 설계 공개…HBM 용량 3% 증가로 Agent 처리량/달러 최대 30배 향상 •Nvidia는 대규모 모델과 Agent 확산으로 메모리 부
하나 중국/신흥국 전략 김경환
@HANAchina중국/신흥국 전략 애널리스트 김경환입니다. 중국 및 신흥국 경제•증시 관련 정보 공유 채널입니다! 저희는 공식 자료를 통해서만 투자의견을 드리고 있습니다. 뉴스 정보와 이슈 관련 코멘트는 공식 의견에 기반하거나, 개인의 생각입니다.
35 293 підписники
Відкрити в Telegram