DGX Station 2대에서 vLLM으로 GLM-5.3 로컬 서빙하기
- GLM-5.3 NVFP4의 약 464GB 체크포인트를 DGX Station 2대의 GPU에 나눠 올리고, CPU 가중치 오프로딩 없이 하나의 OpenAI 호환 API로 서빙함
- 텐서 병렬화(TP=2) 로 두 GB300 GPU가 가중치와 연산을 분담하며, 모든 요청의 토큰 생성 과정에서 ConnectX-8 RDMA 연결로 부분 결과를 교환함
- 다중 토큰 예측(MTP) 으로 단계당 토큰 4개를 미리 생성해 검증하고, FP8 KV 캐시와 프리픽스 캐싱으로 캐시 메모리와 반복 프롬프트 처리 부담을 줄임
- SPEED-Bench Coding에서 동시 요청 16개일 때 전체 처리량은 초당 607.8토큰으…
https://news.hada.io/topic?id=37221
DGX Station 2대에서 vLLM으로 GLM-5.
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2,468 subscribers
Open in Telegram