**DGX Station 2대에서 vLLM으로 GLM-5.3 로컬 서빙하기**

- GLM-5.3 NVFP4의 약 464GB 체크포인트를 DGX Station 2대의 GPU에 나눠 올리고, CPU 가중치 오프로딩 없이 하나의 OpenAI 호환 API로 서빙함  
- 텐서 병렬화(TP=2) 로 두 GB300 GPU가 가중치와 연산을 분담하며, 모든 요청의 토큰 생성 과정에서 ConnectX-8 RDMA 연결로 부분 결과를 교환함  
- 다중 토큰 예측(MTP) 으로 단계당 토큰 4개를 미리 생성해 검증하고, FP8 KV 캐시와 프리픽스 캐싱으로 캐시 메모리와 반복 프롬프트 처리 부담을 줄임  
- SPEED-Bench Coding에서 동시 요청 16개일 때 전체 처리량은 초당 607.8토큰으…

[https://news.hada.io/topic?id=37221](https://news.hada.io/topic?id=37221)