**MLX로 Mac Studio 여러 대에서 대형 AI 모델 실행하기**

- Apple이 M5 Ultra Mac Studio 4대에서 8,160억 파라미터의 Muse Spark Open을 분산 실행한 결과를 공개. 4비트 NVFP4 모델과 8,192토큰 문맥에서 초당 36.73토큰을 생성  
- MLX와 Thunderbolt 5 기반 RDMA로 여러 Mac의 메모리와 연산 자원을 활용. 모델의 레이어를 나누는 파이프라인 병렬화와, 각 레이어의 계산을 여러 장비가 나눠 수행하는 텐서 병렬화를 지원  
- Muse Spark Open은 4비트로 줄여도 모델 메모리만 약 493GB가 필요. 추론 중간 계산용 메모리까지 더하면 512GB 단일 장비에 들어가지 않아 여러 Mac에 나눠 실행해야 함  …

[https://news.hada.io/topic?id=35483](https://news.hada.io/topic?id=35483)