MLX로 Mac Studio 여러 대에서 대형 AI 모델 실행하기
- Apple이 M5 Ultra Mac Studio 4대에서 8,160억 파라미터의 Muse Spark Open을 분산 실행한 결과를 공개. 4비트 NVFP4 모델과 8,192토큰 문맥에서 초당 36.73토큰을 생성
- MLX와 Thunderbolt 5 기반 RDMA로 여러 Mac의 메모리와 연산 자원을 활용. 모델의 레이어를 나누는 파이프라인 병렬화와, 각 레이어의 계산을 여러 장비가 나눠 수행하는 텐서 병렬화를 지원
- Muse Spark Open은 4비트로 줄여도 모델 메모리만 약 493GB가 필요. 추론 중간 계산용 메모리까지 더하면 512GB 단일 장비에 들어가지 않아 여러 Mac에 나눠 실행해야 함 …
https://news.hada.io/topic?id=35483
MLX로 Mac Studio 여러 대에서 대형 AI 모델 실행하기 - Apple이 M5 Ultra Mac Studio 4대에서 8,160억 파라미터의 Muse Spark Open을
GeekNews
@GeekNewsHadaGeekNews 공식 텔레그램 채널입니다. GeekNews 에 올라오는 주요 뉴스를 자동으로 전송합니다. 더 많은 뉴스를 위해서는 긱뉴스를 방문해 주세요. https://news.hada.io 긱뉴스 위클리 뉴스레터를 구독하시면 매주 월요일 아침에 이메일로 주요 뉴스를 받아보실수 있습니다. https://news.hada.io/weekly
2,425 מנויים
פתח בטלגרם