Apple Silicon виявився ідеальною платформою для локального запуску великих мовних моделей Секрет усп

Apple Silicon виявився ідеальною платформою для локального запуску великих мовних моделей

Секрет успіху — єдина архітектура пам'яті (Unified Memory), висока пропускна здатність та її великий обсяг. Mac Studio M5 Ultra з 512 ГБ оперативки та швидкістю 1,2 ТБ/с здатен повністю вмістити модель GLM-5.3-Flash на 320 млрд параметрів у FP8, видаючи локально близько 60 токенів на секунду.

Для аналогічної задачі знадобилося б щонайменше 10 відеокарт RTX 5090 (по 32 ГБ VRAM кожна), адже ваги моделі займають 306 ГБ.

Тобто один настільний комп’ютер Apple успішно замінює цілий графічний кластер вартістю понад $20 000.