Тягне на революцію: вийшов експериментальний рушій для MoE-моделей, який дозволяє запускати гігантські моделі на звичайних ноутах 😮
Ідея проста: якщо в нас купа різних експертів, давайте зберемо в одну систему ресурси GPU, CPU та RAM та рівномірно розкидаємо навантаження.
Результати прямо кльові:
🪙 Qwen3.6-35B-A3B — працює на мобільній RTX 4060 8 ГБ з ноуту й видає 39 ток/с;
🪙 DeepSeek-V4-Flash 284B — фуричить на RTX 5090 зі швидкістю 22–25 ток/с;
🪙 Монструозна GLM-5.2 753B — одна RTX PRO 6000: деcь 15 ток/с.
Ну й та, потрібна саме відеокарта, тому маководи на цей раз поза грою 😣
GitHub | Стаття
ооо збори мої збори (залишилося 41 020.88)
Тягне на революцію: вийшов експериментальний рушій для MoE-моделей, який дозволяє запускати гігантсь
Ооо нейромережеве🐱
@oooneuroCOFFEE AI MEOW REPEAT По рекламі: @ad_kitty Інші питання: @neurokit Посилання для друзів: https://t.me/+bXCkQ_uagrozYzVi Навігація за хештегами: https://t.me/c/1591600888/2976 Монобаза: https://base.monobank.ua/EhJBDcb6zd52Ni
26,064 subscribers
Open in Telegram