Tencent сжали свою модель Hy4 (770B параметров) с 1.5TB до 200GB — и она всё ещё нормально работает 🤯
Фишка не в том, чтобы просто урезать биты, а в том, чтобы делать это умно: часть слоёв ужимают до 1.31 бита, часть оставляют на 2.06. Просадка по бенчмаркам почти незаметна — SWE-Bench упал всего на 1.6 пункта.
Теперь 770B-модель реально можно гонять локально, без датацентра под столом.
#AI #Tencent #opensource
Tencent сжали свою модель Hy4 (770B параметров) с 1.
AI | Новости | Volodymyr Saakian
@ai_it_education🤖 AI новости для разработчиков, фрилансеров и бизнеса Tech Lead @ TUI · 9 лет в IT 90% моего кода пишет AI — рассказываю как и зачем Кейсы · Инструменты · Автоматизация Вопросы → @llossless
19 مشتركًا
فتح في تيليجرام 1 صورة مرفق بهذا المنشور — مرئي في تطبيق تيليجرام.