Tencent сжали свою модель Hy4 (770B параметров) с 1.5TB до 200GB — и она всё ещё нормально работает 🤯

Фишка не в том, чтобы просто урезать биты, а в том, чтобы делать это умно: часть слоёв ужимают до 1.31 бита, часть оставляют на 2.06. Просадка по бенчмаркам почти незаметна — SWE-Bench упал всего на 1.6 пункта.

Теперь 770B-модель реально можно гонять локально, без датацентра под столом.

[#AI](/search?q=%23AI) [#Tencent](/search?q=%23Tencent) [#opensource](/search?q=%23opensource)