**📌****Moonshot AI відкрила ваги Kimi K3**

Moonshot AI опублікувала Kimi K3 на Hugging Face. Це одна з найбільших open-weight моделей, доступних для локального запуску та досліджень, із 2,8 трлн параметрів.

🔆**Детальніше**

• Архітектура MoE активує 104 млрд параметрів на кожен токен, використовуючи 16 експертів із 896.

• Модель підтримує контекст до 1 048 576 токенів і працює з текстом та зображеннями.

• Kimi K3 побудована на новій архітектурі Kimi Delta Attention (KDA), використовує Attention Residuals, 93 шари та формати MXFP4/MXFP8.

• За даними Moonshot AI, нова архітектура приблизно у 2,5 раза ефективніше масштабується порівняно з Kimi K2.

• Модель орієнтована на складні агентні сценарії, роботу з великими кодовими базами, дослідження та інженерні задачі.

➡️Нuggingface [тут](/leaving?url=aHR0cHM6Ly9odWdnaW5nZmFjZS5jby9tb29uc2hvdGFp).

➡️**_Запроси друга до _**[**_НейроЄнота_**](https://t.me/neuroenot)🦝