📌Moonshot AI відкрила ваги Kimi K3 — Нейроєнот | Нейромережа Midjourney, chat GPT та інші

Нейроєнот | Нейромережа Midjourney, chat GPT та інші

@neuroenot

Захопливо про нейромережі та проривні технології. Ласкаво просимо у майбутнє. #добірка - добірка всіх новин за тиждень Для друга: https://t.me/neuroenot Співпраця та зв'язок: @New_Life_Technology

📌Moonshot AI відкрила ваги Kimi K3

Moonshot AI опублікувала Kimi K3 на Hugging Face. Це одна з найбільших open-weight моделей, доступних для локального запуску та досліджень, із 2,8 трлн параметрів.

🔆Детальніше

• Архітектура MoE активує 104 млрд параметрів на кожен токен, використовуючи 16 експертів із 896.

• Модель підтримує контекст до 1 048 576 токенів і працює з текстом та зображеннями.

• Kimi K3 побудована на новій архітектурі Kimi Delta Attention (KDA), використовує Attention Residuals, 93 шари та формати MXFP4/MXFP8.

• За даними Moonshot AI, нова архітектура приблизно у 2,5 раза ефективніше масштабується порівняно з Kimi K2.

• Модель орієнтована на складні агентні сценарії, роботу з великими кодовими базами, дослідження та інженерні задачі.

➡️Нuggingface тут.

➡️Запроси друга до НейроЄнота🦝