Український розробник Slava S (slvDev) у проєкті ESP32-AI довів, що запуск локальної мовної моделі можливий навіть на наддешевому мікроконтролері ESP32-S3 за $10 — повністю офлайн, без підключення до хмарних сервісів.
На перший погляд завдання здавалося нездійсненним через скромні ресурси: 512 КБ SRAM, 8 МБ PSRAM і 16 МБ флешпам'яті. Щоб обійти обмеження, автор застосував підхід Per-Layer Embeddings (як у Google Gemma) і квантував модель до 4 біт (14,9 МБ). Таблицю на ~25 млн параметрів розмістили у флешпам'яті, а SRAM задіяли винятково під обчислення, що різко знизило вимоги до оперативки.
Модель на 28,9 млн параметрів навчена на датасеті TinyStories: вона генерує лише короткі казки й не призначена для діалогів, коду чи пошуку фактів. Це радше демонстрація технічного потенціалу, але такий принцип буде корисним для автономних пристроїв (побутова техніка, промконтролери) і серверних ШІ-систем задля економії дорогої ОЗП.
💻 Підписатись
Український розробник Slava S (slvDev) у проєкті ESP32-AI довів, що запуск локальної мовної моделі м
Dream Machines Ukraine 💻
@DMUkraineОфіційний канал Dream Machines в Україні Кастомні ігрові ноутбуки та периферія: www.dreammachines.com.ua Пишемо про новини IT-індустрії, передові технології та інші цікаві речі Для підписників каналу діють спеціальні пропозиції, знижки та розіграші!
13,126 מנויים
פתח בטלגרם