Xiaomi розкрила подробиці про спеціалізований ШІ-прискорювач Xring O100, призначений для локального запуску потужних моделей безпосередньо на пристроях.
Чіп забезпечує пропускну здатність пам'яті до 1,22 ТБ/с і видає швидкість інференсу до 330 токенів за секунду — це близько 250 слів за секунду, що приблизно в 50 разів швидше за середню швидкість читання людини.
Компанія називає O100 першим у світі рішенням із 6-нм 3D-упаковкою на рівні пластини. Завдяки вертикальному компонуванню обчислювальної логіки та DRAM-пам'яті з гібридним з'єднанням відстань між блоками значно скоротилася. Така архітектура забезпечує в 16 разів більшу пропускну здатність пам'яті порівняно з традиційними смартфонами й усуває «вузьке місце» під час передачі даних, яке заважало ефективній локальній роботі великих мовних моделей. За обробку відповідає багатоядерний NPU з динамічною маршрутизацією даних, оптимізований під різні етапи інференсу.
💻 Підписатись
Xiaomi розкрила подробиці про спеціалізований ШІ-прискорювач Xring O100, призначений для локального
Dream Machines Ukraine 💻
@DMUkraineОфіційний канал Dream Machines в Україні Кастомні ігрові ноутбуки та периферія: www.dreammachines.com.ua Пишемо про новини IT-індустрії, передові технології та інші цікаві речі Для підписників каналу діють спеціальні пропозиції, знижки та розіграші!
13,126 subscribers
Open in Telegram