Xiaomi розкрила подробиці про [спеціалізований ШІ-прискорювач Xring O100](https://t.me/DMUkraine/6076), призначений для локального запуску потужних моделей безпосередньо на пристроях.

Чіп забезпечує пропускну здатність пам'яті до 1,22 ТБ/с і видає швидкість інференсу до 330 токенів за секунду — це близько 250 слів за секунду, що приблизно в 50 разів швидше за середню швидкість читання людини.

Компанія називає O100 першим у світі рішенням із 6-нм 3D-упаковкою на рівні пластини. Завдяки вертикальному компонуванню обчислювальної логіки та DRAM-пам'яті з гібридним з'єднанням відстань між блоками значно скоротилася. Така архітектура забезпечує в 16 разів більшу пропускну здатність пам'яті порівняно з традиційними смартфонами й усуває «вузьке місце» під час передачі даних, яке заважало ефективній локальній роботі великих мовних моделей. За обробку відповідає багатоядерний NPU з динамічною маршрутизацією даних, оптимізований під різні етапи інференсу.

[💻 Підписатись](https://t.me/DMUkraine)