Вчера появилась информация, что с помощью определённых манипуляций видеокарту для майнинга NVIDIA CMP 170HX с 8 ГБ видеопамяти превратили в карту на 80 ГБ. Выяснилось, что по железу она почти ничем не отличается от профессиональной A100, которая стоит в разы дороже, а ограничена была только программно. Это открывает ряд возможностей для тех, кто хочет запускать ИИ-модели у себя локально.
Насчёт локального запуска моделей стоит также упомянуть новую DeepSeek Flash 10.17, которая по многим параметрам мало уступает самым передовым и дорогим американским моделям, но при этом её можно свободно скачать и запускать на своём железе. Уже есть и так называемые квантованные версии этой модели DeepSeek, которые занимают меньший объём при незначительной потере качества. Для их запуска требования к железу невысокие. К примеру, двух видеокарт RTX 3090 и 128 ГБ оперативной памяти вполне может хватить — это можно считать минимальными требованиями для работы, а скорость будет около 40 токенов в секунду. Плюс уже существуют «abliterated»-версии (со снятой цензурой), и их можно использовать в закрытых контурах для задач с чувствительной тематикой, где обычные модели не отвечают на вопросы.
🔒DARPA&CIA
Вчера появилась информация, что с помощью определённых манипуляций видеокарту для майнинга NVIDIA CM
Секреты DARPA и ЦРУ | DARPA&CIA
@darpaandciaРаскрываем секретные проекты DARPA, ЦРУ, IARPA и DNI. Вся информация задокументирована. The Things We Don't Say Out Loud. Uncovering Secret Projects of DARPA, CIA, IARPA, and DNI: All Information Documented
16 532 підписники
Відкрити в Telegram 