Ентузіаст Джун Ямог об'єднав чотири прискорювачі NVIDIA Tesla V100 (по 32 ГБ HBM2) на архітектурі Volta за допомогою спеціальної плати з інтерфейсом NVLink 2.0 і порівняв їх із сучасною системою на Apple M5 Ultra та двома NVIDIA DGX Spark. Плату під'єднали до ПК через PCIe x8, а для охолодження карт із енергоспоживанням по 300 Вт радіатори від NVIDIA A100 довелося доопрацьовувати на фрезерному верстаті.
У випробуваннях мовної моделі Qwen3.8-Flash-Next із 4-бітним квантуванням старі прискорювачі виявилися значно швидшими за суперників. Під час обробки довгих запитів чотири V100 перевершили Apple M5 Ultra на 230%, а два DGX Spark — на 40%. За коротких запитів перевага становила 163% та 40% відповідно. У режимі генерації відповідей зв'язка з V100 досягла 100,6 токена/с, випередивши два DGX Spark на 121% і обігнавши M5 Ultra з його 44,5 токена/с, лише трохи поступившись системі з восьми RTX Pro 6000 (126 токенів/с).
Відставання чипа Apple ентузіаст пояснює слабкою оптимізацією ПЗ, та й про енергоефективність забувати не варто: чотири V100 потребують до 1200 Вт потужності. Однак за ціни близько $744 за один Tesla V100 на вторинному ринку комплект із чотирьох карт обходиться приблизно у $3000, що робить збірку вкрай продуктивним і навіть бюджетним рішенням.
💻 Підписатись
https://youtu.be/s6981RLmH0Q?si=aBPvbbmZYYNRsQ1J
Ентузіаст Джун Ямог об'єднав чотири прискорювачі NVIDIA Tesla V100 (по 32 ГБ HBM2) на архітектурі Vo
Dream Machines Ukraine 💻
@DMUkraineОфіційний канал Dream Machines в Україні Кастомні ігрові ноутбуки та периферія: www.dreammachines.com.ua Пишемо про новини IT-індустрії, передові технології та інші цікаві речі Для підписників каналу діють спеціальні пропозиції, знижки та розіграші!
12,574 subscribers
Open in Telegram