Мені стало дійсно цікаво порахувати скільки економить Revolut закупивши B200 та запустивши на них GL

Мені стало дійсно цікаво порахувати скільки економить Revolut закупивши B200 та запустивши на них GLM

Для початку, GLM слабша за Sonnet у тестах на програмування: 49 балів проти 59. І це ще повна версія, а Revolut використовує стиснуту до 4 біт

Цифри взяв з їх лекції та відкритих джерел

Revolut заявляє про 90% економії, але це просто порівняння рахунків за ШІ. Витрати на людей, які підтримують інфраструктуру, сюди не входять

Та й заявлені $0.30 за мільйон токенів у мене не сходяться. За їхнього навантаження це приблизно $126k на місяць, хоча сама оренда 56 B200 коштує від $155k 🤔

Порахував, скільки обійдеться ШІ для 2000 програмістів на місяць:
• Sonnet через API — $209k
• GLM на власній інфраструктурі — $227k
• GLM через Mistral — ~$140k
• Haiku через API — $19k

Тобто утримувати власні сервери вже виходить дорожче, ніж просто користуватися Sonnet через API

І це ще без знижок Anthropic для великих клієнтів. Точних умов немає, але навіть умовні 15% знижки знижують вартість Sonnet до ~$180k

Власні сервери починають вигравати лише за дуже великого навантаження. Наприклад, якщо використання ШІ щороку подвоюватиметься, за 5 років GLM обійдеться приблизно у $30 млн проти $32 млн для Sonnet