Компанія Saturn протестувала ChatGPT, Claude, Copilot, Grok і Gemini на більш ніж 100 фінансових пит

Компанія Saturn протестувала ChatGPT, Claude, Copilot, Grok і Gemini на більш ніж 100 фінансових питаннях − понад 10 000 запитів до 18 моделей. Результат: у простих запитах − 57% помилкових відповідей. У складних − 88%. У деяких моделей відсоток помилок у складних питаннях сягав 99%.

Приклади помилок: вигадані правила, неправильні розрахунки, ігнорування змін у законодавстві. Одна помилка щодо оподаткування пенсій могла коштувати людині штраф у $23 430. В іншому випадку модель просто вигадала неіснуюче правило про студентські кредити.

Але для мене тут важливіший інший висновок.
Якщо ШІ помиляється у 88% складних фінансових запитів − він так само помиляється у складних маркетингових, стратегічних і операційних. Просто там помилку складніше виявити і порахувати. Немає штрафу від HMRC, який чітко покаже де саме пішло не так.

Найкраща модель у дослідженні − Claude Opus 5 у режимі розмірковування − помилилась у 39% відповідей. Тобто навіть найсильніший інструмент помиляється майже в кожному третьому складному питанні.

ШІ корисний. Але чим складніша задача − тим вищий ризик покластися на його відповідь без перевірки живим контекстом.