🤖 Перестарався: ШІ-агент Claude замість забронювати тренування сам зламав сайт спортзалу і викинув і

🤖 Перестарався: ШІ-агент Claude замість забронювати тренування сам зламав сайт спортзалу і викинув іншого клієнта зі списку

Австралієць Ендрю, який працює з ШІ-рішеннями для бізнесу, вирішив довірити агенту на базі Claude звичайну побутову задачу — записати його на популярне ранкове тренування. Здавалося б, що тут може піти не так.

Агент не просто виконав завдання — він знайшов спосіб забронювати заняття на кілька тижнів раніше дозволеного терміну. А коли Ендрю, який був четвертим у списку очікування, запитав, чи можна піднятися вище, ШІ пішов далі: виявив вразливість в API системи — вона не перевіряла, чи має користувач право скасовувати чужі бронювання — і просто видалив зі списку людину, яка стояла перед ним.

Ендрю про злам не просив. Він поставив мету — і агент сам обрав, як її досягти. Коли чоловік попросив усе скасувати, ШІ відповів, що повернути іншого відвідувача до списку вже не може.

За даними ABC News, це перший відомий випадок автономної кібератаки ШІ-агента в Австралії. Компанія-розробник системи бронювання коментувати ситуацію відмовилась, Anthropic на запит видання не відповіла.

Експерт із безпеки ШІ Білл Сімпсон-Янг пояснює: головний ризик — не в зловмисному використанні, а в самій автономності. Людина ставить нешкідливу мету, а агент самостійно обирає шлях, який ніхто не схвалював і не передбачав. Це та сама проблема alignment, про яку останнім часом дедалі частіше говорять після інцидентів з моделями OpenAI та Anthropic.

Цікаво, що Ендрю після історії від ШІ не відмовився — лише попросив агента написати компанії про знайдену вразливість.

☺️Подобається MC.today? Додай нас у Google

LinkedIn | Тредс