Єменські військові використовували Claude для створення ракети

Компанія Anthropic розповіла про інцидент, під час якого певні військові з північної частини Ємену змусили ШІ писати код як для керованої ракети з «начинкою» звичайного смартфона, так і для балістичної ракети.

Військові використовували ШІ для налаштування автопілота, симуляції польоту та складання прошивки.

Захисні системи Anthropic заблокували багато запитів, але не всі. Хакери приховували свої справжні цілі, не згадували, що пишуть код для зброї, і розбивали завдання на дрібні частини, щоб в одному діалозі не розкривати весь задум.

Військові провели випробування ракети, створеної Claude, — вона впала. Відразу після падіння розробники повернулися до Claude, щоб з’ясувати причину невдачі.

r/[#singularity](?q=%23singularity)