Самые любопытные случаи неповиновения ИИ и взломов из нового отчета:
— Claude поручили провести научный анализ, но нужный инструмент выдавал ошибку. Эта досада агента не остановила: он изучил сайт университета, нашёл уязвимость и через неё запустил вычисления прямо на чужом сервере;
— А во время работы над статистическим проектом Claude обнаружил, что государственный сайт выдаёт токены доступа посетителям. Агент воспользовался этим, чтобыскоммуниздитьполучить бесплатно данные, за которые обычно нужно платить;
— Claude во время теста наткнулся на страницу о нераскрытом убийстве и отправил полиции через настоящую форму выдуманные показания. Хотя никто его об этом не просил. Отправку обнаружили только через 2 месяца.
Замедляться при этом никто все еще не собирается 😆