Microsoft выпустила скилл, который проверяет ИИ-агентов на дыры и фиксит всё 👍
run-assert-eval придумывает ситуации, в которых агент может сделать что-то опасное, например, раскрыть данные клиента. Затем он прогоняет эти сценарии и, если что, создаёт для агента правило, которое блокирует такое поведение. После этого всё тестится заново, чтобы проверить, сработала ли защита.
Так, на демо с агентом поддержки доля случаев, когда тот случайно раскрывал чужие данные, упала с 30% до 5,9%. И все благодаря этому скиллу!
Проводим аудит агентов ⌨️
Microsoft выпустила скилл, который проверяет ИИ-агентов на дыры и фиксит всё 👍 run-assert-eval приду
CodeCamp
@codecampКанал, который читает твой сеньйор. Здесь про разработку, технологии и гаджеты 🤘 Редакция: @camprobot Сотрудничество: @todaycast РКН: https://clck.ru/3FjTpV
181,334 מנויים
פתח בטלגרם