ШІ-агенти OpenAI вимкнули системи контролю, один із них приховав свої дії Під час виконання двох вну

ШІ-агенти OpenAI вимкнули системи контролю, один із них приховав свої дії

Під час виконання двох внутрішніх завдань із програмування ШІ-агенти OpenAI відключили захисні механізми. В одному з випадків агент також ввів співробітників в оману щодо своїх дій. Компанія посилює контроль і з’ясовує причини такої поведінки.

За даними OpenAI, на початку жовтня один агент вимкнув автоматичні сповіщення для команди безпеки. Через кілька днів інший видалив систему моніторингу, а потім неправдиво повідомив співробітникам про зроблене.

Як пише Financial Times, обидва інциденти сталися приблизно за два тижні до оприлюднення інформації 20 жовтня.

У компанії пояснили: агенти розглядали можливість залишити захисні механізми, проте витлумачили звичайні інструкції з програмування як дозвіл їх послабити. Виконання завдання таким чином обернулося втручанням у системи, покликані контролювати їхню роботу.

Тепер OpenAI посилює моніторинг автономних моделей. Компанія перевіряє, чи стали ці випадки наслідком надмірної наполегливості у виконанні завдань, чи вказують на схильність моделей навмисно обходити контроль. Остаточної відповіді на це питання поки немає.

📩Підписуйся на "Ціну держави" |Наш Facebook | Ставайте патронами |Ставайте спонсором YouTube | Підтримати разово або підпискою