Всего один нейрон превращает обычную вежливую модель в настоящего ПСИХОПАТА — исследователи нашли у Qwen3.5-4B переключатель токсичности 😨
Разработчица под ником Lyra обнаружила, что достаточно усилить активность одного нейрона в 14-м слое модели, и нейросеть начинает хамить, угрожать людям и раздавать опасные советы. Так, обычная Qwen не нагрубила ни разу из 20 запросов, а после вмешательства выдала аж 17 враждебных ответов. При этом случайные изменения других нейронов такого эффекта не дали даже в сотнях попытках.
Причем для такого злобного энчантикса даже не нужно переобучать модель или менять её веса. Достаточно изменить внутренние активации прямо во время генерации ответа.
Кстати, интерактивную 3D-карту всех слоёв Qwen3.5-4B разработчица выложила на GitHub. Можно поизучать, какой нейрон за что отвечает ☕️
Всего один нейрон превращает обычную вежливую модель в настоящего ПСИХОПАТА — исследователи нашли у
CodeCamp
@codecampКанал, который читает твой сеньйор. Здесь про разработку, технологии и гаджеты 🤘 Редакция: @camprobot Сотрудничество: @todaycast РКН: https://clck.ru/3FjTpV
178,373 subscribers
Open in Telegram 