Нейромережі настільки розумні, що не можуть прикинутися двієчником   Дослідники з Університету

Нейромережі настільки розумні, що не можуть прикинутися двієчником
 
Дослідники з Університету Дрекселя спробували змусити мовні моделі зображати школярів з різним рівнем знань з алгебри. Але однієї інструкції «відповідай як слабкий учень» для реальної ролі двієчника виявилося замало.
 
Gemini 3.1 Flash Lite, Claude Haiku 4.5 та GPT-5.4-mini отримали 379 завдань з алгебри та п'ять різних ролей учнів. Однак із завданням вони не впоралися. Неважливо, чи була модель «відмінником» або «двієчником», точність залишалася на рівні 96,8–100%.
 
Проблема у тому, що модель знає правильне рішення і їй важко придушує власні здібності. Тому автори розділили завдання на два: спочатку окремий алгоритм моделює, що учень знає і де помиляється, а потім LLM формулює пояснення його відповіді. Так вдалося отримати правдоподібнішу градацію: точність «майже експерта» склала 85,2%, середнього учня — 57,8%, а слабкого — 44,1%.
 
Автори визнають, що ще не порівнювали своїх віртуальних «школярів» з реальними учнями, тому поки що йдеться