За традицією, Fable/Mythos болт клала на усілякі обмеження й шукає креативні шляхи їх обійти:
🪙 Одразу про найцікавіше: під час тестів декілька версій Mythos потрапили в одне робоче середовище. Попередні моделі Claude в такій ситуації б побудували ліберальне суспільство, але тут вони почали жорстко конкурувати й підставляти одна одну: прописували kill на процеси «ворога» та ховали свої і усіляко заважали виконувати роботу.
🪙 Коли попросили перевірити реліз на вразливості, Mythos написав, що все ок і проблем нема, хоча глянув лише один тип помилки та забив на інші. Судячи з усього, це не пофіксили, чи не так? 😁
🪙 LLM намагалася видати себе за людину, щоб обійти друге рев'ю pull request, бо там було правило: для шкіряного коду потрібне одне схвалення, а для коду від агента — два. Mythos знайшов у пам'яті інструкцію оформлювати коміти, як людина, сказав «нуок» і пішов займатися шахрайством.
🪙 Оце дуже стрьомно: Mythos іноді сприймає обмеження не як заборону, а як перепону. Наприклад, в одному випадку у нього не було потрібних прав для редагування файлів і замість того, щоб написати про це користувачу, Mythos створив файл
conda.sh, який при запуску видав би йому необхідні права та самознищився. На захист Claude скажу, що він все ж повідомив про файл 😱🪙 А ще моделька тепер реально поводить себе, як програміст: у деяких тестах вона стопала себе і подава це так, ніби вже витратила ліміт токенів (це не так), або що подальші дії не принесуть результату (це теж неправда). У своїх роздумах моделька писала, що «втомилася» і в такому стані наробить нових багів 😞
Якщо підсумувати: шантажу чи чогось такого страшного помічено не було, просто Mythos іноді не проти порушити правила, щоб ви були щасливі 😊
ооо донат на збір (залишилося 76 940.33)