Лолкєкове: Microsoft хотіли з'ясувати, як скоро нас замінить ШІ і їм це вдалося. Відповідь: не скоро 😁
19 моделей прогнали на 310 типових робочих задачах з документами, які є у середнього працівника в білій сорочці, результат очікуваний: моделі дуже швидко втрачають важливий контекст документа й чим складніше завдання, тим більше вони забувають — до 50% вмісту, лол.
Перевіряли дуже просто: усі задачки були побудовані за логікою «Розбери документ по категоріях, а потім збери докупи» — бенчмарк назвали DELEGATE-52, бо в ньому 52 різних професії. Сікс-севен було близько, але не сьогодні 😣
Десь два роки топу я вперше ляпнув, що будь-яка робота LLM завжди буде вимагати апруву та перевірки від людини — поки прогноз тримається. Поки 😱
ооо донат на збір (залишилося 93 402.6)
Лолкєкове: Microsoft хотіли з'ясувати, як скоро нас замінить ШІ і їм це вдалося.
Ооо нейромережеве🐱
@oooneuroCOFFEE AI MEOW REPEAT По рекламі: @ad_kitty Інші питання: @neurokit Посилання для друзів: https://t.me/+bXCkQ_uagrozYzVi Навігація за хештегами: https://t.me/c/1591600888/2976 Монобаза: https://base.monobank.ua/EhJBDcb6zd52Ni
26,149 subscribers
Open in Telegram 1 photo is attached to this post — visible in the Telegram app.