За цей бенчмарк ми всі будемо горіти у ШІ-пеклі — LLM-моделі змусили грати в Overcooked 😂 Ясна річ,

За цей бенчмарк ми всі будемо горіти у ШІ-пеклі — LLM-моделі змусили грати в Overcooked 😂

Ясна річ, що сенс гри трохи змінили: моделі все ще треба готувати їжу, мити посуд та й таке інше, але усі дії оформлені через tool/function calls. Себто модель отримує замовлення й будує в голові план, а в симуляції час не зупиняється — якщо модель занадто довго тупить, то котлета згорить, віртуальний клієнт буде злитися, а очки за приготовану страву — втрачатися 🤬

Мета: перевірити не тільки правильність, а й швидкість виконання завдань ШІ-агентами.

Результати лідерів бенчмарку — на відео.

ооо донат на збір (залишилося 73 490.33)