В Україні запустили перший національний рейтинг штучного інтелекту — Ukrainian LLM Leaderboard &nbsp

В Україні запустили перший національний рейтинг штучного інтелекту — Ukrainian LLM Leaderboard
 
Його метою є чесно та об’єктивно виміряти, наскільки якісно різні Ші-моделі володіють українською мовою.
 
Платформу розробили Центр компетенцій WINWIN AI при Мінцифрі, Український католицький університет (УКУ) та громадська ініціатива lang-uk. Правила оцінювання створили експерти Юрій Панів та Дмитро Чаплінський, які понад 10 років навчають нейромережі розуміти українську мову.
 
Моделі тестують на завданнях, максимально наближених до реального життя. ШІ повинен:
 
Перекладати й робити стислі підсумки великих текстів.
Шукати відповіді в документах та вирішувати логічні задачі.
Складати тести зі шкільної програми на рівні ЗНО.
Робити математичні обчислення та виконувати складні інструкції. 
 
Раніше якість роботи ШІ оцінювали закордонні рейтинги переважно англійською мовою, а українську перевіряли через простий машинний переклад, який приховував реальні помилки.