Джерело: журналіст електронної газети «Електронна газета» Лі Вонджі
Повна цитата статті «CLEVI, із власною моделлю, розробленою from scratch, досягла 79,07% у GAIA... У топ-2,5% серед 3 090 моделей»
Дата публікації: 2026-04-07
Посилання: https://www.etnews.com/20260407000203
П’ять агентів у незалежному стеку моделей cip-5.5-agent·cip-5.5-mm — усі набрали понад 70 балів
З урахуванням втрати інформації точність відповідей становить понад 98%, що перевищує показник людей (92%)
AI-стартап «CLEVI», використовуючи власну модель, розроблену from scratch, досягнув точності відповідей 79,07% у глобальному бенчмарку AI-агентів «GAIA» і закріпився в топ-2,5% серед усіх 3 090 зареєстрованих моделей.
За поясненнями представників галузі, на ринку AI-бенчмарків GAIA вважається таким, що достовірно відображає можливості «практичних AI-агентів». Цей бенчмарк, спільно розроблений Meta AI, HuggingFace та Університетом Париж-Сакле, уперше оприлюднили в листопаді 2023 року.
GAIA вирізняється з-поміж інших бенчмарків трьома ключовими особливостями. По-перше, оскільки правильні відповіді не розголошуються, перенавчання неможливе. По-друге, завдання вимагають складного багатокрокового й мультимодального міркування, тому високий результат неможливо отримати простим зіставленням шаблонів. По-третє, понад 3 090 моделей з усього світу змагаються на однакових умовах через офіційну таблицю лідерів HuggingFace.
Тестовий набір складається загалом із 301 запитання. Level 1 передбачає використання одного інструмента та просте міркування, Level 2 — поєднання кількох інструментів і міркування середньої складності, а Level 3 — агентне планування та виконання щонайменше у п’ять етапів, що робить його найскладнішим рівнем завдань. На момент представлення бенчмарку показник моделей GPT (із плагінами) становив лише близько 15%, тоді як наразі провідні команди підвищили його до 70–80%.
Серед цього CLEVI наголосила, що технічно найважливішим аспектом цього результату є те, що взагалі не використовувалися зовнішні API LLM, зокрема GPT, Claude та Gemini. Особливістю є використання двох незалежних моделей, розроблених CLEVI за підходом from scratch.
cip-5.5-agent — агентна модель ШІ, яка відіграє роль основного мозку конвеєра агентів, що автономно планує (planning), виконує (execution) і перевіряє (verification) складні завдання. cip-5.5-mm — високопродуктивна універсальна мультимодальна модель, що розуміє та аналізує різні формати файлів, зокрема голосові дані, зображення й відео. Оскільки значна частина завдань GAIA містить нетекстові вхідні дані, як-от PDF-файли, зображення та аудіофайли, саме ці мультимодальні можливості стали ключовим чинником високого результату.
CLEVI представила на GAIA п’ять різних конфігурацій агентів на основі цих двох власних моделей, і всі вони набрали понад 70 балів.
За словами компанії, під час внутрішнього постаналізу CLEVI було виявлено цікавий результат. Для частини із загалом 301 завдання наразі втрачено підстави для підтвердження правильних відповідей у відкритому вебпросторі. Йдеться про випадки, коли інформацію, яку раніше можна було перевірити онлайн або через пошукові системи, було видалено чи змінено, і вона стала недоступною. Під час повторного оцінювання в межах інформації, доступної для публічної перевірки людьми, точність відповідей CLEVI становила понад 98%. Це вже перевищує середній людський показник у 92%.
Представник CLEVI пояснив: «CLEVI увійшла до топ-2,5% у відкритому бенчмарку, набравши понад 70 балів усіма п’ятьма агентами, використовуючи лише власні моделі та власні рішення на основі ШІ-агентів from scratch, без поєднання зовнішніх моделей. Очікується, що завдяки подальшому вдосконаленню власних моделей і агентних рішень офіційний результат також можна буде додатково підвищити. Це досягнення має велике значення, оскільки демонструє “перевірену довіру”, підтверджену фактичними вимірюваннями у глобальному відкритому бенчмарку; є результатом вітчизняного розробника ШІ на основі власних моделей from scratch; є результатом незалежного стека моделей, а не поєднання зовнішніх моделей; а також має цінність для інтерпретації, що виходить за межі самого бала, з огляду на втрату інформації щодо частини завдань».