Источник: журналист Ли Вонджи, Electronic Times
Полная цитата статьи «CLEVI: 79,07% в GAIA с собственной моделью, разработанной from scratch… входит в топ-2,5% среди 3 090 моделей»
Дата публикации: 2026-04-07
Ссылка: https://www.etnews.com/20260407000203
Пять агентов в стеке независимых моделей cip-5.5-agent·cip-5.5-mm набрали более 70 баллов каждый
С учетом потери информации точность ответов составляет более 98%, что превышает человеческий показатель (92%)
AI-стартап CLEVI, используя собственную модель, разработанную from scratch, достиг точности ответов 79,07% в глобальном бенчмарке AI-агентов GAIA и вошел в топ-2,5% среди 3 090 зарегистрированных моделей.
Согласно объяснениям представителей отрасли, на рынке AI-бенчмарков GAIA считается бенчмарком, который достоверно отражает возможности «практических AI-агентов». Этот бенчмарк, совместно разработанный Meta AI, HuggingFace и Университетом Париж-Сакле, впервые был представлен в ноябре 2023 года.
GAIA отличается от других бенчмарков по трем ключевым параметрам. Во-первых, поскольку правильные ответы не публикуются, переобучение невозможно. Во-вторых, поскольку требуется составное многошаговое и мультимодальное рассуждение, получить высокий результат с помощью простого сопоставления шаблонов невозможно. В-третьих, через официальный лидерборд HuggingFace более 3 090 моделей со всего мира соревнуются на одинаковых условиях.
Тестовый набор состоит из 301 вопроса. Level 1 включает использование одного инструмента и простое рассуждение, Level 2 — комбинацию нескольких инструментов и рассуждение среднего уровня, а Level 3 — вопросы высшей сложности, требующие планирования и выполнения агентом пяти или более этапов. На момент публикации бенчмарка показатель моделей GPT (с плагинами) составлял около 15%, а в настоящее время ведущие команды повысили его до 70–80%.
При этом CLEVI подчеркнула, что наиболее важным с технической точки зрения аспектом этого достижения является то, что не использовались внешние API LLM, такие как GPT, Claude и Gemini. Особенность CLEVI заключается в использовании двух независимо разработанных моделей, созданных методом from scratch.
cip-5.5-agent — агентная AI-модель, играющая роль основного мозга агентного конвейера, который автономно планирует (planning), выполняет (execution) и проверяет (verification) сложные задачи. cip-5.5-mm — высокопроизводительная универсальная мультимодальная модель, способная понимать и анализировать различные форматы файлов, включая голосовые записи, изображения и видео. Поскольку значительная часть заданий GAIA содержит нетекстовые входные данные, такие как PDF-файлы, изображения и аудиофайлы, именно мультимодальные возможности стали ключевым фактором высокого результата.
Используя эти две собственные модели, CLEVI представила на GAIA 5 различные конфигурации агентов, и все они набрали более 70 баллов.
Согласно объяснению компании, в ходе внутреннего постанализа CLEVI был выявлен интересный результат. Для некоторых из 301 задания в настоящее время отсутствуют подтверждения правильных ответов в открытом интернете. Речь идёт о случаях, когда информация, ранее доступная онлайн или через поисковые системы, была удалена или изменена и больше недоступна. При повторной оценке в рамках информации, которую человек может публично проверить в настоящее время, точность CLEVI составила более 98%. Это уже превышает средний человеческий показатель в 92%.
Представитель CLEVI пояснил: «CLEVI вошла в топ-2,5% открытого бенчмарка, набрав более 70 баллов во всех 5 конфигурациях агентов исключительно благодаря собственным моделям и собственным решениям на базе AI-агентов, разработанным с нуля, без смешивания внешних моделей. В дальнейшем официальную оценку, вероятно, удастся дополнительно повысить за счёт совершенствования собственных моделей и решений на базе агентов. Это достижение имеет большое значение, поскольку фактические результаты на глобальном открытом бенчмарке демонстрируют „проверенную надёжность“, являются результатом работы отечественного разработчика AI на основе собственных моделей, разработанных с нуля, отражают результат собственного стека моделей, а не смешивания внешних моделей, и имеют интерпретационную ценность, превышающую сам балл, если учитывать утрату информации по некоторым заданиям».