Источник: Digital Times, журналист Ку Бонгю
Полная цитата статьи «AI-стартап CLEVI вошёл в топ-2,5% GAIA… демонстрируя подтверждённую надёжность»
Дата публикации: 2026-04-08
Ссылка: https://n.news.naver.com/article/029/0003020511?sid=105
Южнокорейский AI-стартап «CLEVI (Clevi)» сообщил, что после создания собственной модели и собственного агентского решения с нуля впервые в Южной Корее вошёл в топ-2,5% бенчмарка GAIA среди всех 3 090 зарегистрированных моделей.
Согласно объяснениям представителей отрасли, GAIA, разработанный Meta AI и управляемый Hugging Face, проверяет не «способность AI хорошо выполнять что-то одно», а «способность комбинировать различные навыки для решения реальных задач». Необходимо находить информацию в интернете, читать таблицы в PDF, анализировать изображения, выполнять расчёты с помощью кода и объединять полученные результаты, чтобы выдать один правильный ответ. Структура теста включает 301 закрытый вопрос, три уровня сложности и принцип нераскрытия ответов, что делает невозможными и переобучение, и читинг.
Для получения высокого результата на этом тесте необходимы две составляющие: способность базовой языковой модели к рассуждению и агентское решение, которое связывает эту модель с инструментами реального мира и позволяет ей автономно выполнять задачи. Каким бы хорошим ни была модель, слабый агент не сможет решить задачи Level 3, а каким бы совершенным ни был агент, недостаточная способность модели к рассуждению приведёт к распространению ошибочных ответов на промежуточном этапе.
Текущая структура таблицы лидеров GAIA демонстрирует интересную закономерность. Большинство агентов, занимающих верхние позиции, используют стратегию «мультимодельного микса», комбинируя несколько моделей крупных технологических компаний, таких как GPT, Claude и Gemini. Это рациональный подход, позволяющий объединять сильные стороны каждой модели и предотвращать снижение баллов из-за потери информации и других факторов.
В то же время CLEVI не присоединилась к этому ряду. Разработанный с нуля cip-5.5-agent (агентический AI) автономно выполняет планирование, реализацию и проверку сложных задач, а cip-5.5-mm (высокопроизводительная универсальная мультимодальная модель) понимает и анализирует различные форматы файлов, включая аудио, изображения и видео. Обе модели были разработаны внутри CLEVI самостоятельно, без какого-либо использования внешних LLM API.
И с этим стеком собственных моделей CLEVI выставила на GAIA пять агентов, и все они набрали более 70 баллов. Результаты от максимальных 79,07% до 70,76% доказали стабильность всего стека, а не удачу в одном отдельном результате.
Согласно объяснению компании, за официальным результатом 79,07% скрывается ещё одна цифра. В ходе внутреннего анализа CLEVI выяснилось, что среди 301 вопроса значительная часть относится к вопросам, для которых в настоящее время в открытом интернете утрачены основания для подтверждения правильного ответа. При повторной оценке только вопросов, ответы на которые по-прежнему доступны в интернете, точность CLEVI превысила 98%. Это уже выше среднего показателя людей (92%).
Разумеется, смешав мощные универсальные модели других компаний, можно было бы ещё повысить официальный результат. Однако CLEVI намеренно не выбрала эту стратегию. Целью этого бенчмарка было не соревнование за максимальный балл, а проверка того, достигла ли собственная модель, созданная from scratch, уровня, позволяющего конкурировать на мировой арене.
То, что имя появляется в таблице лидеров GAIA, имеет большое значение, поскольку означает наличие подтверждённой репутации, полученной в результате независимой оценки третьей стороной. Это объективное основание, которое можно использовать на всех этапах — от привлечения инвестиций и выхода на зарубежные рынки до B2B-продаж.
Представитель CLEVI сообщил: «Значительная часть из 63 официально признанных неправильными ответов была обусловлена несоответствием формата вывода, ошибками интерпретации визуальных материалов и вопросами, на которые невозможно было ответить из-за утраты информации. Это проблема точности постобработки и доступности внешней информации, а не фундаментальное ограничение логического рассуждения. Поскольку модель является собственной, CLEVI может самостоятельно её улучшать. В этом и заключается структурное преимущество собственной модели, созданной from scratch. Результат CLEVI в этом испытании ставит перед корейской AI-индустрией вопрос: “Как долго мы ещё будем зависеть от «заимствованного мозга»?” CLEVI выбрала более сложный путь from scratch и стремится доказать этот ответ на мировой арене», — отметил он.