Fonte: repórter Lee Won-ji, do Electronic Times
Citação integral da matéria “CLEVI, modelo próprio desenvolvido from scratch alcança 79,07% no GAIA... entre os 2,5% melhores dos 3.090 modelos”
Data de publicação: 2026-04-07
Link: https://www.etnews.com/20260407000203
Pilha de modelos exclusivos cip-5.5-agent·cip-5.5-mm, com todos os 5 agentes acima de 70 pontos
Taxa de acerto superior a 98% considerando a perda de informações, acima dos humanos (92%)
A startup de IA 'CLEVI' registrou uma taxa de acerto de 79,07% no 'GAIA', benchmark global de agentes de IA, utilizando um modelo próprio desenvolvido from scratch, ficando entre os 2,5% melhores considerando todos os 3.090 modelos registrados.
Segundo explicações do setor, o GAIA é avaliado no mercado de benchmarks de IA como um teste que reflete fielmente as capacidades de 'agentes de IA práticos'. Desenvolvido em conjunto pela Meta AI, HuggingFace e pela Universidade Paris-Saclay, entre outras instituições, esse benchmark foi divulgado pela primeira vez em novembro de 2023.
Há três aspectos centrais que distinguem o GAIA de outros benchmarks. Primeiro, como as respostas corretas são mantidas em sigilo, não é possível haver overfitting. Segundo, como exige raciocínio complexo em múltiplas etapas e modalidades, não é possível obter uma pontuação alta apenas com correspondência simples de padrões. Terceiro, mais de 3.090 modelos de todo o mundo competem nas mesmas condições por meio do leaderboard oficial da HuggingFace.
O conjunto de testes é composto por um total de 301 questões. O Level 1 envolve o uso de uma única ferramenta e raciocínio simples; o Level 2 exige a combinação de várias ferramentas e raciocínio de nível intermediário; e o Level 3 consiste em questões de maior dificuldade, que exigem planejamento e execução por agentes em cinco ou mais etapas. Quando o benchmark foi anunciado, os modelos GPT (com plugins) alcançavam cerca de 15%; atualmente, as equipes líderes elevaram esse índice para a faixa de 70% a 80%.
Nesse contexto, CLEVI enfatizou que o aspecto tecnicamente mais relevante desse resultado é o fato de não ter utilizado de forma alguma APIs de LLMs externos, como GPT, Claude e Gemini. A característica distintiva é que a CLEVI utilizou dois modelos desenvolvidos internamente de forma independente, pelo método from scratch.
cip-5.5-agent é um modelo de IA agêntica que atua como o cérebro central do pipeline de agentes, planejando (planning), executando (execution) e verificando (verification) autonomamente tarefas complexas. O cip-5.5-mm é um modelo multimodal geral de alto desempenho que compreende e realiza inferências sobre diversos formatos de arquivo, incluindo voz, imagens e vídeos. Como grande parte das questões da GAIA inclui entradas não textuais, como PDFs, imagens e arquivos de áudio, essa capacidade multimodal tornou-se um fator essencial para obter uma pontuação alta.
Com base nesses dois modelos próprios, a CLEVI participou da GAIA com cinco configurações de agentes diferentes, e todas registraram pontuações acima de 70.
Segundo a empresa, uma revisão posterior interna da CLEVI revelou resultados interessantes. Entre as 301 questões no total, em algumas delas as evidências das respostas corretas haviam desaparecido da web pública atual. Eram casos em que informações anteriormente verificáveis online ou em mecanismos de busca haviam sido excluídas ou alteradas e não podiam mais ser acessadas. Quando reavaliada dentro do escopo das informações atualmente verificáveis publicamente por seres humanos, a taxa de acerto da CLEVI foi superior a 98%. Esse valor já supera a média humana de 92%.
Um representante da CLEVI explicou: “Sem combinar modelos externos, a CLEVI colocou todos os cinco agentes acima de 70 e entrou no top 2,5% do benchmark público utilizando apenas modelos próprios desenvolvidos from scratch e soluções próprias de agentes de IA. No futuro, espera-se que a pontuação oficial também possa melhorar ainda mais por meio do aprimoramento dos modelos próprios e das soluções de agentes. Esse resultado é significativo porque demonstra uma ‘confiança validada’, medida em um benchmark público global; representa um desempenho baseado em modelos próprios desenvolvidos from scratch por uma empresa coreana de desenvolvimento de IA; é resultado de uma pilha de modelos proprietária, e não da combinação de modelos externos; e, considerando a perda de informações em algumas questões, tem valor interpretativo superior ao da própria pontuação.”