Fonte: Jornal Eletrónico, jornalista Lee Won-ji
Citação integral do artigo “CLEVI, com um modelo próprio desenvolvido from scratch, alcança 79,07% no GAIA... entre os 2,5% melhores de 3 090 modelos”
Data de publicação: 2026-04-07
Link: https://www.etnews.com/20260407000203
Os cinco agentes da stack de modelos proprietários cip-5.5-agent·cip-5.5-mm obtiveram todos mais de 70 pontos
Taxa de respostas corretas superior a 98%, tendo em conta a perda de informação, acima dos 92% dos humanos
A startup de IA 'CLEVI' registou uma taxa de respostas corretas de 79,07% no 'GAIA', um benchmark global de agentes de IA, utilizando o seu próprio modelo desenvolvido from scratch, ficando entre os 2,5% melhores dos 3 090 modelos registados no total.
Segundo explicações do setor, o GAIA é considerado um benchmark que reflete fielmente as capacidades dos 'agentes de IA práticos' no mercado de benchmarks de IA. Desenvolvido em conjunto pela Meta AI, HuggingFace e pela Universidade Paris-Saclay, entre outras entidades, este benchmark foi divulgado pela primeira vez em novembro de 2023.
O GAIA distingue-se de outros benchmarks por três características principais. Em primeiro lugar, como as respostas corretas não são divulgadas, não é possível ocorrer sobreajuste. Em segundo lugar, como exige raciocínio complexo em várias etapas e multimodal, não é possível obter uma pontuação elevada através de uma simples correspondência de padrões. Em terceiro lugar, mais de 3 090 modelos de todo o mundo competem em condições idênticas através da tabela de classificação oficial da HuggingFace.
O conjunto de testes é composto por um total de 301 perguntas. O nível 1 exige a utilização de uma única ferramenta e raciocínio simples; o nível 2 exige a combinação de várias ferramentas e raciocínio de nível intermédio; e o nível 3 é composto pelas perguntas de maior dificuldade, que exigem o planeamento e a execução por um agente em cinco ou mais etapas. Na altura da divulgação do benchmark, a pontuação dos modelos GPT (com plugins) rondava apenas os 15%; atualmente, as equipas no topo conseguiram elevá-la para a faixa dos 70% a 80%.
Neste contexto, a CLEVI salientou que o aspeto tecnicamente mais relevante deste desempenho é o facto de não ter utilizado de todo APIs de LLM externas, como GPT, Claude ou Gemini. A particularidade da CLEVI reside na utilização de dois modelos desenvolvidos internamente de forma independente, segundo uma abordagem from scratch.
cip-5.5-agent é um modelo de IA agentiva que desempenha o papel de cérebro central do pipeline de agentes que planeia (planning), executa (execution) e verifica (verification) autonomamente tarefas complexas. cip-5.5-mm é um modelo multimodal geral de alto desempenho que compreende e raciocina sobre vários formatos de ficheiros, incluindo áudio, imagens e vídeo. Como uma parte significativa das perguntas da GAIA inclui entradas não textuais, como ficheiros PDF, imagens e áudio, esta capacidade multimodal tornou-se um fator essencial para obter uma pontuação elevada.
Com base nestes dois modelos desenvolvidos internamente, a CLEVI participou na GAIA com cinco configurações de agentes diferentes, tendo todas obtido uma pontuação superior a 70.
Segundo a explicação da empresa, a revisão posterior interna da CLEVI revelou resultados interessantes. Em algumas das 301 perguntas no total, a fundamentação das respostas corretas tinha desaparecido da Web pública atual. Tratava-se de casos em que informações anteriormente disponíveis online ou através de motores de pesquisa tinham sido eliminadas ou alteradas e já não podiam ser acedidas. Quando reavaliada com base no conjunto de informações atualmente verificável publicamente por humanos, a taxa de respostas corretas da CLEVI foi superior a 98%. Este valor já ultrapassa a média humana de 92%.
Um representante da CLEVI explicou: “Sem combinar modelos externos, a CLEVI alcançou uma pontuação superior a 70 com os cinco agentes, utilizando apenas modelos próprios desenvolvidos from scratch e soluções próprias de agentes de IA, entrando no top 2,5% do benchmark público. Prevê-se que a pontuação oficial possa melhorar ainda mais no futuro através do aperfeiçoamento dos modelos próprios e das soluções de agentes. Este resultado é particularmente significativo porque demonstra uma 'confiança validada' através de medições num benchmark público global, porque representa um desempenho baseado em modelos próprios desenvolvidos from scratch por uma empresa de desenvolvimento de IA nacional, porque resulta de uma stack de modelos própria e não da combinação de modelos externos e porque, considerando a perda de informação em algumas perguntas, tem um valor interpretativo superior ao indicado pela pontuação.”