Fonte: Digital Times, repórter Gu Bon-gyu
Citação integral da matéria “Startup de IA CLEVI entra no top 2,5% do GAIA… demonstrando credibilidade comprovada”
Data de publicação: 2026-04-08
Link: https://n.news.naver.com/article/029/0003020511?sid=105
A startup de IA sul-coreana ‘CLEVI (Clevi)’ anunciou que, enquanto construía seu próprio modelo e sua própria solução de agente desenvolvidos from scratch, tornou-se a primeira empresa da Coreia do Sul a entrar no top 2,5% do benchmark GAIA, com base no total de 3.090 modelos registrados.
Segundo explicações do setor, o GAIA, projetado pela Meta AI e operado pela Hugging Face, avalia não apenas a capacidade de uma IA de ‘fazer bem uma única coisa’, mas sua ‘capacidade de combinar várias habilidades para resolver problemas reais’. É preciso buscar informações na web, ler tabelas em PDFs, analisar imagens, executar código para fazer cálculos e combinar os resultados para apresentar uma única resposta correta. Com 301 questões privadas, três níveis de dificuldade e o princípio de não divulgar as respostas corretas, sua estrutura impossibilita tanto o overfitting quanto a trapaça.
Para obter uma pontuação alta nesse teste, são necessárias duas coisas. A capacidade de raciocínio do modelo de linguagem que serve como base e uma solução de agente que conecte esse modelo a ferramentas do mundo real para realizar tarefas de forma autônoma. Por melhor que seja o modelo, se o agente for fraco, não será possível resolver o Level 3; por mais sofisticado que seja o agente, se a capacidade de raciocínio do modelo for insuficiente, as respostas incorretas serão propagadas nas etapas intermediárias.
A estrutura atual do ranking do GAIA revela um padrão interessante. A maioria dos agentes no topo adotou uma estratégia de ‘mix de múltiplos modelos’, combinando vários modelos de big techs, como GPT, Claude e Gemini. Trata-se de uma abordagem racional para combinar os pontos fortes de cada modelo e evitar a redução da pontuação causada pela perda de informações, entre outros fatores.
Por outro lado, CLEVI não se juntou a esse grupo. Desenvolvido according to the from scratch approach, o cip-5.5-agent (IA agêntica) realiza autonomamente o planejamento, a execução e a verificação de tarefas complexas, enquanto o cip-5.5-mm (multimodal geral de alto desempenho) compreende e raciocina sobre diversos formatos de arquivo, incluindo áudio, imagens e vídeos. Ambos os modelos foram desenvolvidos de forma independente internamente pela CLEVI, e nenhuma API de LLM externa foi utilizada.
E, com essa própria pilha de modelos, inscreveu 5 agentes no GAIA, todos alcançando mais de 70 pontos. Do máximo de 79,07% ao mínimo de 70,76%, isso comprovou a estabilidade de toda a pilha, e não a sorte de um único resultado.
Segundo a explicação da empresa, por trás da pontuação oficial de 79,07% há outro número. Em uma revisão posterior interna da CLEVI, constatou-se que, entre as 301 questões, um número considerável tinha perdido, na web pública atual, as evidências das respostas corretas. Quando reavaliada considerando apenas as questões cujas respostas corretas ainda estão disponíveis na web, a taxa de acerto da CLEVI foi superior a 98%. Esse número já supera a média humana (92%).
É claro que seria possível elevar ainda mais a pontuação oficial combinando modelos generalistas robustos de outras empresas. No entanto, a CLEVI deliberadamente não adotou essa estratégia. Isso porque o objetivo deste benchmark não era competir pela pontuação mais alta, mas verificar se um modelo próprio desenvolvido from scratch havia atingido um nível capaz de competir no cenário global.
Ter o nome publicado no ranking do GAIA é significativo porque representa uma credibilidade comprovada por uma avaliação independente de terceiros. Isso se torna uma base objetiva que pode ser utilizada em todas as etapas: captação de investimentos, expansão internacional e vendas B2B.
Um representante da CLEVI declarou: “Entre os 63 erros oficiais, muitos decorreram de incompatibilidade no formato de saída, erros na interpretação de materiais visuais e questões impossíveis de responder devido à perda de informações. Trata-se mais de um problema de precisão no pós-processamento e de disponibilidade de informações externas do que de uma limitação fundamental do raciocínio lógico. Como é um modelo próprio, a CLEVI pode aprimorá-lo por conta própria. Essa é precisamente a vantagem estrutural de um modelo próprio desenvolvido from scratch. O desempenho da CLEVI desta vez lança uma pergunta ao setor de IA da Coreia: ‘Até quando dependeremos de um “cérebro emprestado”?’ A CLEVI escolheu o caminho mais difícil do desenvolvimento from scratch e pretende comprovar essa resposta no cenário mundial”, afirmou.