From-scratch Foundation Model da CLEVI AI(ivy)

“Como conseguiu uma empresa pequena criar um modelo de linguagem de IA de grandes dimensões ao nível dos melhores do mundo?”

Como é que uma pequena startup criou um modelo de linguagem de grandes dimensões?

Esta é a pergunta que a CLEVI recebeu com maior frequência desde que apresentou o seu modelo Foundation com 1,4 biliões de parâmetros.

Ao contrário de muitas empresas, que se limitam a fazer fine-tuning de modelos open source, a CLEVI realizou de forma independente todo o processo, desde a recolha de dados, conceção do modelo e aprendizagem distribuída em larga escala até à validação da qualidade.

Apresentamos abaixo, em detalhe, o segredo e a competitividade desta abordagem.

1. Uma empresa pequena cria um modelo de linguagem de grandes dimensões?

Em julho de 2025, quando a CLEVI apresentou no mercado o seu próprio modelo de linguagem de grandes dimensões, inúmeros clientes (utilizadores) reagiram com surpresa e dúvida. “Foi mesmo desenvolvido internamente?” “Não será apenas uma versão ligeiramente modificada de um modelo open source?”

Na realidade, muitas empresas nacionais e internacionais limitam-se a aplicar transferência de aprendizagem (fine-tuning) a modelos open source e promovem-nos como modelos próprios.

No entanto, a CLEVI apresentou um **‘From-scratch Foundation Model’**.

Ou seja, concebeu e executou diretamente todo o processo, desde a recolha de dados, conceção do modelo e aprendizagem distribuída em larga escala até à validação da qualidade.

2. Porque é difícil desenvolver um modelo de linguagem de grandes dimensões

Para treinar um From-Scratch Foundation Model, é necessário aprender todos os elementos abaixo.

É necessário um conjunto de dados de alta qualidade e grande escala

• Diversidade: garantir diversidade de idiomas, domínios e formatos (texto, imagens, entre outros)
• Limpeza: remoção de ruído, controlo da qualidade e filtragem de dados duplicados ou nocivos
• Licenciamento: clarificar os direitos de autor e os direitos de utilização dos dados

Infraestrutura computacional de grande escala

• Cluster de GPU/TPU de alto desempenho: integrar equipamentos com milhares a dezenas de milhares de nós para suportar a aprendizagem distribuída de grandes volumes
• Framework eficiente de aprendizagem distribuída: DeepSpeed, Megatron-LM, Ray, entre outros
• Armazenamento/rede: entrada e saída de grandes volumes de dados e um ambiente de rede de alta velocidade

Conceção da arquitetura do modelo

• Reflexo das arquiteturas mais recentes: Transformer, MoE(Mixture of Experts), multimodalidade, entre outras
• Escalabilidade: consideração da capacidade de expansão, como o número de parâmetros, o número de camadas e o comprimento da entrada
• Eficiência: otimização da velocidade de treino/inferência e da utilização de memória

Estratégias e algoritmos de treino

• Objetivos de pré-treino: modelos de linguagem (por exemplo, next token prediction), multimodalidade (por exemplo, contrastive learning), entre outros
• Técnicas de otimização: mixed precision, gradient accumulation, learning rate schedule, entre outras
• Normalização/estabilização: dropout, layer norm, weight decay, entre outras

Sistemas de avaliação e validação

• Conjuntos de benchmarks: utilização de conjuntos de dados padrão (Benchmarks)
• Avaliação interna: avaliação baseada em cenários de utilização reais
• Monitorização contínua: verificação da qualidade, do enviesamento e da segurança durante e após o treino

Capacidades da equipa e da organização

• Investigadores de AI/ML: conceção de modelos e desenvolvimento de algoritmos
• Engenheiros de dados: recolha, tratamento e gestão de dados
• Engenheiros de infraestrutura: gestão de sistemas distribuídos e de ambientes cloud/on-premises
• Gestores de projeto: gestão de prazos, orçamento e qualidade

Considerações éticas, legais e de segurança

• Ética da AI: enviesamento, segurança, transparência e responsabilização
• Conformidade legal: privacidade, direitos de autor e soberania dos dados
• Segurança: prevenção de fugas de dados/modelos e controlo de acesso

Atualmente, existem cerca de 2 000 profissionais de investigação em AI em todo o mundo, sendo que a maioria está concentrada em empresas de tecnologia de grande dimensão, como a META, a Google e a XAI. Na Coreia do Sul, são extremamente raras as equipas capazes de conceber diretamente um modelo Foundation, desde a recolha de dados até à infraestrutura de treino de grande escala.

3. Criar um modelo de linguagem de grande escala com uma equipa reduzida.

Com base em mais de 10 anos de experiência na investigação de deep learning e machine learning, o CEO Lee Hwan-ho fundou a empresa (CLEVI) há três anos com o objetivo de “criar a melhor AI do mundo”.

A empresa adquiriu as capacidades necessárias para desenvolver um Foundation Model ao conceber diretamente todos os processos, incluindo a criação do seu próprio pipeline de dados, o desenho de uma infraestrutura de deep learning distribuído de grande escala, o desenvolvimento da arquitetura do modelo e a validação da qualidade.

Após várias rondas de treino de modelos, temos agora o modelo Clevi-5-x, que pode competir com os modelos de nível mundial.

Para treinar eficazmente modelos de linguagem de grande escala, é necessária uma infraestrutura que conecte centenas a milhares de GPUs num cluster, permitindo processar simultaneamente dezenas de quatriliões de operações por segundo. Neste processo, são essenciais as tecnologias que sincronizam os cálculos e minimizam a latência de comunicação em ambientes distribuídos de grande escala. Até agora, na Coreia do Sul, a maioria das empresas não conseguia treinar adequadamente os modelos devido à ausência de “algoritmos de controlo preciso”. O CEO da Clevi, Lee Hwan-ho, desenvolveu internamente este algoritmo proprietário de controlo de computação distribuída, permitindo à empresa tornar-se a primeira na Coreia do Sul a treinar com sucesso um modelo de linguagem de grande escala com 1,4 biliões (1.4 Trillion) de parâmetros.

4. A razão pela qual foi possível desenvolver diversos modelos com uma pequena equipa de desenvolvimento

A maioria das empresas de tecnologia de grande escala também dispõe de tecnologias de controlo de infraestruturas de grande escala e de refinação de dados.

Para gerir estes recursos, são necessários centenas a milhares de investigadores.

No entanto, a Clevi desenvolve e possui diversos modelos com uma pequena equipa de investigação.

Como foi possível?

A Clevi desenvolve e possui diversos modelos com uma pequena equipa, através da tecnologia Teacher-Student Model(Knowledge Distilation).

Vejamos então a tecnologia Teacher-Student.

Teacher-Student (destilação de conhecimento)

A tecnologia Teacher-Student consiste, em termos simples, em avaliar e fornecer feedback sobre um modelo filho (Student Model) através de um modelo de linguagem de grande escala (Teacher Model), permitindo substituir centenas de investigadores por uma pequena equipa e desenvolver rapidamente diversos modelos.

• O Mother Model (modelo de grande escala) avalia e fornece feedback sobre modelos de diversas áreas, substituindo centenas de investigadores.
• Ao realizar o treino através da Clevi-x-platform desta forma, é possível treinar e implementar modelos de alto desempenho, como Reasoning, VLM, Physical AI e Coding Agent, em apenas 10 a 15 dias.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Modelo de Visão e Linguagem

Agente de segurança

5. Diferenciação tecnológica e de qualidade da Clevi-x-platform

Desempenho e escalabilidade dos modelos

• Vantagem na inferência (CoT/Reasoning): o cip-5-x inclui o desenvolvimento lógico passo a passo e a apresentação de fundamentação na sua filosofia de conceção, demonstrando capacidades de cálculo e interpretação de elevada fiabilidade na resolução de problemas científicos, matemáticos e de engenharia. Com base em benchmarks internos, está a ser concebido e operado com o objetivo de alcançar capacidades de desempenho ao nível do GPT-5 ou superior, gerindo a reprodutibilidade e a verificabilidade nas mesmas condições de prompt como principais indicadores de qualidade.

• Todo o espectro multimodal: através da produção e combinação numa única plataforma de um VLM orientado para objetivos (cip-5-vision), de um modelo de processamento multimodal de grande escala (ivy-4-mm) e de um modelo leve para dispositivos (ivy-3-text), é possível criar a combinação ideal de acordo com as características da tarefa (pesquisa/classificação/resumo vs. inferência/explicação/execução).

Aplicabilidade empresarial

• Segurança e disponibilidade on-premises: opera em toda a rede fechada (entrada-treino-serviço-backup), com conceção HA, expansão modular e proteção separada dos dados e dos parâmetros dos modelos através do SVCE (ambiente de execução seguro isolado).
• Implementação e expansão rápidas: suporta a aplicação e operação rápidas através do Ivy Chat (conversação multimodal/agentes orientados para tarefas) e da API Platform (SaaS segundo normas globais).

Diferenciação da IA física (Physical AI)

• A combinação de simulação baseada no NVIDIA Isaac com aprendizagem por reforço baseada em evolução (Evolutionary RL), a transferência Sim2Real e a aprendizagem paralela com dados sintéticos aumentaram a eficiência da aprendizagem e a capacidade de adaptação no terreno. A cobertura desde a aprendizagem digital e robótica até à implementação constitui uma área com poucas alternativas.

Qualidade do serviço e governação

• A gestão de versões de modelos/prompts/ferramentas, a suite de avaliação (conhecimento em coreano e inglês, tarefas por setor, métricas de alucinação e segurança), a gestão de alterações (SLO/SLA) e a observabilidade operacional (latência/taxa de sucesso/TCO) são geridas através de procedimentos de uma única plataforma.

Atualmente, existem na Coreia do Sul mais de 300 empresas de serviços de modelos de IA, mas

a CLEVI é a única empresa que pode fornecer simultaneamente serviços on-premises e na cloud através de modelos fundacionais próprios de elevado desempenho.

6. Como utilizar modelos de linguagem na indústria

Uma vez que a adoção de IA exige investimentos avultados e uma validação rigorosa, é essencial comparar e experimentar diretamente as soluções para verificar se realmente trazem benefícios às empresas.

• A CLEVI não se limita a criar modelos: disponibiliza soluções de IA aplicáveis a ambientes industriais reais.
• Por exemplo, oferece um canal empresarial completo, incluindo a Ivy Chat Platform, a Clevi API Platform, a personalização por setor e a resposta a requisitos de segurança.
• Dispõe de capacidades técnicas difíceis de encontrar, tanto a nível nacional como internacional, incluindo IA física, robótica e processamento de dados multimodais.

A CLEVI disponibiliza soluções concretas de IA que contribuem para a eficiência real do trabalho e a inovação industrial, tratando a IA como um “meio” e não como um “fim”. Experimente diretamente a diferenciação de um verdadeiro modelo From-scratch Foundation.

Pedidos de informações e demonstrações: [email protected]

Copyright© 2025 Clevi Inc. Todos os direitos reservados.