From-scratch Foundation Model CLEVI AI(ivy)

“Come ha potuto una piccola azienda creare un modello linguistico di IA di grandi dimensioni tra i migliori al mondo?”

Come ha fatto una piccola startup a creare un modello linguistico di grandi dimensioni?

Questa è la domanda che ci è stata posta più frequentemente dopo che CLEVI ha reso pubblico un Foundation Model con 1,4 trilioni di parametri.

A differenza di molte aziende che si limitano a eseguire il fine-tuning di modelli open source, CLEVI ha gestito autonomamente l'intero processo, dalla raccolta dei dati alla progettazione del modello, all'addestramento distribuito su larga scala e alla verifica della qualità.

Di seguito presentiamo in dettaglio i segreti e i vantaggi competitivi alla base di questo risultato.

1. Una piccola azienda può creare un modello linguistico di grandi dimensioni?

Quando, nel luglio 2025, CLEVI ha reso pubblico il proprio modello linguistico di IA di grandi dimensioni, numerosi clienti (utenti) hanno reagito con sorpresa e scetticismo. “È davvero sviluppato internamente?” “Non è forse solo una versione leggermente modificata di un modello open source?”

In effetti, molte aziende nazionali e internazionali si limitano a eseguire il transfer learning (fine-tuning) di modelli open source e poi li promuovono come propri modelli.

CLEVI, tuttavia, ha presentato un **‘From-scratch Foundation Model’**.

In altre parole, ha progettato ed eseguito direttamente ogni fase, dalla raccolta dei dati alla progettazione del modello, all'addestramento distribuito su larga scala e alla verifica della qualità.

2. Perché è difficile sviluppare un modello linguistico di grandi dimensioni

Per addestrare un From-Scratch Foundation Model, è necessario apprendere tutti gli elementi riportati di seguito.

È necessario un dataset di grandi dimensioni e di alta qualità

• Diversità: garantire la diversità di lingue, domini e formati (testo, immagini, ecc.)
• Pulizia: rimozione del rumore, gestione della qualità, filtraggio dei dati duplicati o dannosi
• Licenze: chiarire il copyright e i diritti di utilizzo dei dati

Infrastruttura di calcolo su larga scala

• Cluster GPU/TPU ad alte prestazioni: tecnologia per integrare apparecchiature con migliaia o decine di migliaia di nodi e supportare l'addestramento distribuito su grandi volumi
• Framework per l'addestramento distribuito efficiente: DeepSpeed, Megatron-LM, Ray, ecc.
• Storage/rete: input e output di grandi volumi di dati e ambiente di rete ad alta velocità

Progettazione dell'architettura del modello

• Riflette le architetture più recenti: Transformer, MoE (Mixture of Experts), multimodalità, ecc.
• Scalabilità: considera l'espandibilità del numero di parametri, del numero di layer, della lunghezza dell'input, ecc.
• Efficienza: ottimizza la velocità di addestramento/inferenza e l'utilizzo della memoria

Strategie e algoritmi di addestramento

• Obiettivi del pre-training: modelli linguistici (ad es. next token prediction), multimodalità (ad es. contrastive learning), ecc.
• Tecniche di ottimizzazione: mixed precision, gradient accumulation, learning rate schedule, ecc.
• Normalizzazione/stabilizzazione: dropout, layer norm, weight decay, ecc.

Sistemi di valutazione e verifica

• Set di benchmark: utilizzo di dataset standard (Benchmarks)
• Valutazione interna: valutazione basata su scenari di utilizzo reali
• Monitoraggio continuo: verifica della qualità, dei bias e della sicurezza durante e dopo l'addestramento

Competenze del personale e dell'organizzazione

• Ricercatori AI/ML: progettazione dei modelli e sviluppo degli algoritmi
• Data engineer: raccolta, elaborazione e gestione dei dati
• Ingegneri dell'infrastruttura: gestione di sistemi distribuiti e ambienti cloud/on-premise
• Project manager: gestione di tempistiche, budget e qualità

Considerazioni etiche, legali e di sicurezza

• Etica dell'AI: bias, sicurezza, trasparenza e responsabilità
• Conformità legale: privacy, copyright e sovranità dei dati
• Sicurezza: prevenzione della fuga di dati/modelli e controllo degli accessi

Attualmente, il numero di ricercatori nel campo dell'AI in tutto il mondo è di circa 2.000 persone, la maggior parte delle quali è concentrata in aziende big tech come META, Google e XAI. In Corea del Sud sono estremamente rari i team in grado di progettare direttamente un Foundation Model, dalla raccolta dei dati fino all'infrastruttura per l'addestramento su larga scala.

3. Creare un modello linguistico di dimensioni enormi con un organico ridotto.

Basandosi su oltre 10 anni di esperienza nella ricerca sul deep learning e sul machine learning, tre anni fa il CEO Hwanho Lee ha fondato l'azienda (Clevi) con l'obiettivo di “creare la migliore AI al mondo”.

Ha progettato direttamente ogni processo, dalla costruzione della pipeline di dati proprietaria alla progettazione dell'infrastruttura di deep learning distribuito su larga scala, fino allo sviluppo dell'architettura del modello e alla verifica della qualità, acquisendo le competenze necessarie per sviluppare un Foundation Model.

Dopo aver addestrato il modello diverse volte, oggi dispone del modello Clevi-5-x, in grado di competere con i modelli di massimo livello mondiale.

Per addestrare efficacemente i modelli linguistici di grandi dimensioni, è necessaria un'infrastruttura in grado di collegare in cluster da centinaia a migliaia di GPU e di elaborare simultaneamente calcoli dell'ordine di centinaia di quadrilioni al secondo. In questo processo, le tecnologie che riducono al minimo la sincronizzazione dei calcoli e la latenza di comunicazione in ambienti distribuiti su larga scala sono fondamentali. Finora, in Corea del Sud, la maggior parte delle aziende non è riuscita ad addestrare correttamente i modelli per la mancanza di “algoritmi di controllo di precisione”. Il CEO di Clevi, Lee Hwan-ho, ha sviluppato internamente questo algoritmo proprietario di controllo dei calcoli distribuiti, riuscendo così per la prima volta in Corea del Sud ad addestrare un modello linguistico di grandi dimensioni con 1,4 trilioni (1.4 Trillion) di parametri.

4. Perché è stato possibile sviluppare diversi modelli con un numero ridotto di sviluppatori

Anche la maggior parte delle aziende big tech dispone di tecnologie per il controllo di infrastrutture su larga scala e la pulizia dei dati.

Per gestirle sono necessari da centinaia a migliaia di ricercatori.

Tuttavia, Clevi sviluppa e possiede diversi modelli con un numero ridotto di ricercatori.

Come è stato possibile?

Grazie alla tecnologia Teacher-Student Model(Knowledge Distilation), Clevi sviluppa e possiede diversi modelli con un numero ridotto di persone.

Vediamo ora la tecnologia Teacher-Student.

Teacher-Student(distillazione della conoscenza)

In parole semplici, la tecnologia Teacher-Student consente di sviluppare rapidamente diversi modelli anche con un numero ridotto di persone, sostituendo centinaia di ricercatori mediante la valutazione e il feedback del modello figlio (Student Model) da parte di un modello linguistico di grandi dimensioni (Teacher Model).

• Il Mother Model(modello di grandi dimensioni) valuta e fornisce feedback sui modelli di vari ambiti, sostituendo centinaia di ricercatori.
• Utilizzando Clevi-x-platform per l'addestramento con questo metodo, è possibile addestrare e distribuire modelli ad alte prestazioni, come Reasoning, VLM, Physical AI e Coding Agent, in soli 10-15 giorni.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Agente di sicurezza

5. Elementi distintivi della tecnologia e della qualità di Clevi-x-platform

Prestazioni e scalabilità dei modelli

• Superiorità nel ragionamento (CoT/Reasoning): cip-5-x incorpora nella propria filosofia progettuale lo sviluppo logico per fasi e la presentazione delle motivazioni, dimostrando capacità di calcolo e interpretazione altamente affidabili nella risoluzione di problemi scientifici, matematici e ingegneristici. È progettato e gestito con l’obiettivo di raggiungere prestazioni pari o superiori a GPT-5 secondo i benchmark interni, gestendo la riproducibilità e la verificabilità in condizioni di prompt identiche come indicatori chiave della qualità.

• Spettro multimodale completo: la produzione e la combinazione su un’unica piattaforma di un VLM orientato agli obiettivi (cip-5-vision), di un modello multimodale per l’elaborazione di grandi volumi (ivy-4-mm) e di un modello leggero on-device (ivy-3-text) consentono combinazioni ottimali in base alle caratteristiche dell’attività (ricerca/classificazione/sintesi vs. ragionamento/spiegazione/esecuzione).

Applicabilità enterprise

• Sicurezza e disponibilità on-premise: operatività in tutte le fasi della rete isolata (input-addestramento-servizio-backup), progettazione HA, espansione modulare e protezione separata di dati e parametri del modello tramite SVCE (ambiente di esecuzione sicuro isolato).
• Adozione ed espansione rapide: Ivy Chat (conversazione/agent multimodale per attività aziendali) e API Platform (SaaS conforme agli standard globali) supportano un’implementazione e una gestione rapide.

Differenziazione nell’AI fisica (Physical AI)

• La combinazione della simulazione basata su NVIDIA Isaac con il reinforcement learning evolutivo (Evolutionary RL), insieme al trasferimento Sim2Real e all’addestramento parallelo su dati sintetici, ha migliorato l’efficienza dell’addestramento e l’adattabilità sul campo. Sono rare le alternative in grado di coprire l’intero percorso dall’apprendimento digitale e robotico fino alla distribuzione.

Qualità del servizio e governance

• La gestione delle versioni di modelli/prompt/strumenti, della suite di valutazione (conoscenze in coreano e inglese, task specifici per settore, metriche di allucinazione e sicurezza), della gestione delle modifiche (SLO/SLA) e dell’osservabilità operativa (latenza/tasso di successo/TCO) avviene secondo procedure di un’unica piattaforma.

Attualmente in Corea del Sud esistono oltre 300 aziende che offrono servizi basati su modelli di IA, ma

CLEVI è l’unica azienda in grado di offrire simultaneamente servizi on-premise e cloud attraverso modelli fondazionali proprietari ad alte prestazioni.

6. Come utilizzare i modelli linguistici nel settore

Poiché l’adozione dell’IA richiede ingenti investimenti e una verifica rigorosa, è essenziale confrontare e sperimentare direttamente le soluzioni per accertarsi che siano realmente utili all’azienda.

• CLEVI non si limita a creare modelli, ma offre soluzioni di IA applicabili concretamente agli ambienti industriali.
• Ad esempio, dispone di un canale enterprise completo, che include Ivy Chat Platform, Clevi API Platform, la personalizzazione per settore e la conformità ai requisiti di sicurezza.
• Dispone di competenze tecnologiche difficili da trovare sia in Corea sia all’estero, tra cui l’IA fisica, la robotica e l’elaborazione di dati multimodali.

CLEVI offre soluzioni concrete di IA che contribuiscono all’efficienza operativa effettiva e all’innovazione industriale, utilizzando l’IA come «mezzo» e non come «fine». Scoprite in prima persona la differenza dei veri modelli Foundation From-scratch.

Richieste di informazioni e demo: [email protected]

Copyright© 2025 Clevi Inc. Tutti i diritti riservati.