From-scratch Foundation Model CLEVI AI(ivy)

„Cum a reușit o companie mică să creeze un model lingvistic AI de mari dimensiuni, de nivel mondial?”

Cum a creat un startup de mici dimensiuni un model lingvistic de mari dimensiuni?

Aceasta este întrebarea pe care CLEVI a primit-o cel mai frecvent după ce a făcut public modelul său Foundation de 1,4 trilioane de parametri.

Spre deosebire de multe companii care doar ajustează fin modele open source, CLEVI a realizat în mod independent întregul proces, de la colectarea datelor, proiectarea modelului și antrenarea distribuită la scară largă până la verificarea calității.

Mai jos vă prezentăm în detaliu secretul și avantajele sale competitive.

1. Un model lingvistic de mari dimensiuni creat de o companie mică?

În iulie 2025, când CLEVI a lansat pe piață modelul lingvistic de mari dimensiuni dezvoltat intern, numeroși clienți (utilizatori) au reacționat cu uimire și scepticism. „Este într-adevăr dezvoltat intern?” „Nu este oare doar o versiune ușor modificată a unui model open source?”

În realitate, multe companii din țară și din străinătate efectuează doar transfer learning (fine-tuning) asupra modelelor open source și le promovează drept modele proprii.

Însă CLEVI a prezentat un **„From-scratch Foundation Model”**.

Cu alte cuvinte, a proiectat și a executat direct întregul proces, de la colectarea datelor, proiectarea modelului și antrenarea distribuită la scară largă până la verificarea calității.

2. De ce este dificilă dezvoltarea unui model lingvistic de mari dimensiuni

Pentru a antrena un From-Scratch Foundation Model, trebuie abordate toate elementele de mai jos.

Este necesar un set de date de mari dimensiuni și de înaltă calitate

• Diversitate: asigurarea diversității limbilor, domeniilor și formatelor (text, imagini etc.)
• Curățare: eliminarea zgomotului, controlul calității și filtrarea datelor duplicate/dăunătoare
• Licențiere: clarificarea drepturilor de autor și a drepturilor de utilizare a datelor

Infrastructură de calcul la scară largă

• Clustere GPU/TPU de înaltă performanță: integrarea echipamentelor cu mii până la zeci de mii de noduri pentru a asigura suportul tehnic necesar antrenării distribuite a unor volume mari de date
• Frameworkuri eficiente pentru antrenare distribuită: DeepSpeed, Megatron-LM, Ray etc.
• Stocare/rețea: intrare și ieșire pentru volume mari de date, mediu de rețea de mare viteză

Proiectarea arhitecturii modelului

• Reflectarea celor mai recente structuri: Transformer, MoE (Mixture of Experts), multimodalitate etc.
• Scalabilitate: luarea în considerare a extensibilității în funcție de numărul de parametri, numărul de straturi, lungimea intrării etc.
• Eficiență: optimizarea vitezei de antrenare/inferență și a utilizării memoriei

Strategii și algoritmi de antrenare

• Obiective de preantrenare: modele lingvistice (de ex., next token prediction), modele multimodale (de ex., contrastive learning) etc.
• Tehnici de optimizare: mixed precision, gradient accumulation, learning rate schedule etc.
• Regularizare/stabilizare: dropout, layer norm, weight decay etc.

Sistem de evaluare și validare

• Seturi de benchmark: utilizarea seturilor de date standard (Benchmarks)
• Evaluare internă: evaluare bazată pe scenarii reale de utilizare
• Monitorizare continuă: verificarea calității, a prejudecăților și a siguranței în timpul și după antrenare

Competențele personalului și ale organizației

• Cercetători AI/ML: proiectarea modelelor, dezvoltarea algoritmilor
• Ingineri de date: colectarea/curățarea/gestionarea datelor
• Ingineri de infrastructură: sisteme distribuite, gestionarea mediilor cloud/on-premises
• Manageri de proiect: gestionarea programului, bugetului și calității

Considerente etice, juridice și de securitate

• Etica AI: prejudecăți, siguranță, transparență, responsabilitate
• Conformitate juridică: date cu caracter personal, drepturi de autor, suveranitatea datelor
• Securitate: prevenirea scurgerilor de date/modele, controlul accesului

În prezent, numărul cercetătorilor în domeniul AI la nivel mondial este de aproximativ 2.000, iar cea mai mare parte a acestora este concentrată în companii Big Tech precum META, Google și XAI. În Coreea de Sud, sunt extrem de puține echipe capabile să proiecteze direct un model fundamental, de la colectarea datelor până la infrastructura de antrenare la scară largă.

3. Crearea unui model lingvistic de dimensiuni foarte mari cu un număr redus de angajați.

Pe baza experienței de peste 10 ani în cercetarea deep learning și machine learning, CEO-ul Lee Hwan-ho a fondat compania (CLEVI) în urmă cu 3 ani, având obiectivul de a „crea cea mai bună inteligență artificială din lume”.

Prin proiectarea directă a tuturor proceselor necesare dezvoltării unui model fundamental — inclusiv construirea propriului pipeline de date al companiei, proiectarea infrastructurii de deep learning distribuit la scară largă, dezvoltarea arhitecturii modelului și verificarea calității — compania și-a dobândit competențele necesare dezvoltării unui Foundation Model.

În urma antrenării modelului de mai multe ori, deținem acum modelul Clevi-5-x, comparabil cu cele mai bune modele din lume.

Pentru a antrena eficient modelele lingvistice de mari dimensiuni, este necesară o infrastructură care să conecteze de la sute la mii de GPU-uri într-un cluster, astfel încât să poată procesa simultan calcule de ordinul zecilor de cvadrilioane pe secundă. În acest proces, tehnologiile care sincronizează calculele în medii distribuite de mari dimensiuni și minimizează întârzierile de comunicare sunt esențiale. Până acum, în Coreea de Sud, majoritatea companiilor nu au putut antrena corespunzător modelele din cauza lipsei unor „algoritmi de control precis”. Prin dezvoltarea internă a unui algoritm propriu de control al calculelor distribuite, CEO-ul Clevi, Lee Hwan-ho, a antrenat cu succes, pentru prima dată în Coreea de Sud, un model lingvistic de mari dimensiuni cu 1,4 trilioane (1.4 Trillion) de parametri.

4. De ce a fost posibilă dezvoltarea unor modele variate cu un număr redus de dezvoltatori

Majoritatea companiilor Big Tech dispun, de asemenea, de tehnologii pentru controlul infrastructurii de mari dimensiuni și rafinarea datelor.

Pentru gestionarea acestora sunt necesari de la sute la mii de cercetători.

Cu toate acestea, Clevi dezvoltă și deține diverse modele cu un număr redus de cercetători.

Cum a fost posibil?

Prin tehnologia Teacher-Student Model (Knowledge Distilation), Clevi dezvoltă și deține diverse modele cu un număr redus de angajați.

Să analizăm, așadar, tehnologia Teacher-Student.

Teacher-Student (distilarea cunoștințelor)

Tehnologia Teacher-Student este, pe scurt, o tehnologie care evaluează și oferă feedback modelului copil (Student Model) prin intermediul unui model lingvistic de mari dimensiuni (Teacher Model), permițând înlocuirea a sute de cercetători cu un număr redus de angajați și dezvoltarea rapidă a unor modele variate.

• Modelul Mother Model (model de mari dimensiuni) evaluează și oferă feedback pentru modele din diverse domenii, înlocuind sute de cercetători.
• Dacă antrenarea este realizată în acest mod prin Clevi-x-platform, modele de înaltă performanță precum Reasoning, VLM, Physical AI și Coding Agent pot fi antrenate și implementate în 10–15 zile.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM—Model de viziune și limbaj

Agent de securitate

5. Diferențierea tehnologică și calitativă a Clevi-x-platform

Performanța și scalabilitatea modelului

• Superioritate în raționament (CoT/Reasoning): cip-5-x include dezvoltarea logică etapizată și prezentarea justificărilor în filozofia sa de proiectare, demonstrând capacități de calcul și interpretare cu un grad ridicat de fiabilitate în rezolvarea problemelor științifice, matematice și inginerești. Este proiectat și operat cu obiectivul de a atinge performanțe de nivel GPT-5 sau superioare, conform benchmarkurilor interne, iar reproductibilitatea și verificabilitatea în condiții de prompt identice sunt gestionate ca indicatori-cheie ai calității.

• Întregul spectru multimodal: prin producerea și combinarea pe o singură platformă a unui VLM orientat spre obiective (cip-5-vision), a unui model multimodal de procesare a volumelor mari de date (ivy-4-mm) și a unui model ușor on-device (ivy-3-text), este posibilă o combinație optimă adaptată caracteristicilor sarcinii (căutare/clasificare/rezumare vs. raționament/explicare/executare).

Aplicabilitate în mediul enterprise

• Securitate și disponibilitate on-premises: operare în întregul segment al rețelei închise (introducere-antrenare-serviciu-backup), proiectare HA, extindere modulară și protejarea separată a datelor și parametrilor modelului prin SVCE (mediu de execuție sigur izolat).
• Adoptare și extindere rapide: Ivy Chat (conversații multimodale orientate spre activități/agenți) și API Platform (SaaS conform standardelor globale) sprijină implementarea și operarea rapidă.

Diferențierea AI fizic (Physical AI)

• Prin combinarea simulării bazate pe NVIDIA Isaac cu învățarea prin consolidare bazată pe evoluție (Evolutionary RL), precum și prin transferul Sim2Real și antrenarea paralelă pe date sintetice, eficiența antrenării și adaptabilitatea în teren au fost îmbunătățite. Acoperirea întregului proces, de la învățarea digitală și robotică până la implementare, reprezintă o caracteristică pentru care există puține alternative.

Calitatea serviciilor și guvernanța

• Gestionăm într-o procedură unică a platformei controlul versiunilor pentru modele/prompturi/instrumente, suita de evaluare (cunoștințe în coreeană și engleză, sarcini specifice industriei, indicatori de halucinații și siguranță), managementul schimbărilor (SLO/SLA) și observabilitatea operațională (latență/rată de succes/TCO).

În prezent, în Coreea de Sud există peste aproximativ 300 de companii care furnizează servicii bazate pe modele AI, însă

CLEVI este singura companie care poate oferi simultan servicii on-premises și cloud prin intermediul unui model fundațional proprietar de înaltă performanță.

6. Modalități de utilizare a modelelor lingvistice în industrie

Deoarece adoptarea AI necesită investiții semnificative și o verificare riguroasă, este esențial să comparați și să testați direct dacă o soluție este cu adevărat utilă pentru companie.

• CLEVI nu se limitează la crearea de modele, ci oferă soluții AI aplicabile în mediul industrial real.
• De exemplu, dispune de un canal enterprise complet, care include Ivy Chat Platform, Clevi API Platform, personalizare pentru fiecare industrie și conformitatea cu cerințele de securitate.
• Are competențe tehnologice dificil de găsit atât în țară, cât și în străinătate, în domenii precum AI fizică, robotică și procesarea datelor multimodale.

CLEVI oferă soluții AI concrete, care contribuie la eficiența reală a activităților și la inovarea industrială, tratând AI nu ca pe un „scop”, ci ca pe un „mijloc”. Experimentați direct diferențierea unui model Foundation From-scratch autentic.

Solicitări de informații și demonstrații: [email protected]

Copyright© 2025 Clevi Inc. Toate drepturile rezervate.