Model fundacional des de zero de 클레비 AI(ivy)

«Com ha pogut una empresa petita crear un model de llenguatge d’IA gegantí de primer nivell mundial?»

Com ha creat una startup petita un model de llenguatge gegantí?

Aquesta és la pregunta que més ha rebut 클레비 des que va fer públic el seu model fundacional d’1,4 bilions de paràmetres.

A diferència de moltes empreses, que simplement ajusten models de codi obert, 클레비 ha dut a terme de manera independent tot el procés, des de la recopilació de dades i el disseny del model fins a l’entrenament distribuït a gran escala i la verificació de la qualitat.

A continuació presentem detalladament el secret del seu èxit i els seus avantatges competitius.

1. Una empresa petita crea un model de llenguatge gegantí?

El juliol de 2025, quan 클레비 va fer públic al mercat el model de llenguatge gegantí que havia desenvolupat internament, innombrables clients (usuaris) van reaccionar amb sorpresa i escepticisme. «És realment un desenvolupament propi?» «No és només un model de codi obert lleugerament modificat?»

De fet, moltes empreses nacionals i estrangeres només fan transferència d’aprenentatge (fine-tuning) de models de codi obert i sovint els promocionen com si fossin models propis.

Però 클레비 va presentar el **‘From-scratch Foundation Model’**.

És a dir, va dissenyar i executar directament tot el procés, des de la recopilació de dades i el disseny del model fins a l’entrenament distribuït a gran escala i la verificació de la qualitat.

2. Per què és difícil desenvolupar un model de llenguatge gegantí

Per entrenar un From-Scratch Foundation Model, cal entrenar tots els elements següents.

Cal un conjunt de dades gran i d’alta qualitat

• Diversitat: garantir la diversitat de llengües, dominis i formats (text, imatges, etc.)
• Neteja: eliminació del soroll, control de la qualitat i filtratge de dades duplicades o perjudicials
• Llicències: aclarir els drets d’autor i els drets d’ús de les dades

Infraestructura informàtica a gran escala

• Clústers de GPU/TPU d’alt rendiment: tecnologia per integrar equips de milers o desenes de milers de nodes i permetre l’entrenament distribuït de grans volums de dades
• Marc d’entrenament distribuït eficient: DeepSpeed, Megatron-LM, Ray, etc.
• Emmagatzematge/xarxa: entrada i sortida de grans volums de dades i un entorn de xarxa ràpid

Disseny de l’arquitectura del model

• Reflex de les arquitectures més recents: Transformer, MoE (Mixture of Experts), multimodalitat, etc.
• Escalabilitat: consideració de l’escalabilitat, com ara el nombre de paràmetres, el nombre de capes i la longitud de l’entrada
• Eficiència: optimització de la velocitat d’entrenament i d’inferència, així com de l’ús de memòria

Estratègies i algorismes d’entrenament

• Objectius del preentrenament: models de llenguatge (p. ex., predicció del token següent), multimodalitat (p. ex., contrastive learning), etc.
• Tècniques d’optimització: mixed precision, gradient accumulation, learning rate schedule, etc.
• Normalització/estabilització: dropout, layer norm, weight decay, etc.

Sistema d’avaluació i validació

• Conjunts de referència: ús de conjunts de dades estàndard (Benchmarks)
• Avaluació interna: avaluació basada en escenaris d’ús reals
• Monitoratge continu: comprovació de la qualitat, els biaixos i la seguretat durant i després de l’entrenament

Personal i capacitats organitzatives

• Investigadors d’IA/ML: disseny de models i desenvolupament d’algorismes
• Enginyers de dades: recopilació, depuració i gestió de dades
• Enginyers d’infraestructura: sistemes distribuïts i gestió del núvol/on-premises
• Gestors de projectes: gestió dels terminis, el pressupost i la qualitat

Consideracions ètiques, legals i de seguretat

• Ètica de la IA: biaixos, seguretat, transparència i responsabilitat
• Compliment legal: privacitat, drets d’autor i sobirania de les dades
• Seguretat: prevenció de filtracions de dades i models, i control d’accés

Actualment, el nombre d’investigadors d’IA a tot el món és d’aproximadament 2.000, i la majoria es concentra en grans empreses tecnològiques com META, Google i XAI. A Corea del Sud són molt pocs els equips capaços de dissenyar directament tot el procés, des de la recopilació de dades fins a la infraestructura d’entrenament a gran escala, per crear un model fundacional.

3. Crear un model de llenguatge massiu amb pocs recursos humans.

El director executiu Lee Hwan-ho, basant-se en més de deu anys d’experiència en la recerca d’aprenentatge profund i aprenentatge automàtic, va fundar l’empresa (Clevi) fa tres anys amb l’objectiu de «crear la millor IA del món».

Va adquirir les capacitats necessàries per desenvolupar un model fundacional dissenyant directament tot el procés: la construcció de la pròpia canalització de dades de l’empresa, el disseny de la infraestructura d’aprenentatge profund distribuït a gran escala, el desenvolupament de l’arquitectura del model i la verificació de la qualitat.

Com a resultat de diversos entrenaments del model, actualment disposa del model Clevi-5-x, que pot competir amb els models de màxim nivell mundial.

Per entrenar eficaçment models de llenguatge a gran escala, cal una infraestructura que connecti centenars o milers de GPU en un clúster i que pugui processar simultàniament operacions de l’ordre de quadrilions per segon. En aquest procés, les tecnologies que minimitzen la sincronització dels càlculs i la latència de comunicació en entorns distribuïts a gran escala són essencials. Fins ara, a Corea del Sud, la majoria d’empreses no podien entrenar correctament els models perquè no disposaven d’«algoritmes de control precís». El CEO de Clevi, Lee Hwan-ho, ha aconseguit entrenar amb èxit, per primera vegada a Corea del Sud, un model de llenguatge a gran escala amb 1,4 bilions (1.4 Trillion) de paràmetres, gràcies al desenvolupament intern d’aquest algoritme propi de control del càlcul distribuït.

4. Per què es podien desenvolupar diversos models amb un nombre reduït de personal de desenvolupament

La majoria de les grans empreses tecnològiques també disposen de tecnologies de control d’infraestructures a gran escala i de depuració de dades.

Per gestionar-les, calen centenars o milers d’investigadors.

Tanmateix, Clevi desenvolupa i disposa de diversos models amb un nombre reduït d’investigadors.

Com ha estat possible?

Clevi desenvolupa i disposa de diversos models amb un nombre reduït de personal mitjançant la tecnologia Teacher-Student Model(Knowledge Distilation).

Vegem, doncs, la tecnologia Teacher-Student.

Teacher-Student (destil·lació del coneixement)

La tecnologia Teacher-Student és, en termes senzills, una tecnologia que permet desenvolupar ràpidament diversos models amb un nombre reduït de personal, substituint centenars d’investigadors, mitjançant l’avaluació i la retroalimentació del model fill (Student Model) a través d’un model de llenguatge a gran escala (Teacher Model).

• El Mother Model (model a gran escala) avalua i proporciona retroalimentació sobre models de diversos àmbits, substituint centenars d’investigadors.
• Si l’entrenament es duu a terme d’aquesta manera mitjançant Clevi-x-platform, és possible entrenar i desplegar en només 10–15 dies models d’alt rendiment com Reasoning, VLM, Physical AI i Coding Agent.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Agent de seguretat

5. Diferenciació de la tecnologia i la qualitat de Clevi-x-platform

Rendiment i escalabilitat del model

• Superioritat en inferència (CoT/Reasoning): cip-5-x incorpora el desenvolupament lògic pas a pas i la presentació de justificacions en la seva filosofia de disseny, i demostra capacitats de càlcul i interpretació d’alta fiabilitat en la resolució de problemes científics, matemàtics i d’enginyeria. Segons els punts de referència interns, està dissenyat i operat amb l’objectiu d’assolir un nivell de rendiment igual o superior al de GPT-5, i gestiona la reproductibilitat i la verificabilitat en les mateixes condicions de prompt com a indicadors clau de qualitat.

• Espectre multimodal complet: combinant en una única plataforma el VLM orientat a objectius (cip-5-vision), el model de processament multimodal de gran capacitat (ivy-4-mm) i el model lleuger al dispositiu (ivy-3-text), és possible crear combinacions òptimes adaptades a les característiques de cada tasca (cerca/classificació/resum vs. inferència/explicació/execució).

Aplicabilitat empresarial

• Seguretat i disponibilitat on-premises: operació dins de tota la xarxa tancada (entrada-aprenentatge-servei-còpia de seguretat), disseny d’alta disponibilitat (HA), ampliació modular i protecció separada de les dades i dels paràmetres del model mitjançant SVCE (entorn d’execució segur aïllat).
• Adopció i ampliació ràpides: Ivy Chat (conversa multimodal orientada a tasques i agents) i API Platform (SaaS estàndard global) permeten una aplicació i una operació ràpides.

Diferenciació de la IA física (Physical AI)

• La combinació de simulacions basades en NVIDIA Isaac i aprenentatge per reforç evolutiu (Evolutionary RL), juntament amb la transferència Sim2Real i l’aprenentatge paral·lel amb dades sintètiques, ha augmentat l’eficiència de l’aprenentatge i l’adaptabilitat sobre el terreny. El fet de cobrir des de l’aprenentatge digital i robòtic fins al desplegament fa que hi hagi pocs substituts.

Qualitat del servei i governança

• La gestió de versions de models/prompts/eines, el conjunt d’avaluació (coneixement en coreà i anglès, tasques per sectors, mètriques d’al·lucinació i seguretat), la gestió dels canvis (SLO/SLA) i la monitorització operativa (latència, taxa d’èxit i TCO) es gestionen mitjançant un procediment de plataforma única.

Actualment, a Corea del Sud hi ha més de 300 empreses de serveis de models d’IA, però

Clevi és l’única empresa que pot oferir simultàniament serveis on-premises i al núvol mitjançant un model fundacional propi d’alt rendiment.

6. Com utilitzar els models de llenguatge en la indústria

Atès que l’adopció de la IA requereix una inversió considerable i una verificació exhaustiva, és essencial comparar i provar directament si es tracta d’una solució que realment ajuda les empreses.

• Clevi no es limita a crear models, sinó que ofereix solucions d’IA aplicables en entorns industrials reals.
• Per exemple, compta amb canals empresarials complets, com ara Ivy Chat Platform, Clevi API Platform, la personalització per sectors i l’adaptació als requisits de seguretat.
• Disposa de capacitats tecnològiques difícils de trobar tant a escala nacional com internacional, com ara la IA física, la robòtica i el processament de dades multimodals.

Clevi ofereix solucions d’IA concretes que contribueixen a l’eficiència del treball real i a la innovació industrial, amb la IA com a «mitjà» i no com a «finalitat».Experimenteu directament la diferenciació d’un model Foundation real creat From-scratch.

Consultes i sol·licituds de demostració: [email protected]

Copyright© 2025 Clevi Inc. Tots els drets reservats.