From-scratch Foundation Model CLEVI AI(ivy)

« Com una petita empresa a pogut crear un modèl de lenga d’IA gigantàs de nivèl mondial ? »

Cossí una pichona start-up a creat un modèl de lenga gigantàs ?

Es la question que CLEVI a recebut lo mai dempuèi la publicacion de son modèl Foundation d’1,4 bilions de paramètres.

A la diferéncia de nombrosas entrepresas que se contentan de finetunar de modèls open source, CLEVI a menat de biais independent tot lo procès, dempuèi la collècta de donadas fins a la concepcion del modèl, l’aprendissatge distribuit a granda escala e la verificacion de la qualitat.

Presentam en detalh çai-jos son secret e sos avantatges competitius.

1. Una pichona empresa pòt crear un modèl de lenga gigantàs ?

En julhet de 2025, quand CLEVI a presentat al mercat son modèl de lenga gigantàs desvolopat en pròpri, de nombroses clients (utilizaires) se son mostrats estonats e escèptics. « Es vertadièrament un desvolopament intèrne ? » « Es pas simplament un modèl open source modificat leugièrament ? »

En efèit, nombrosas entrepresas en Corèa del Sud e a l’estrangièr se contentan sovent d’aplicar un transferiment d’aprendissatge (fine-tuning) a de modèls open source e de los presentar coma lors modèls pròpris.

Pasmens, CLEVI met en avant lo **‘From-scratch Foundation Model’**.

Autrament dich, tot lo procès es concebut e executat dirèctament per CLEVI, dempuèi la collècta de donadas fins a la concepcion del modèl, l’aprendissatge distribuit a granda escala e la verificacion de la qualitat.

2. Perqué lo desvolopament d’un modèl de lenga gigantàs es dificil

Per entrenar un From-Scratch Foundation Model, cal entrenar totes los elements seguents.

Un ensemble de donadas de granda escala e de nauta qualitat

• Diversitat : assegurar la diversitat de las lengas, dels domenis e dels formats (tèxt, imatges, etc.)
• Purificacion : eliminacion del bruch, contraròtle de la qualitat, filtratge de las donadas duplicadas o nocivas
• Licéncias : clarificar los dreches d’autor e los dreches d’utilizacion de las donadas

Una infrastructura de computacion de granda escala

• Cluster de GPU/TPU de nautas performanças : integrar d’equipaments de milièrs a desenats de milièrs de noses per permetre l’aprendissatge distribuit de grands volums
• Framework d’aprendissatge distribuit eficaç : DeepSpeed, Megatron-LM, Ray, etc.
• Estocatge/rets : entradas e sortidas de donadas de granda capacitat e environament de ret rapid

Concepcion de l’arquitectura del modèl

• Integrar las arquitecturas mai recentas: Transformer, MoE(Mixture of Experts), multimodalitat, etc.
• Escalabilitat: prendre en compte l’extensibilitat del nombre de paramètres, del nombre de capas, de la longor de l’entrada, etc.
• Eficiéncia: optimizar la velocitat d’entrenament e d’inferéncia e l’utilizacion de la memòria

Estratègia e algoritmes d’entrenament

• Objectiu del preentrenament: modèl de lenga (per exemple, next token prediction), multimodalitat (per exemple, contrastive learning), etc.
• Tècnicas d’optimizacion: mixed precision, gradient accumulation, learning rate schedule, etc.
• Normalizacion e estabilizacion: dropout, layer norm, weight decay, etc.

Sistèma d’evaluacion e de validacion

• Jòcs de referéncia: utilizar de jòcs de donadas estandards (Benchmarks)
• Evaluacion intèrna: evaluacion basada sus de scenaris d’usatge reals
• Susvelhança contunha: verificar la qualitat, los biaisses e la seguretat pendent e aprèp l’entrenament

Competéncias umanas e organizacionalas

• Investigadors en IA/ML: concepcion de modèls e desvolopament d’algoritmes
• Enginhaires de donadas: collècta, netejatge e gestion de las donadas
• Enginhaires d’infraestructura: sistèmas distribuits e gestion del nívol/infrastucturas localas
• Directors de projècte: gestion dels terminis, del budget e de la qualitat

Consideracions eticas, juridicas e de seguretat

• Etica de l’IA: biaisses, seguretat, transparéncia e responsabilitat
• Conformitat juridica: donadas personalas, dreches d’autor e sobeiranetat de las donadas
• Seguretat: prevencion de las fugidas de donadas e de modèls, contraròtle dels accèsses

Actualament, lo nombre de cercaires en IA dins lo mond entièr es d’aproximativament 2 000 personas, e la màger part d’entre eles son concentrats dins de grandas entrepresas tecnologicas coma META, Google e XAI. En Corèa del Sud, las equipas capable de concebre dirèctament un modèl Foundation, dempuèi la collècta de donadas fins a l’infraestructura d’entrenament a granda escala, son fòrça raras.

3. Crear un modèl de lenga gigant amb pauc de personal.

En s’apiejant sus mai de 10 ans d’experiéncia en recèrca sus l’aprendissatge prigond e l’aprendissatge automatic, lo PDG Lee Hwan-ho fondèt l’entrepresa (CLEVI) fa tres ans amb l’objectiu de «crear la melhora IA del mond».

Desvolopèt dirèctament totas las etapas necessàrias al desvolopament d’un Foundation Model, coma la construccion del pipeline de donadas de l’entrepresa, la concepcion de l’infraestructura d’aprendissatge prigond distribuit a granda escala, lo desvolopament de l’arquitectura del modèl e la validacion de la qualitat.

Après aver entrenat lo modèl a mantuna represa, dispausam uèi del modèl Clevi-5-x, capable de rivalizar amb los modèls de classa mondiala.

Per entrenar eficaçament los modèls de lengatge gigant, cal una infrastructura capable de tractar simultanèament fins a desenats de quadrilions d’operacions per segonda, en connectant de centenats a de milièrs de GPU en grop. Dins aquel processus, la tecnologia que minimiza la laténcia de comunicacion e sincroniza los calculs dins los environaments distribuïts de granda escala es essenciala. Fins ara, en Corèa del Sud, la màger part de las entrepresas podián pas entrenar corrèctament los modèls per manca d’«algoritmes de contraròtle precís». Lo CEO de CLEVI, Lee Hwan-ho, a desvolopat intèrnament aquel algoritme original de contraròtle dels calculs distribuïts, çò que li a permés de capitar, per la primièra vegada en Corèa del Sud, l’entrenament d’un modèl de lengatge gigant amb 1,4 bilions (1.4 Trillion) de paramètres.

4. Perqué podèm desvolopar divèrses modèls amb un nombre redusit de personal de desvolopament

La màger part de las grandas entrepresas tecnicas dispausan tanben de tecnologias de contraròtle d’infrastructuras de granda escala e de purificacion de donadas.

Per las gerir, cal de centenats a de milièrs de cercaires.

Pasmens, CLEVI desvolopa e possedís divèrses modèls amb un nombre redusit de cercaires.

Cossí es estat possible?

CLEVI desvolopa e possedís divèrses modèls amb un nombre redusit de personal gràcias a la tecnologia Teacher-Student Model(Knowledge Distilation).

Ara, examinèm la tecnologia Teacher-Student.

Teacher-Student (distillacion del saber)

La tecnologia Teacher-Student consistís, en tèrmes simples, a utilizar un modèl de lengatge gigant (Teacher Model) per avalorar e fornir de retorn al modèl filh (Student Model), çò que permet de remplaçar centenats de cercaires amb un nombre redusit de personal e de desvolopar rapidament divèrses modèls.

• Lo modèl Mother Model(모델 gigant) avalora e fornís de retorn sus de modèls de divèrses domenis, remplaçant centenats de cercaires.
• En menant l’entrenament d’aquela manièra a travèrs de Clevi-x-platform, es possible d’entrenar e de desplegar en 10 a 15 jorns de modèls de nauta performança coma Reasoning, VLM, Physical AI e Coding Agent.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Modèl de vision e de lenga

Agent de seguretat

5. Diferenciacion tecnica e qualitativa de Clevi-x-platform

Performança e extensibilitat dels modèls

• Superioritat en l’inferéncia (CoT/Reasoning): cip-5-x inclutz lo desplegament logic per etapas e la presentacion de las justificacions dins sa filosofia de concepcion, e demòstra de fòrta capacitat de calcul e d’interpretacion amb un naut nivèl de fisabilitat per resòlvre de problèmas scientifics, matematics e d’engenhariá. Segon los benchmarks intèrnes, es concebut e operat amb l’objectiu d’aténher de performanças del nivèl de GPT-5 o superioras, e la reproducibilitat e la verificabilitat dins de condicions de prompt identicas son geridas coma indicadors de qualitat clau.

• Espectre multimodal complet: la produccion e la combinason sus una sola plataforma de VLM orientat per tòca (cip-5-vision), de modèls de tractament multimodal de granda capacitat (ivy-4-mm) e d’un modèl leugièr sus dispositiu (ivy-3-text) permeton una combinason optimizada adaptada a las caracteristicas de la prètzfacha (cèrca/classificacion/resumit vs. inferéncia/explicacion/execucion).

Aplicabilitat a l’entrepresa

• Seguretat e disponibilitat on-premises: foncionament dins l’ensemble del malhum claus (entrada-aprendissatge-servici-còpia de salvagarda), concepcion HA, extension modulara e proteccion separada de las donadas e dels paramètres dels modèls amb SVCE (environament d’execucion segur e isolat).
• Adopcion e extension rapidas: Ivy Chat (conversacion multimodala/de tipe agent per las operacions), API Platform (SaaS d’estandard global) permeton una aplicacion e una operacion rapidas.

Diferenciacion de l’IA fisica (Physical AI)

• La combinason de simulacions basadas sus NVIDIA Isaac e de l’aprendissatge per renfortiment basat sus l’evolucion (Evolutionary RL), amb transferiment Sim2Real e aprendissatge parallèl sus de donadas sinteticas, a aumentat l’eficacitat de l’aprendissatge e l’adaptabilitat sul terren. La cobertura de l’ensemble del procès, de l’aprendissatge numeric e robotic al desplegament, es un domeni ont las alternativas son raras.

Qualitat dels servicis e governança

• La gestion de las versions dels modèls, prompts e aisinas, la seguida d’evaluacion (coneissenças en corean e en anglés, prètzfachas per industria, indicadors d’alucinacion e de seguretat), la gestion dels cambiaments (SLO/SLA) e l’observabilitat operativa (laténcia, taus de capitada, TCO) son geridas segon de proceduras d’una plataforma unica.

Actualament, i a mai de 300 entrepresas de servicis de modèls d’IA en Corèa del Sud, mas

Clevi es l’unica entrepresa capabla de provesir simultanèament de servicis on-premises e en nívol gràcias a un modèl de fondacion performant e proprietari.

6. Com utilizar los modèls de lenga dins l’industria

Atès que l’adopcion de l’IA requerís d’inversions considerablas e una validacion rigorosa, es essencial de comparar e d’experimentar dirèctament las solucions per verificar qu’ajudan vertadièrament las entrepresas.

• CLEVI se limita pas a crear de modèls, mas prepausa de solucions d’IA aplicablas dins de situacions industrialas realas.
• Per exemple, disposa d’un canal d’entrepresa complet, amb Ivy Chat Platform, Clevi API Platform, la personalizacion per sector e la conformitat amb las exigéncias de seguretat.
• Possedís de competéncias tecnicas raras a trobar en Corèa del Sud e a l’internacional, coma l’IA fisica, la robotica e lo tractament de donadas multimodalas.

CLEVI prepausa de solucions d’IA concrètas que contribuisisson a l’eficacitat del trabalh real e a l’innovacion industriala, en considerant l’IA coma un «mejan» e non pas coma una «fin». Experimentatz dirèctament la diferéncia dels modèls Foundation From-scratch vertadièrs.

Contacte e demanda de demostracion: [email protected]

Copyright© 2025 Clevi Inc. Totes los dreches reservats.