From-scratch Foundation Model CLEVI AI (ivy)

“Nola lortu du enpresa txiki batek mundu-mailako hizkuntza-eredu erraldoi bat sortzea?”

Nola sortu zuen hizkuntza-eredu erraldoi bat startup txiki batek?

Hori da CLEVIk 1,4 bilioi parametroko Foundation Model-a aurkeztu zuenetik gehien jaso duen galdera.

Enpresa askok kode irekiko ereduak besterik gabe doitu ohi dituzten bitartean, CLEVIk prozesu osoa modu independentean egin zuen: datuak biltzetik hasi eta ereduaren diseinura, eskala handiko ikaskuntza banatura eta kalitatearen egiaztapenera arte.

Jarraian, xehetasunez aurkezten ditugu horren sekretuak eta lehiakortasun-abantailak.

1. Enpresa txiki batek hizkuntza-eredu erraldoi bat sortzea?

2025eko uztailean, CLEVIk berak garatutako hizkuntza-eredu erraldoia merkatura aurkeztu zuenean, bezero eta erabiltzaile ugari harrituta eta zalantzati agertu ziren. “Benetan garatu al dute beraiek?” “Ez al dute kode irekiko eredu bat apur bat aldatu besterik egin?”

Izan ere, barruko zein nazioarteko enpresa askok kode irekiko ereduetan transferentzia-ikaskuntza (fine-tuning) besterik ez dute aplikatzen, eta, ondoren, beren eredu gisa sustatzen dituzte.

Baina CLEVIk **‘From-scratch Foundation Model’** aurkeztu zuen.

Hau da, prozesu osoa zuzenean diseinatu eta gauzatu zuen, datuak biltzetik hasi eta ereduaren diseinura, eskala handiko ikaskuntza banatura eta kalitatearen egiaztapenera arte.

2. Hizkuntza-eredu erraldoiak garatzea zaila izatearen arrazoiak

From-Scratch Foundation Model bat entrenatzeko, beheko elementu guztiak prestatu behar dira.

Kalitate handiko datu multzo handi bat behar da

• Aniztasuna: hizkuntzen, domeinuen eta formatuen (testua, irudiak eta abar) aniztasuna bermatzea
• Arazketa: zarata kentzea, kalitatea kontrolatzea eta datu bikoiztuak/kaltegarriak iragaztea
• Lizentziak: copyrighta eta datuak erabiltzeko eskubideak argi zehaztea

Eskala handiko konputazio-azpiegitura

• Errendimendu handiko GPU/TPU klusterrak: milaka edo hamar milaka nodoko ekipamendua integratzea, eskala handiko ikaskuntza banaturako laguntza-teknologiarekin
• Ikaskuntza banatuko esparru eraginkorrak: DeepSpeed, Megatron-LM, Ray eta abar
• Biltegiratzea/sarea: datu-bolumen handien sarrera eta irteera, eta abiadura handiko sare-ingurunea

Ereduaren arkitekturaren diseinua

• Egitura berrien integrazioa: Transformer, MoE(Mixture of Experts), multimodala eta abar
• Eskalagarritasuna: parametro kopurua, geruza kopurua, sarreraren luzera eta abar bezalako hedagarritasun-faktoreak kontuan hartzea
• Eraginkortasuna: entrenamenduaren eta inferentziaren abiadura, memoria-erabileraren optimizazioa

Entrenamendu-estrategiak eta algoritmoak

• Aurretiko entrenamenduaren helburuak: hizkuntza-ereduak (adibidez, next token prediction), multimodala (adibidez, contrastive learning) eta abar
• Optimizazio-teknikak: mixed precision, gradient accumulation, learning rate schedule eta abar
• Normalizazioa/egonkortzea: dropout, layer norm, weight decay eta abar

Ebaluazio- eta baliozkotze-sistema

• Benchmark-multzoak: datu-multzo estandarrak (Benchmarks) erabiltzea
• Barne-ebaluazioa: benetako erabilera-eszenatokietan oinarritutako ebaluazioa
• Etengabeko monitorizazioa: kalitatea, alborapena eta segurtasuna egiaztatzea entrenamenduan zehar eta ondoren

Giza baliabideak eta antolakuntza-gaitasunak

• AI/ML ikertzaileak: ereduen diseinua, algoritmoen garapena
• Datu-ingeniariak: datuen bilketa/garbiketa/kudeaketa
• Azpiegitura-ingeniariak: sistema banatuen eta hodeiko/on-premise inguruneen kudeaketa
• Proiektu-kudeatzaileak: egutegia, aurrekontua eta kalitatearen kudeaketa

Gogoeta etikoak, legalak eta segurtasunekoak

• AIaren etika: alborapena, segurtasuna, gardentasuna eta erantzukizuna
• Lege-betetzea: pribatutasuna, copyrighta eta datu-subiranotasuna
• Segurtasuna: datuen/ereduen ihesak prebenitzea eta sarbide-kontrola

Gaur egun, mundu osoan AIaren ikerketan diharduten 2.000 pertsona inguru daude, eta horietako gehienak META, Google, XAI eta antzeko teknologia-enpresa handietan kontzentratuta daude. Oso talde gutxik du Hego Korean datu-bilketatik hasi eta eskala handiko entrenamendu-azpiegituraraino dena zuzenean diseinatuz Foundation modelo bat sortzeko gaitasuna.

3. Langile gutxirekin eskala ultrahandiko hizkuntza-eredu bat sortzea.

Lee Hwan-ho CEOak enpresa (Clevi) sortu zuen duela 3 urte, “munduko AI onena sortuko dut” helburuarekin, deep learning eta machine learning ikertzen 10 urte baino gehiagoz izandako esperientzian oinarrituta.

Enpresaren datu-pipelinea eraikitzea, eskala handiko deep learning banatuko azpiegitura diseinatzea, modelo-arkitektura garatzea, kalitatea balioztatzea eta gainerako prozesu guztiak zuzenean diseinatuz, Foundation Model bat garatzeko beharrezko gaitasunak eskuratu zituen.

Eredua hainbat aldiz entrenatu ondoren, gaur egun munduko maila goreneko ereduekin lehiatzeko moduko Clevi-5-x modeloa du.

Hizkuntza-eredu erraldoiak eraginkortasunez entrenatzeko, ehunka eta milaka GPU bitarteko kluster batean konektatzea ahalbidetzen duen azpiegitura behar da, segundoko bilioika eragiketa aldi berean prozesatzeko. Prozesu honetan, eskala handiko ingurune banatuetan eragiketen sinkronizazioa eta komunikazio-atzerapena minimizatzeko teknologiak funtsezkoak dira. Orain arte, Hego Korean “doitasunezko kontrol-algoritmorik” ez zegoenez, enpresa gehienek ezin izan dituzte ereduak behar bezala entrenatu. Clevi-ko zuzendari Lee Hwan-ho-k banatutako konputazioaren kontrol-algoritmo esklusibo hori modu independentean garatu zuen, eta, horri esker, Hego Korean lehen aldiz 1,4 bilioi (1.4 Trillion) parametroko hizkuntza-eredu erraldoi bat entrenatzea lortu zuen.

4. Garatzaile gutxirekin hainbat eredu garatu ahal izateko arrazoia

Big Tech enpresa gehienek ere eskala handiko azpiegiturak kontrolatzeko eta datuak fintzeko teknologiak dituzte.

Horiek kudeatzeko, ehunka eta milaka ikertzaile behar dira.

Hala ere, Clevik hainbat eredu garatu eta ditu ikertzaile gutxirekin.

Nola izan da posible?

Clevik hainbat eredu garatu eta ditu langile gutxirekin, Teacher-Student Model(Knowledge Distilation) teknologiaren bidez.

Azter dezagun, bada, Teacher-Student teknologia.

Teacher-Student (ezagutzaren destilazioa)

Teacher-Student teknologia, modu errazean esanda, hizkuntza-eredu erraldoi baten (Teacher Model) bidez eredu semea (Student Model) ebaluatu eta hari feedbacka emanez ikertzaile gutxirekin ehunka ikertzaileren lana ordezteko eta hainbat eredu azkar garatzeko teknologia da.

• Mother Model(eredu erraldoiak) hainbat arlotako ereduak ebaluatu eta haiei feedbacka ematen die, eta ehunka ikertzaileren lana ordezten du.
• Modu honetan Clevi-x-platform bidez entrenamendua egiten bada, Reasoning, VLM, Physical AI, Coding Agent eta errendimendu handiko beste eredu batzuk 10~15 egunetan entrenatu eta zabaldu daitezke.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Segurtasun-agentea

5. Clevi-x-platform teknologiaren eta kalitatearen bereizgarriak

Ereduen errendimendua eta eskalagarritasuna

• Inferentzia (CoT/Reasoning) nagusitasuna: cip-5-x ereduak arrazoibide logiko mailakatua eta oinarriak azaltzea diseinu-filosofiaren barruan hartzen ditu; zientzia-, matematika- eta ingeniaritza-arazoak ebaztean kalkulu- eta interpretazio-gaitasun fidagarriak erakusten ditu. Barne-erreferentziazko probetan oinarrituta, GPT-5 mailako edo hortik gorako errendimendu-gaitasuna lortzeko diseinatu eta erabiltzen ari da, eta prompt beraren baldintzetan erreproduzigarritasuna eta egiaztagarritasuna kalitate-adierazle nagusi gisa kudeatzen ditu.

• Modalitate anitzeko espektro osoa: helburuetara bideratutako VLMa (cip-5-vision), modalitate anitzeko prozesamendu-eredu ahalmen handia (ivy-4-mm) eta gailuetan bertan erabiltzeko eredu arina (ivy-3-text) plataforma bakarrean ekoitzi eta konbina daitezke, zereginaren ezaugarrien arabera (bilaketa/sailkapena/laburpena vs. inferentzia/azalpena/exekuzioa) konbinazio optimoa ahalbidetuz.

Enpresa-aplikagarritasuna

• On-premise segurtasuna eta erabilgarritasuna: sare itxiaren barruan (sarrera-prestakuntza-zerbitzua-ordezko kopia) eragiketa, HA diseinua, hedapen modularra eta SVCE (segurtasunez isolatutako exekuzio-ingurunea) erabiliz, datuak eta eredu-parametroak bereizita babesten dira.
• Inplementazio eta hedapen azkarra: Ivy Chat (lanerako modalitate anitzeko elkarrizketa/agentea) eta API Platform (SaaS estandar globala) erabiliz, aplikazio eta eragiketa azkarrak ahalbidetzen dira.

AI fisikoaren (Physical AI) bereizgarritasuna

• NVIDIA Isaac-en oinarritutako simulazioa eta eboluzioan oinarritutako indartze-ikaskuntza (Evolutionary RL) konbinatuz, Sim2Real transferentziaren eta datu sintetikoekin egindako ikaskuntza paraleloaren bidez, ikaskuntzaren eraginkortasuna eta eremura egokitzeko gaitasuna hobetu dira. Digitaletik robotikara bitarteko ikaskuntza eta hedapena estaltzea ezaugarri urria da ordezkoen artean.

Zerbitzuaren kalitatea eta gobernantza

• Ereduen, prompt-en eta tresnen bertsio-kudeaketa, ebaluazio-suitea (euskarazko eta ingelesezko ezagutza, industriaren araberako zereginak, haluzinazio- eta segurtasun-adierazleak), aldaketen kudeaketa (SLO/SLA) eta eragiketen monitorizazioa (latentzia, arrakasta-tasa eta TCO) plataforma bakarreko prozedura baten bidez kudeatzen dira.

Gaur egun, 300 AI eredu-zerbitzuen enpresa baino gehiago daude Hego Korean, baina

Errendimendu handiko foundation model propioen bidez on-premise eta hodeiko zerbitzuak aldi berean eskain ditzakeen bakarra CLEVI da.

6. Hizkuntza-ereduak industrian erabiltzeko moduak

AI ezartzeak inbertsio handia eta egiaztapen zorrotza eskatzen dituenez, enpresentzat benetan lagungarria den irtenbidea den zuzenean alderatu eta probatzeko prozesua ezinbestekoa da.

• CLEVIk ez du soilik ereduak sortzera mugatzen; benetako industria-inguruneetan aplikatzeko moduko AI irtenbideak eskaintzen ditu.
• Esaterako, enpresa-kanal osoa du, besteak beste Ivy Chat Platform, Clevi API Platform, industriaren araberako pertsonalizazioa eta segurtasun-eskakizunei erantzutea barne.
• AI fisikoa, robotika eta datu multimodalen prozesamendua bezalako gaitasun teknologikoak ditu, bai nazioartean bai gure herrialdean aurkitzen zailak direnak.

CLEVIk AIa ez du «helburutzat», «bitartekotzat» baizik, eta benetako lan-eraginkortasunari eta industria-berrikuntzari laguntzen dioten AI irtenbide praktikoak eskaintzen ditu. Esperimentatu zuzenean benetako From-scratch Foundation ereduaren bereizgarritasuna.

Kontsultak eta demo-eskaerak: [email protected]

Copyright© 2025 Clevi Inc. Eskubide guztiak erreserbatuta.