From-scratch Foundation Model CLEVI AI(ivy)

“Dhaabbanni xiqqaan akkamitti sadarkaa addunyaa irra jiru, moodeela afaanii AI guddaa uumuu dandaʼe?”

Jalqaba irraa kaʼee: dhaabbata xiqqaa tokko akkamitti moodeela afaanii guddaa uume?

Erga CLEVI moodeela Foundation paaraameetira tiriliyoona 1.4 qabu ifa godhee booda, gaaffii yeroo baayʼee nu gaʼedha.

Dhaabbileen hedduun moodeelota open-source qofa fine-tuning gochuun kan hojjetan yoo taʼu, CLEVI immoo adeemsa guutuu, walitti qabama daataa irraa eegalee hanga dizaayinii moodeelaa, leenjii raabsaanii gurguddaa fi mirkaneessa qulqullinaatti, ofiin raawwate.

Iccitii fi dorgommii isaa armaan gaditti balʼinaan dhiheessina.

1. Dhaabbanni xiqqaan moodeela afaanii guddaa uuma?

Adoolessa 2025 keessa, yeroo CLEVI moodeela afaanii guddaa ofii isaatiin qopheesse gabaa irratti beeksise, maamiltoonni (fayyadamtoonni) hedduun dinqisiifannaa fi shakkiin raafamaa turan. “Dhuguma ofii keessan qopheessitanii?” “Moodeela open-source xiqqoo jijjiirtanii miti?”

Dhugumatti, dhaabbileen hedduun biyya keessaa fi alaa moodeelota open-source irratti leenjii dabalaa (fine-tuning) qofa raawwachuun, akka moodeela ofii isaaniitti beeksisu.

Garuu CLEVI **‘From-scratch Foundation Model’** jedhu irratti xiyyeeffate.

Kana jechuun, adeemsa guutuu walitti qabama daataa irraa eegalee hanga dizaayinii moodeelaa, leenjii raabsaanii gurguddaa fi mirkaneessa qulqullinaatti, ofii isaatiin qopheessee hojiirra oolche.

2. Sababoota moodeela afaanii guddaa qopheessuun itti ulfaatu

From-Scratch Foundation Model leenjisuuf, wantoota armaan gadii hunda qopheessuu fi leenjisuu barbaachisa.

Daataasheetii qulqullina olaanaa qabu, baayʼee guddaan barbaachisa

• Garaagarummaa: garaagarummaa afaanii, damee hojii fi bifa (barreeffama, suuraa fi kkf) mirkaneessuu
• Qulqulleessuu: sagalee keessaa baasuu, qulqullina toʼachuu, daataa irra deddeebiʼamee fi miidhaa qabu calaluu
• Hayyama: mirga barreessaa fi mirga itti fayyadama daataa ifa gochuu

Buʼuraalee kompiitaraa gurguddoo

• Kilaastara GPU/TPU humna olaanaa qabu: meeshaalee noodiin kumaatama hanga kuma kudhaniitti walitti fiduun, teeknooloojii leenjii raabsaanii daataa guddaa deeggaru
• Fraameworkii leenjii raabsaanii buʼa qabeessa: DeepSpeed, Megatron-LM, Ray fi kkf
• Kuusaa daataa/neetworkii: daataa guddaa galchuu fi baasuu, naannoo neetworkii saffisaa

Dizaayinii arkiteekcharii moodeelaa

• Caasaa haaraa hammachiisuu: Transformer, MoE(Mixture of Experts), fi kkf
• Scalability: baay’ina paaraameetotaa, baay’ina layerootaa, dheerina galtee fi kkf irratti hundaa’uun babal’achuu danda’uu ilaalu
• Bu’a qabeessummaa: saffisa leenjii/yaalii fi fayyadama memory fooyyeessuu

Tarsiimoo fi algoritmota leenjii

• Kaayyoo pretraining: language model (fkn. next token prediction), multimodal (fkn. contrastive learning) fi kkf
• Tooftaalee optimization: mixed precision, gradient accumulation, learning rate schedule fi kkf
• Normalization/stabilization: dropout, layer norm, weight decay fi kkf

Sirna madaallii fi mirkaneessaa

• Tuuta benchmark: standard datasets (Benchmarks) fayyadamuu
• Madaallii keessaa: haalota itti fayyadama dhugaa irratti hundaa’uun madaaluu
• Hordoffii itti fufiinsa qabu: qulqullina, loogii fi nageenya yeroo leenjii fi leenjii booda sakatta’uu

Dandeettii humna namaa fi dhaabbataa

• Qorattoota AI/ML: dizaayinii moodeelotaa fi misooma algoritmootaa
• Injinara daataa: walitti qabuu, qulqulleessuu fi bulchiinsa daataa
• Injinara bu’uuraalee: sirnoota raabsaman, bulchiinsa cloud/on-premises
• Bulchaa pirojektii: bulchiinsa yeroo, baajataa fi qulqullinaa

Yaadannoowwan naamusaa, seeraa fi nageenyaa

• Naamusa AI: loogii, nageenya, iftoomina fi itti gaafatamummaa
• Kabaja seeraa: odeeffannoo dhuunfaa, mirga waraabbii fi abbummaa daataa
• Nageenya: ittisa dhangala’uu daataa/moodeelaa fi to’annoo qaqqabummaa

Yeroo ammaa, addunyaa guutuutti qorattoonni AI gara 2,000 ta’an jiru; isaan keessaa baay’een isaanii dhaabbilee teeknooloojii gurguddoo akka META, Google fi XAI keessatti walitti kuufamaniiru. Keessumaa biyya keessatti, gareen daataa walitti qabuu irraa kaasee hanga bu’uuraalee leenjii gurguddootti ofuma isaatiin dizaayinii godhee Foundation Model uumuu danda’u baay’ee muraasa.

3. Humna namaa muraasaan large language model guddaa ijaaruu.

Hogganaan Olaanaa Lee Hwan-ho, muuxannoo waggoota 10 olitti qorannoo deep learning fi machine learning irratti qabuun, waggaa 3 dura kaayyoo “AI addunyaa keessaa isa caalu nan uuma” jedhuun dhaabbata (CLEVI) hundeesse.

Daataa pipeline dhaabbata ofii ijaaruu, bu’uuraalee deep learning raabsamaa gurguddoo dizaayinii gochuu, arkiteekchara moodeelaa misoomsuu fi qulqullina mirkaneessuu dabalatee, adeemsa hunda ofuma isaatiin dizaayinii gochuudhaan dandeettii Foundation Model misoomsuuf barbaachisu horate.

Bu’aa leenjiiwwan moodeelotaa hedduu booda, amma moodeela Clevi-5-x kan moodeelota sadarkaa addunyaa isa olaanaa wajjin dorgomuu danda’u qabna.

Moodeela afaanii guddaa baay’ee leenjisuuf, GPU dhibba hedduu hanga kuma hedduutti garee tokkootti walqabsiisuun, bu’uuraalee teeknooloojii kanneen herrega tiriliyoona hedduu sekondii tokko keessatti yeroo walfakkaatutti raawwachuu danda’an barbaachisu. Adeemsa kana keessatti, teeknooloojiiwwan kanneen naannoo raabsame guddaa keessatti walsimannaa herregaa mirkaneessuu fi harkifannaa qunnamtii xiqqeessan murteessoodha. Hanga ammaatti, Koreyaa keessatti “algoriizimii to’annoo sirrii” waan hin jirreef, dhaabbileen baay’een moodeelota sirriitti leenjisuu hin dandeenye. Daayirektarri olaanaan Clevi, Lee Hwan-ho, algoriizimii to’annoo herrega raabsamaa ofii isaa qopheessuudhaan, Koreyaa keessatti yeroo jalqabaatiif moodeela afaanii guddaa paaraameetira tiriliyoona 1.4 (1.4 Trillion) qabu milkaa’inaan leenjiseera.

4. Sababa namoota misoomsaa muraasaan moodeelota gara garaa misoomsuu danda’ameef

Dhaabbileen teeknooloojii gurguddoon baay’eenis teeknooloojii to’annoo bu’uuraalee teeknooloojii gurguddoo fi qulqulleessuu daataa qabu.

Kana bulchuuf qorattoota dhibba hedduu hanga kuma hedduutti barbaachisa.

Haa ta’u malee, Clevi qorattoota muraasaan moodeelota gara garaa misoomsee qaba.

Akkamitti danda’ame?

Clevi teeknooloojii Teacher-Student Model(Knowledge Distilation) fayyadamuudhaan, namoota muraasaan moodeelota gara garaa misoomsee qaba.

Amma immoo waa’ee teeknooloojii Teacher-Student haa ilaallu.

Teacher-Student(daabbinsa beekumsaa)

Teeknooloojiin Teacher-Student, salphaatti yoo ibsamuu, moodeela afaanii guddaa baay’ee (Teacher Model) fayyadamuudhaan moodeela mucaa (Student Model) madaaluu fi yaada deebii kennuudhaan, namoota qorannoo dhibba hedduu bakka bu’ee, namoota muraasaan moodeelota gara garaa saffisaan misoomsuu danda’amuudha.

• Mother Model(moodeela guddaa baay’ee) dameewwan gara garaa keessatti moodeelota madaalee fi yaada deebii kennee, namoota qorannoo dhibba hedduu bakka bu’a.
• Akkaataa kanaan Clevi-x-platform fayyadamuudhaan leenjii yoo gaggeessine, moodeelota raawwii olaanaa qaban kanneen akka Reasoning, VLM, Physical AI, Coding Agent fi kkf guyyoota 10–15 keessatti leenjisuu fi raabsuu dandeenya.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Agantii nageenyaa

5. Adda ta'ummaa teeknikaa fi qulqullinaa Clevi-x-platform

Raawwii fi babal'ina moodeelichaa

• Dursa inferensii (CoT/Reasoning): cip-5-x tarkaanfiiwwan loojikaawaa tartiibaan ibsuu fi ragaa dhiyeessuu akka falaasama dizaayinii isaatti hammachiisee, rakkoolee saayinsii, herregaa fi injiinariingii furuurratti dandeettii shallagaa fi hiikaa amanamaa olaanaa agarsiisa. Ulaagaa beekumsa keessaa irratti hundaa'uun, dandeettii raawwii sadarkaa GPT-5 ykn isaa ol ta'e galmaan ga'uuf dizaayinii fi hojii irra oolmaa keessa jira; haalota piromptii walfakkaataa keessatti irra deebi'amuu fi mirkaneeffamuu danda'uun agarsiistota qulqullinaa ijoo ta'anii bulu.

• Ispeektiramii guutuu multimodaalaa: VLM kaayyoo irratti xiyyeeffate (cip-5-vision), moodeela adeemsa multimodaalaa baay'ee guddaa (ivy-4-mm), fi moodeela salphaa on-device (ivy-3-text) waltajjii tokko irratti oomishuu fi walitti makuun, amaloota hojii (barbaaduu/mala qusachuu/caqasu vs. inferensii/ibsa/raawwii) irratti hundaa'uun makaa sirrii filachuun ni danda'ama.

Hojii irra oolmaa dhaabbataaf mijataa

• Nageenyaa fi argamummaa on-premise: kutaa guutuu networkii cufamaa (galchuu-leenjisuu-tajaajiluu-kuusuu) keessatti hojii irra oolchuu, dizaayinii HA, babal'ina moojuulaaraa, fi SVCE (naannoo raawwii nageenyaa adda baafame) fayyadamuun daataa fi paaraameetota moodeelichaa addaan baasanii eegu.
• Seensa fi babal'ina saffisaa: Ivy Chat (haasaa/ejentii hojii irratti hundaa'e, multimodaalaa) fi API Platform (SaaS istaandaardii addunyaa) fayyadamuun hojiirra oolmaa fi bulchiinsa saffisaa deeggera.

Adda ta'ummaa Physical AI

• Simulaashinii NVIDIA Isaac irratti hundaa'e fi barnoota jabaataa jijjiirama irratti hundaa'e (Evolutionary RL) walitti makuun, ce'umsaa Sim2Real fi leenjii daataa uumamaa wal cinaa gaggeessuun gahumsa leenjii fi madaqsa dirree fooyyeesse. Digital irraa kaasee hanga leenjii robootiksii fi raabsaa uwwisuun isaa bakka bu'oota dorgomaa muraasa qaba.

Qulqullina tajaajilaa fi bulchiinsa

• To'annoo verishinii moodeelotaa/piromptiiwwanii/meeshaalee, evaluation suite (beekumsa Afaan Kooriyaa fi Afaan Ingilizii, hojiiwwan industirii adda addaa, agarsiistota hallucination fi nageenyaa), bulchiinsa jijjiiramaa (SLO/SLA), fi hordoffii hojii (latency, sadarkaa milkaa'inaa, TCO) adeemsa waltajjii tokkoon bulcha.

Yeroo ammaa Keeniyaa keessatti dhaabbileen tajaajila moodeela AI tilmaamaan 300 ol jiru;

Kompaniin Clevi qofa moodeela bu'uuraa ofii isaa kan raawwii olaanaa qabuun tajaajila on-premise fi cloud yeroo walfakkaataatti dhiyeessuu danda'a.

6. Akkaataa itti moodeela afaanii industiriitti fayyadamnu

AI hojiirra oolchuun invastimantii guddaa fi mirkaneessa gadi fageenyaa waan barbaaduuf, furmaanni kun dhugumaan dhaabbataaf faayidaa qabaachuu isaa kallattiin walbira qabuun fi yaaluun murteessaa dha.

• CLEVI’n moodeela qofa uumuu irratti hin daangeffamu; furmaatawwan AI hojiiwwan industirii dhugaa keessatti hojiirra oolchuu danda’aman ni dhiheessa.
• Fakkeenyaaf, chaanaaliiwwan indaastirii guguddoof barbaachisan kanneen akka Ivy Chat Platform, Clevi API Platform, dhuunfachiisuu industirii irratti hundaa’e, akkasumas ulaagaalee nageenyaa guutuu qaba.
• AI fiizikaalaa, robootiksii fi daataa multimodaalaa qopheessuu dabalatee, dandeettiiwwan teeknikaa biyya keessaa fi idil-addunyaa keessatti argamuun rakkisu qaba.

CLEVI’n AI akka ‘kaayyoo’ osoo hin taane akka ‘meeshaa’tti fayyadamuun, furmaatawwan AI qabatamaa hojiiwwan dhugaa keessatti gahumsa fi haaromsa industirii guddisan ni dhiheessa. Garaagarummaa moodeela Dhugaa From-scratch Foundation kallattiin muuxadhaa.

Gaaffii fi gaafannoo demo: [email protected]

Copyright© 2025 Clevi Inc. Mirgi hundi eegama.