From-scratch Foundation Model ya CLEVI AI (ivy)

“Khamphani ye nnyane e kgonne bjang go hlama mmotlolo o mogolo wa polelo wa AI wa maemo a godimo ka go fetiša lefaseng?”

Khamphaning ye nnyane ya go thoma, ba kgonne bjang go hlama mmotlolo o mogolo wa polelo?

Ye ke potšišo yeo CLEVI e e hweditšego gantši kudu ga e sa tšwa go tsebiša ka mmotlolo wa yona wa Foundation wa bogolo bja dipharamithara tše ditrilione tše 1.4.

Go fapana le dikhamphani tše dintši tšeo di fo dirago fine-tuning ya mmotlolo wa open source, CLEVI e dirile ka yona ditshepedišo ka moka, go tloga kgoboketšong ya datha, peakanyong ya mmotlolo, thutong ye kgolo yeo e abelanwago, go fihla go netefatšeng boleng.

Ka mo tlase re hlalosa ka botlalo diphiri tšeo di dirago gore e atlege le maatla a yona a phadišano.

1. Khamphani ye nnyane e hlama bjang mmotlolo o mogolo wa polelo?

Ka Phupu 2025, ge CLEVI e be e tsebiša mmotlolo wa yona o mogolo wa polelo wo e o hlamilego ka boyona mmarakeng, bareki (badiriši) ba bantši ba ile ba makatšwa le go ba le dipelaelo. “Na ruri o hlamilwe ka boyona?” “Na ga se ba fo fetoša mmotlolo wa open source gannyane?”

Ge e le gabotse, dikhamphani tše dintši ka nageng le dinageng tša ka ntle gantši di fo diriša transfer learning (fine-tuning) mmotlolong wa open source gomme tša o bapatša bjalo ka mmotlolo wa tšona.

Eupša CLEVI e ile ya gatelela **‘From-scratch Foundation Model’**.

Ka mantšu a mangwe, e hlamile le go phethagatša ka boyona ditshepedišo ka moka, go tloga kgoboketšong ya datha, peakanyong ya mmotlolo, thutong ye kgolo yeo e abelanwago, go fihla go netefatšeng boleng.

2. Mabaka ao a dirago gore tlhabollo ya mmotlolo o mogolo wa polelo e be thata

Go ruta From-Scratch Foundation Model, go swanetše go rutwa dintlha ka moka tše di latelago.

Go nyakega sete ya datha ye kgolo ya maemo a godimo

• Phapano: Go kgonthiša phapano ya maleme, mafapha le difomete (sengwalwa, diswantšho bj.bj.)
• Tlhwekišo: Go tloša lešata, taolo ya boleng, le go sefa datha yeo e ipoeletšago goba e lego kotsi
• Laesense: Go hlakiša gabotse tokelo ya ngwalollo le ditokelo tša go diriša datha

Mananeo a magolo a khomphutha

• Sehlopha sa GPU/TPU sa tšwelopele ya godimo: Theknolotši ya go kopanya didirišwa tše dikete go fihla go tše dikete tše masome le go thekga thuto ye kgolo yeo e abelanwago
• Framework ya thuto yeo e abelanwago ka bokgoni: DeepSpeed, Megatron-LM, Ray bj.bj.
• Polokelo/netweke: Go tsenya le go ntšha datha ye kgolo, le tikologo ya netweke ya lebelo le legolo

Peakanyo ya mokgwa wa sebopego sa mmotlolo

• Go akaretša sebopego sa sebjalebjale: Transformer, MoE(Mixture of Experts), multimodal le tše dingwe
• Scalability: go ela hloko katološo ya palo ya diparamente, palo ya di-layer, botelele bja tsenyo le tše dingwe
• Bokgoni: go dira gore lebelo la thuto le inference le tšhomišo ya memori di šome gabotse

Maano le dialgoritimi tša go ithuta

• Maikemišetšo a pretraining: language model (mohlala, next token prediction), multimodal (mohlala, contrastive learning) le tše dingwe
• Mekgwa ya optimization: mixed precision, gradient accumulation, learning rate schedule le tše dingwe
• Normalization/stabilization: dropout, layer norm, weight decay le tše dingwe

Tshepedišo ya kelo le netefatšo

• Sehlopha sa benchmarks: go diriša datasets tša maemo (Benchmarks)
• Kelo ya ka gare: kelo yeo e theilwego maemong a kgonthe a tšhomišo
• Tlhokomelo ye e tšwelago pele: go lekola boleng, kgethollo le polokego nakong le ka morago ga thuto

Bokgoni bja bašomi le mokgatlo

• Banyakišiši ba AI/ML: tlhamo ya mehlala, tlhabollo ya dialgoritimi
• Baentšeneare ba data: kgoboketšo, tlhwekišo le taolo ya data
• Baentšeneare ba infrastructure: ditshepedišo tše di phatlaladitšwego, taolo ya cloud/on-premises
• Balaodi ba diprotšeke: taolo ya kemedi ya nako, tekanyetšo ya ditšhelete le boleng

Dilo tše di swanetšego go elwa hloko tša maitshwaro, molao le tšhireletšo

• Maitshwaro a AI: kgethollo, polokego, go ba pepeneneng le maikarabelo
• Go obamela molao: sephiri sa motho, copyright le bogoši bja data
• Tšhireletšo: thibelo ya go dutla ga data/mehlala le taolo ya phihlelelo

Ga bjale, palo ya banyakišiši ba AI lefaseng ka bophara e ka ba batho ba 2 000, gomme bontši bja bona bo kgobokane dikhamphaning tše dikgolo tša theknolotši tše bjalo ka META, Google le XAI. Ke dihlopha tše mmalwa kudu ka nageng tšeo di ka hlamago ka go lebanya sehlopha sa go dira Foundation model, go tloga kgoboketšong ya data go fihla go infrastructure ya thuto ye kgolo.

3. Go aga model ya polelo ye kgolo kudu ka bašomi ba mmalwa.

Ka go ithekga ka maitemogelo a nyakišišo ya deep learning le machine learning a mengwaga ya ka godimo ga e 10, CEO Lee Hwan-ho o hlomile khamphani (CLEVI) mengwageng e 3 ye e fetilego ka maikemišetšo a go “aga AI ya maemo a godimo lefaseng.”

O hlamile ka go lebanya ditshepedišo ka moka tše di nyakegago bakeng sa tlhabollo ya Foundation Model, go akaretša go aga data pipeline ya khamphani ka boyona, go hlama infrastructure ya deep learning ye kgolo ye e phatlaladitšwego, go tlhabolla sebopego sa model le go netefatša boleng.

Ka morago ga go tlwaetša mehlala ka makga a mmalwa, bjale re na le mohlala wa Clevi-5-x wo o ka phadišanago le mehlala ya maemo a godimo kudu lefaseng.

Go tlwaetša mohlala o mogolo kudu wa polelo ka katlego, go nyakega mananeokgoparara ao a kgokaganyago di-GPU tše makgolo go fihla go dikete ka sehlopha, gomme a kgonago go dira dipalo tše dimilione tše dikete ka motsotswana ka nako e tee. Mo tshepedišong ye, theknolotši ya go nyalantšha dipalo le go fokotša tiego ya poledišano tikologong e kgolo ya go phatlalatša e bohlokwa kudu. Go fihla bjale, ka ge go be go se na “algorithm ya taolo e nepagetšego” ka nageng, bontši bja dikgwebo bo be bo sa kgone go tlwaetša mehlala ka tshwanelo. Ka go itlhamela algorithm ye ya taolo ya dipalo tše di phatlaladitšwego, Moemedi wa Phethagatšo wa Clevi, Lee Hwan-ho, o atlegile go tlwaetša mohlala o mogolo kudu wa polelo wo o nago le dipharamente tša 1.4 trillion (1.4 Trillion), e le wa mathomo nageng.

4. Lebaka leo re kgonnego go tšweletša mehlala e fapafapanego ka bašomi ba mmalwa ba tlhabollo

Gaešita le dikgwebong tše dintši tša theknolotši e kgolo, go na le theknolotši ya taolo ya mananeokgoparara a magolo le ya go hlwekiša datha.

Go e laola, go nyakega banyakišiši ba makgolo go fihla go dikete.

Eupša Clevi e tšweletša le go ba le mehlala e fapafapanego ka banyakišiši ba mmalwa.

Go bile bjang?

Clevi e tšweletša le go ba le mehlala e fapafapanego ka bašomi ba mmalwa ka theknolotši ya Teacher-Student Model(Knowledge Distilation).

Bjale, a re hlahlobeng theknolotši ya Teacher-Student.

Teacher-Student (tšweletšo ya tsebo)

Theknolotši ya Teacher-Student, ka mantšu a bonolo, ke theknolotši ya go tšweletša mehlala e fapafapanego ka pela ka bašomi ba mmalwa, ka go diriša mohlala o mogolo kudu wa polelo (Teacher Model) go sekaseka le go fa mohlala wa ngwana (Student Model) ditshwayotshwayo, gomme ka go rialo ya tšea legato la banyakišiši ba makgolo.

• Mother Model (mohlala o mogolo kudu) e sekaseka le go fa mehlala ya mafapha a fapafapanego ditshwayotshwayo, gomme ya tšea legato la banyakišiši ba makgolo.
• Ge re ka tšwetša pele tlwaetšo ka mokgwa wo re diriša Clevi-x-platform, re ka tlwaetša le go phatlalatša mehlala ya maemo a godimo ya Reasoning, VLM, Physical AI, Coding Agent le ye mengwe ka matšatši a 10–15.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Mohlala wa Pono le Polelo

Moemedi wa tšhireletšo

5. Phapano ya theknolotši le boleng ya Clevi-x-platform

Tshebetšo ya mmotlolo le katološego

• Bohlaselatšwe bja kakanyo (CoT/Reasoning): cip-5-x e akaretša tšwelopele ya kgopolo ya dikgato ka dikgato le tlhagišo ya mabaka filosofi ya yona ya tlhamo, gomme e bontšha bokgoni bja maemo a godimo bja go bala le go hlatholla ka botshepagalo bjo bogolo tharollong ya mathata a saense, dipalo le boentšenere. Go ya ka ditekanyetšo tša ka gare, e hlamilwe le go šomišwa e lebantšwe go bokgoni bja boemo bja GPT-5 goba go feta bjona, gomme e laola poeletšo le kgonthišišo ka fase ga maemo a prompt a swanago bjalo ka ditekanyetšo tša motheo tša boleng.

• Spektramo ka moka sa multimodal: Ka go tšweletša le go kopanya VLM ya go lebelela maikemišetšo (cip-5-vision), mmotlolo wa tšhomišo ya multimodal wa bogolo bjo bogolo (ivy-4-mm), le mmotlolo wo bofefo wa on-device (ivy-3-text) sethaleng se tee, go a kgonega go kgetha kopanyo ye e loketšego dika tša mošomo (nyakišišo/peakanyo/kakaretšo kgahlanong le bohlaselatšwe/tlhalošo/phethagatšo).

Tirišo ya kgwebo

• Tšhireletšo le go hwetšagala ga on-premises: Tšhomišo ka gare ga netweke ye e tswaletšwego go tloga mathomong go fihla mafelelong (tseno-thuto tirelo-bekapo), tlhamo ya HA, katološo ya dimmojule, le SVCE (tikologo ya phethagatšo ye e arogantšwego ye e bolokegilego) di aroganya le go šireletša datha le dipharametara tša mmotlolo.
• Go amogelwa le katološwa ka pela: Ivy Chat (poledišano ya multimodal ya mošomo/moemedi) le API Platform (SaaS ya maemo a lefase ka bophara) di thekga tirišo le taolo ya ka pela.

Phapano ya AI ya mmeleng (Physical AI)

• Ka go kopanya kekišetšo ye e theilwego go NVIDIA Isaac le thuto ya matlafatšo ye e theilwego godimo ga tlhabologo (Evolutionary RL), le go diriša phetisetšo ya Sim2Real le thuto ya data ya maitirelo ka go bapelana, bokgoni bja thuto le go tlwaelana le lefelo la nnete di okeditšwe. Bokgoni bja go akaretša thuto le phatlalatšo ya dijithale le dirobothiki bo dira gore go hwetšagale tše dingwe tše di ka tšeelwago legato e be mo go sego bonolo.

Boleng bja tirelo le taolo

• Taolo ya diphetolelo tša dimotlolo/prompt/dithulusi, sutu ya kelo (tsebo ya maleme a Korea le Seisemane, mešomo ya diintaseteri ka go fapana, ditekanyetšo tša go akanya ga maaka le polokego), taolo ya diphetogo (SLO/SLA), le tlhokomelo ya tšhomišo (latency, seelo sa katlego, TCO) di laolwa ka ditshepedišo tša sethala se tee.

Ga bjale go na le dikhamphani tša ditirelo tša dimotlolo tša AI tše di fetago tše 300 ka Korea Borwa, eupša

Clevi ke yona e nnoši yeo e ka neago ditirelo tša on-premises le tša cloud ka nako e tee ka mmotlolo wa motheo wa yona wa maemo a godimo.

6. Ditsela tša go diriša dimotlolo tša polelo diintasetering

Ka ge go amogela AI go nyaka peeletšo e kgolo le netefatšo e tseneletšego, go bohlokwa go bapetša le go leka ditharollo ka boyena go bona ge e ba di tloga di hola kgwebo.

• Clevi ga e felele feela ka go hlama mehlala, eupša e fana ka ditharollo tša AI tšeo di ka dirišwago mafelong a kgwebo a nnete.
• Ka mohlala, e na le dikanale tša kgwebo tše di feletšego, go akaretša Ivy Chat Platform, Clevi API Platform, go rulaganywa ka go lebana le intasteri, le go fihlelela dinyakwa tša tšhireletšo.
• E na le bokgoni bja theknolotši bjo go lego thata go bo hwetša ka nageng le dinageng tša ka ntle, go akaretša AI ya mmele, diroboto le tshepedišo ya datha ya multimodal.

Clevi e fana ka ditharollo tša nnete tša AI tšeo di tsenyago letsogo go šoma gabotse ga mošomo le boitlhamelo bja intasteri, ka go tšea AI e le ‘sedirišwa’ e sego ‘morero’. Itemogele ka go lebanya phapano ya mmotlolo wa nnete wa From-scratch Foundation.

Dipotšišo le kgopelo ya demo: [email protected]

Tokelo ya kgatišo© 2025 Clevi Inc. Ditokelo ka moka di šireleditšwe.