From-scratch Foundation Model CLEVI AI(ivy)

“Kampuni ndogo iliwezaje kuunda modeli kubwa ya lugha ya AI yenye kiwango cha juu zaidi duniani?”

Jinsi kampuni ndogo changa ilivyounda modeli kubwa ya lugha?

Hili ndilo swali ambalo CLEVI imepokea mara nyingi zaidi tangu kutangaza Foundation model yenye ukubwa wa vigezo trilioni 1.4.

Tofauti na kampuni nyingi zinazofanya fine-tuning rahisi ya modeli za open source, CLEVI ilitekeleza kwa kujitegemea mchakato mzima, kuanzia ukusanyaji wa data, usanifu wa modeli, mafunzo makubwa yaliyosambazwa, hadi uthibitishaji wa ubora.

Hapa chini tunaeleza kwa kina siri na ushindani wake.

1. Kampuni ndogo inaweza kuunda modeli kubwa ya lugha?

Mnamo Julai 2025, CLEVI ilipotangaza sokoni modeli kubwa ya lugha iliyotengeneza yenyewe, wateja (watumiaji) wengi walishangaa na kuanza kujiuliza maswali. “Je, kweli imetengenezwa yenyewe?” “Je, si imebadilishwa kidogo tu kutoka kwa modeli ya open source?”

Kwa kweli, kampuni nyingi za ndani na za kimataifa mara nyingi hufanya tu mafunzo ya uhamishaji (fine-tuning) ya modeli za open source na kuitangaza kama modeli zao wenyewe.

Hata hivyo, CLEVI iliwasilisha **‘From-scratch Foundation Model’**.

Hii inamaanisha kuwa iliunda na kutekeleza moja kwa moja mchakato mzima, kuanzia ukusanyaji wa data, usanifu wa modeli, mafunzo makubwa yaliyosambazwa, hadi uthibitishaji wa ubora.

2. Sababu zinazofanya uundaji wa modeli kubwa ya lugha kuwa mgumu

Ili kufundisha From-Scratch Foundation Model, ni lazima kufundisha vipengele vyote vifuatavyo.

Seti kubwa ya data yenye ubora wa juu inahitajika

• Uanuwai: Kuhakikisha uanuwai wa lugha, vikoa na miundo (maandishi, picha, n.k.)
• Usafishaji: Kuondoa kelele, kudhibiti ubora, na kuchuja data iliyorudiwa/hatari
• Leseni: Kuweka wazi hakimiliki na haki za matumizi ya data

Miundombinu mikubwa ya kompyuta

• Nguzo ya GPU/TPU yenye utendaji wa juu: Teknolojia ya kuunganisha vifaa vya maelfu hadi makumi ya maelfu ya nodi ili kusaidia mafunzo makubwa yaliyosambazwa
• Mfumo bora wa mafunzo yaliyosambazwa: DeepSpeed, Megatron-LM, Ray, n.k.
• Hifadhi/mtandao: Uingizaji na utoaji wa data kubwa, pamoja na mazingira ya mtandao yenye kasi

Usanifu wa modeli

• Kuakisi usanifu wa kisasa: Transformer, MoE(Mixture of Experts), multimodal na kadhalika
• Uwezo wa kupanuka: Kuzingatia upanuzi wa idadi ya vigezo, idadi ya tabaka, urefu wa ingizo na kadhalika
• Ufanisi: Kuboresha kasi ya mafunzo/utambuzi na matumizi ya kumbukumbu

Mikakati na algoriti za mafunzo

• Malengo ya mafunzo ya awali: Miundo ya lugha (kwa mfano, next token prediction), multimodal (kwa mfano, contrastive learning) na kadhalika
• Mbinu za uboreshaji: mixed precision, gradient accumulation, learning rate schedule na kadhalika
• Urekebishaji/uthabiti: dropout, layer norm, weight decay na kadhalika

Mfumo wa tathmini na uthibitishaji

• Seti za vigezo: Kutumia seti za data za kawaida (Benchmarks)
• Tathmini ya ndani: Tathmini kulingana na matukio halisi ya matumizi
• Ufuatiliaji endelevu: Kukagua ubora, upendeleo na usalama wakati na baada ya mafunzo

Uwezo wa wafanyakazi na shirika

• Watafiti wa AI/ML: Usanifu wa miundo, uundaji wa algoriti
• Wahandisi wa data: Ukusanyaji/usafishaji/usimamizi wa data
• Wahandisi wa miundombinu: Mifumo iliyosambazwa, usimamizi wa cloud/on-premises
• Wasimamizi wa miradi: Usimamizi wa ratiba, bajeti na ubora

Mazingatio ya kimaadili, kisheria na kiusalama

• Maadili ya AI: Upendeleo, usalama, uwazi na uwajibikaji
• Uzingatiaji wa sheria: Faragha, hakimiliki na mamlaka ya data
• Usalama: Kuzuia kuvuja kwa data/miundo, udhibiti wa ufikiaji

Kwa sasa, idadi ya watafiti wa AI duniani kote ni takriban 2,000, na wengi wao wamejikita katika kampuni kubwa za teknolojia kama META, Google na XAI. Nchini Korea, ni nadra sana kupata timu inayoweza kubuni moja kwa moja kila kitu kuanzia ukusanyaji wa data hadi miundombinu ya mafunzo makubwa ili kuunda Foundation Model.

3. Kuunda modeli kubwa ya lugha kwa kutumia wafanyakazi wachache.

Mkurugenzi Mtendaji Lee Hwan-ho alianzisha kampuni (CLEVI) miaka 3 iliyopita akiwa na lengo la “kuunda AI bora zaidi duniani”, akitumia uzoefu wa zaidi ya miaka 10 wa kufanya utafiti katika deep learning na machine learning.

Kwa kubuni moja kwa moja michakato yote, ikiwemo ujenzi wa pipeline ya data ya kampuni yenyewe, usanifu wa miundombinu ya deep learning iliyosambazwa kwa kiwango kikubwa, uundaji wa usanifu wa modeli na uthibitishaji wa ubora, kampuni ilipata uwezo unaohitajika kwa ajili ya kuunda Foundation Model.

Baada ya mafunzo ya modeli mara kadhaa, sasa tuna modeli ya Clevi-5-x inayoweza kushindana na modeli bora zaidi duniani.

Ili kufundisha kwa ufanisi modeli kubwa za lugha, kunahitajika miundombinu inayounganisha mamia hadi maelfu ya GPU katika klasta ili iweze kushughulikia kwa wakati mmoja hesabu zinazofikia makumi ya quadrilioni kwa sekunde. Katika mchakato huu, teknolojia ya kusawazisha hesabu katika mazingira makubwa yaliyosambazwa na kupunguza ucheleweshaji wa mawasiliano ni muhimu. Hadi sasa, nchini Korea, kampuni nyingi hazikuweza kufundisha modeli ipasavyo kwa sababu hakukuwa na “algorithms za udhibiti wa usahihi”. Kwa kutengeneza ndani algorithm hii huru ya udhibiti wa hesabu zilizogawanywa, Mkurugenzi Mtendaji wa Clevi, Lee Hwan-ho, alifanikiwa kwa mara ya kwanza nchini Korea kufundisha modeli kubwa ya lugha yenye vigezo trilioni 1.4 (1.4 Trillion).

4. Sababu iliyowezesha kutengeneza modeli mbalimbali kwa idadi ndogo ya watengenezaji

Hata kampuni nyingi za big tech zina teknolojia za kudhibiti miundombinu mikubwa na kusafisha data.

Ili kuisimamia, kunahitajika mamia hadi maelfu ya watafiti.

Hata hivyo, Clevi hutengeneza na kumiliki modeli mbalimbali kwa idadi ndogo ya watafiti.

Iliwezekanaje?

Clevi hutengeneza na kumiliki modeli mbalimbali kwa idadi ndogo ya wafanyakazi kupitia teknolojia ya Teacher-Student Model(Knowledge Distilation).

Basi, hebu tuchunguze teknolojia ya Teacher-Student.

Teacher-Student(Uyeyushaji wa maarifa)

Kwa ufupi, teknolojia ya Teacher-Student hutumia modeli kubwa ya lugha (Teacher Model) kutathmini na kutoa mrejesho kwa modeli ya mwanafunzi (Student Model), hivyo kuwezesha kutengeneza kwa haraka modeli mbalimbali kwa idadi ndogo ya wafanyakazi, badala ya mamia ya watafiti.

• Mother Model(modeli kubwa sana) hutathmini na kutoa mrejesho kwa modeli za nyanja mbalimbali, na kuchukua nafasi ya mamia ya watafiti.
• Kwa kuendesha mafunzo kwa njia hii kupitia Clevi-x-platform, modeli zenye utendaji wa juu kama Reasoning, VLM, Physical AI, Coding Agent na nyinginezo zinaweza kufundishwa na kutumwa ndani ya siku 10–15.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Modeli ya Lugha ya Maono

Wakala wa usalama

5. Tofauti za kiteknolojia na ubora za Clevi-x-platform

Utendaji na upanuzi wa modeli

• Ubora katika uelekezaji (CoT/Reasoning): cip-5-x imejumuisha uendelezaji wa mantiki hatua kwa hatua na uwasilishaji wa hoja katika falsafa yake ya usanifu, na inaonyesha uwezo wa kuhesabu na kutafsiri kwa kutegemewa kwa kiwango cha juu katika utatuzi wa matatizo ya kisayansi, kihisabati na kihandisi. Inasanifiwa na kuendeshwa kwa lengo la kufikia uwezo wa utendaji wa kiwango cha GPT-5 au zaidi kwa kuzingatia vigezo vya ndani vya tathmini, huku udhihirishwaji na uthibitishwaji chini ya masharti ya kidokezo sawa ukisimamiwa kama viashiria muhimu vya ubora.

• Wigo kamili wa multimodality: VLM yenye mwelekeo wa malengo (cip-5-vision), modeli ya uchakataji wa multimodality yenye uwezo mkubwa (ivy-4-mm), na modeli nyepesi ya kwenye kifaa (ivy-3-text) huzalishwa na kuunganishwa kwenye jukwaa moja, hivyo kuwezesha mchanganyiko bora unaolingana na sifa za kazi (utafutaji/uainishaji/muhtasari dhidi ya uelekezaji/maelezo/utekelezaji).

Uwezo wa matumizi ya kibiashara

• Usalama na upatikanaji wa on-premises: Uendeshaji ndani ya mtandao uliofungwa katika hatua zote (uingizaji-mafunzo-huduma-chelezo), usanifu wa HA, upanuzi wa moduli, na SVCE(mazingira salama ya utekelezaji yaliyotengwa) hutenganisha na kulinda data pamoja na vigezo vya modeli.
• Utumiaji na upanuzi wa haraka: Ivy Chat (mazungumzo/mawakala ya multimodality kwa kazi), API Platform (SaaS ya kiwango cha kimataifa) huwezesha utumiaji na uendeshaji wa haraka.

Tofauti za Physical AI

• Kwa kuunganisha uigaji unaotegemea NVIDIA Isaac na ujifunzaji wa kuimarisha unaotegemea mageuzi (Evolutionary RL), pamoja na uhamishaji wa Sim2Real na mafunzo sambamba kwa data sintetiki, ufanisi wa mafunzo na uwezo wa kuzoea mazingira ya kazi umeboreshwa. Uwezo wa kushughulikia kila kitu kuanzia ujifunzaji wa dijitali na roboti hadi uwekaji wa mfumo ni nadra miongoni mwa mbadala.

Ubora wa huduma na utawala

• Udhibiti wa matoleo ya modeli/kidokezo/zana, seti ya tathmini (maarifa ya Kikorea na Kiingereza, kazi za kila sekta, viashiria vya maono ya uongo na usalama), usimamizi wa mabadiliko (SLO/SLA), na ufuatiliaji wa uendeshaji (ucheleweshaji kiwango cha mafanikio TCO) husimamiwa kupitia taratibu za jukwaa moja.

Kwa sasa, kuna zaidi ya kampuni 300 za huduma za modeli za AI nchini Korea Kusini, lakini

Clevi ndiyo kampuni pekee inayoweza kutoa kwa wakati mmoja huduma za on-premises na za wingu kupitia modeli zake za msingi zenye utendaji wa juu.

6. Jinsi ya kutumia modeli za lugha katika sekta

Kwa kuwa kupitishwa kwa AI kunahitaji uwekezaji mkubwa na uthibitishaji wa kina, ni muhimu kulinganisha na kujaribu suluhisho moja kwa moja ili kuthibitisha kama linasaidia kweli biashara.

• CLEVI haitengenezi mifano pekee, bali hutoa suluhisho za AI zinazoweza kutumika katika mazingira halisi ya viwanda.
• Kwa mfano, imekamilisha chaneli za biashara, zikiwemo Ivy Chat Platform, Clevi API Platform, ubinafsishaji kwa kila sekta, na kukidhi mahitaji ya usalama.
• Ina uwezo wa kiteknolojia ambao ni nadra kupatikana nchini na kimataifa, ukiwemo AI ya kimwili, roboti, na uchakataji wa data za aina nyingi.

CLEVI hutoa suluhisho halisi za AI zinazochangia ufanisi wa kazi na uvumbuzi wa viwanda, huku ikichukulia AI kama ‘njia’ na si ‘lengo’. Jionee moja kwa moja utofauti wa modeli ya kweli ya From-scratch Foundation.

Mawasiliano na maombi ya onyesho: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.