Mudell Fundamentali mibni mill-bidu klrebi AI(ivy)

“Kif setgħet kumpanija żgħira toħloq mudell lingwistiku ġenerattiv tal-AI fuq skala enormi tal-ogħla livell fid-dinja?”

Kif startup żgħira ħolqot mudell lingwistiku fuq skala enormi?

Din hija l-iktar mistoqsija li rċeviet klrebi minn meta ppubblikat il-mudell Fundamentali tagħha ta’ skala ta’ 1.4 triljun parametru.

B’differenza minn ħafna kumpaniji li sempliċement jagħmlu rfinar ta’ mudelli open source, klrebi wettqet b’mod indipendenti l-proċess kollu, mill-ġbir tad-dejta, id-disinn tal-mudell, it-taħriġ distribwit fuq skala kbira, sal-verifika tal-kwalità.

Hawn taħt nippreżentaw fid-dettall is-sigriet u l-vantaġġ kompetittiv tagħha.

1. Kumpanija żgħira tista’ toħloq mudell lingwistiku fuq skala enormi?

F’Lulju 2025, meta klrebi ppubblikat fis-suq il-mudell lingwistiku tagħha fuq skala enormi żviluppat internament, bosta klijenti (utenti) inħasdu u bdew jistaqsu b’kurżità u dubju. “Huwa verament żviluppat internament?” “Mhux sempliċement biddlu ftit mudell open source?”

Fil-fatt, ħafna kumpaniji fil-Korea t’Isfel u barra minnha sempliċement jagħmlu trasferiment tat-tagħlim (fine-tuning) fuq mudelli open source u jippromwovuhom bħala l-mudelli tagħhom stess.

Madankollu, klrebi enfasizzat il-**‘Mudell Fundamentali mibni mill-bidu’**.

Fi kliem ieħor, iddisinjat u wettaq direttament il-proċess kollu, mill-ġbir tad-dejta, id-disinn tal-mudell, it-taħriġ distribwit fuq skala kbira, sal-verifika tal-kwalità.

2. Għaliex huwa diffiċli li jiġi żviluppat mudell lingwistiku fuq skala enormi

Sabiex jitħarreġ Mudell Fundamentali mibni mill-bidu, għandhom jiġu indirizzati l-elementi kollha li ġejjin.

Huwa meħtieġ sett ta’ dejta kbir u ta’ kwalità għolja

• Diversità: jiġi żgurat li jkun hemm diversità fil-lingwi, fid-dominji u fil-formati (test, immaġni, eċċ.)
• Tindif: jitneħħa l-istorbju, tiġi kkontrollata l-kwalità, u jiġu ffiltrati dejta duplikata/ta’ ħsara
• Liċenzji: jiġu ċċarati d-drittijiet tal-awtur u d-drittijiet għall-użu tad-dejta

Infrastruttura tal-komputazzjoni fuq skala kbira

• Klasters ta’ GPU/TPU ta’ prestazzjoni għolja: teknoloġija li tintegra eluf sa għexieren ta’ eluf ta’ nodi biex tappoġġja taħriġ distribwit fuq skala kbira
• Qafas effiċjenti għat-taħriġ distribwit: DeepSpeed, Megatron-LM, Ray, eċċ.
• Ħażna/netwerk: input u output ta’ volumi kbar ta’ dejta u ambjent ta’ netwerk veloċi

Disinn tal-arkitettura tal-mudell

• Arkitettura aġġornata: Transformer, MoE(Mixture of Experts), multimodali, eċċ.
• Skalabbiltà: jitqiesu l-espansjoni tan-numru ta’ parametri, saffi, tul tal-input, eċċ.
• Effiċjenza: ottimizzazzjoni tal-veloċità tat-taħriġ u tal-inferenza, kif ukoll tal-użu tal-memorja

Strateġiji u algoritmi tat-taħriġ

• Għanijiet tal-pretraining: mudelli tal-lingwa (eż. next token prediction), multimodali (eż. contrastive learning), eċċ.
• Tekniki ta’ ottimizzazzjoni: mixed precision, gradient accumulation, learning rate schedule, eċċ.
• Normalizzazzjoni/stabbilizzazzjoni: dropout, layer norm, weight decay, eċċ.

Sistema ta’ evalwazzjoni u validazzjoni

• Settijiet ta’ benchmark: l-użu ta’ settijiet ta’ data standard (Benchmarks)
• Evalwazzjoni interna: evalwazzjoni bbażata fuq xenarji ta’ użu reali
• Monitoraġġ kontinwu: verifika tal-kwalità, il-preġudizzju u s-sikurezza matul u wara t-taħriġ

Kapaċità tal-persunal u tal-organizzazzjoni

• Riċerkaturi tal-AI/ML: disinn tal-mudelli, żvilupp tal-algoritmi
• Inġiniera tad-data: ġbir, tindif u ġestjoni tad-data
• Inġiniera tal-infrastruttura: sistemi distribwiti, ġestjoni tal-cloud/on-premises
• Maniġers tal-proġetti: ġestjoni tal-iskeda, tal-baġit u tal-kwalità

Kunsiderazzjonijiet etiċi, legali u ta’ sigurtà

• Etika tal-AI: preġudizzju, sikurezza, trasparenza u responsabbiltà
• Konformità legali: privatezza, drittijiet tal-awtur u sovranità tad-data
• Sigurtà: prevenzjoni tat-tnixxija tad-data u tal-mudelli, kontroll tal-aċċess

Bħalissa, in-numru ta’ riċerkaturi tal-AI madwar id-dinja huwa ta’ madwar 2,000 persuna, u anke dawn huma fil-biċċa l-kbira kkonċentrati f’kumpaniji kbar tat-teknoloġija bħal META, Google u XAI. Fil-Korea, it-timijiet li jistgħu jiddisinjaw direttament kollox, mill-ġbir tad-data sal-infrastruttura tat-taħriġ fuq skala kbira, u joħolqu mudell Foundation huma estremament rari.

3. Il-ħolqien ta’ mudell tal-lingwa fuq skala enormi b’numru żgħir ta’ persunal.

Ibbażat fuq aktar minn 10 snin ta’ esperjenza fir-riċerka dwar it-deep learning u l-machine learning, tliet snin ilu Lee Hwan-ho waqqaf il-kumpanija (CLEVI) bil-għan li “joħloq l-aqwa AI fid-dinja”.

Billi ddisinja direttament il-proċessi kollha meħtieġa għall-iżvilupp ta’ mudell Foundation, inkluż il-bini tal-pipeline tad-data tal-kumpanija stess, id-disinn ta’ infrastruttura ta’ deep learning distribwita fuq skala kbira, l-iżvilupp tal-arkitettura tal-mudell u l-validazzjoni tal-kwalità, il-kumpanija kisbet il-kapaċitajiet meħtieġa.

B’riżultat ta’ diversi ċikli ta’ taħriġ tal-mudell, issa għandna l-mudell Clevi-5-x, li jista’ jikkompeti mal-mudelli tal-ogħla livell fid-dinja.

Biex jitħarrġu b’mod effettiv mudelli lingwistiċi enormi, hija meħtieġa infrastruttura li tgħaqqad mijiet sa eluf ta’ GPUs fi cluster, sabiex tipproċessa simultanjament għexieren ta’ kwadriljuni ta’ operazzjonijiet kull sekonda. F’dan il-proċess, it-teknoloġija li timminimizza s-sinkronizzazzjoni tal-komputazzjoni u d-dewmien fil-komunikazzjoni f’ambjenti distribwiti fuq skala kbira hija essenzjali. Sa issa, fil-Korea t’Isfel, il-biċċa l-kbira tal-kumpaniji ma setgħux iħarrġu l-mudelli kif suppost minħabba n-nuqqas ta’ “algoritmi ta’ kontroll preċiż”. Permezz tal-iżvilupp intern ta’ algoritmu proprjetarju ta’ kontroll tal-komputazzjoni distribwita, il-Kap Eżekuttiv ta’ Clevi, Lee Hwan-ho, irnexxielu jħarreġ b’suċċess l-ewwel mudell lingwistiku enormi fil-Korea t’Isfel fuq skala ta’ 1.4 triljun (1.4 Trillion) parametri.

4. Ir-raġuni għaliex kien possibbli li jiġu żviluppati diversi mudelli b’numru żgħir ta’ żviluppaturi

Anki l-biċċa l-kbira tal-kumpaniji big tech għandhom teknoloġiji għall-kontroll ta’ infrastruttura fuq skala kbira u għar-raffinar tad-data.

Biex dawn jiġu amministrati, huma meħtieġa mijiet sa eluf ta’ riċerkaturi.

Madankollu, Clevi tiżviluppa u għandha diversi mudelli b’numru żgħir ta’ riċerkaturi.

Kif kien possibbli?

Permezz tat-teknoloġija Teacher-Student Model(Knowledge Distilation), Clevi tiżviluppa u għandha diversi mudelli b’numru żgħir ta’ persunal.

Issa ejjew nagħtu ħarsa lejn it-teknoloġija Teacher-Student.

Teacher-Student (distillazzjoni tal-għarfien)

It-teknoloġija Teacher-Student hija, fi kliem sempliċi, teknoloġija li tevalwa u tagħti feedback lill-mudell dixxiplu (Student Model) permezz tal-mudell lingwistiku enormi (Teacher Model), u b’hekk tiżviluppa malajr diversi mudelli b’numru żgħir ta’ persunal, filwaqt li tissostitwixxi mijiet ta’ riċerkaturi.

• Il-Mother Model (mudell enormi) jevalwa u jagħti feedback lill-mudelli f’diversi oqsma, u jissostitwixxi mijiet ta’ riċerkaturi.
• Jekk it-taħriġ isir b’dan il-mod permezz ta’ Clevi-x-platform, mudelli ta’ prestazzjoni għolja bħal Reasoning, VLM, Physical AI u Coding Agent jistgħu jitħarrġu u jiġu skjerati fi żmien 10–15-il jum.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Aġent tas-sigurtà

5. Id-distinzjoni teknoloġika u kwalitattiva ta’ Clevi-x-platform

Prestazzjoni u skalabbiltà tal-mudell

• Vantaġġ fl-inferenza (CoT/Reasoning): cip-5-x jinkludi l-iżvilupp loġiku pass pass u l-preżentazzjoni tal-bażi bħala parti mill-filosofija tad-disinn tiegħu, u juri kapaċità ta’ kalkolu u interpretazzjoni b’affidabbiltà għolja fis-soluzzjoni ta’ problemi xjentifiċi, matematiċi u tal-inġinerija. Abbażi ta’ benchmarks interni, qed jiġi ddisinjat u operat bil-għan li jikseb kapaċitajiet ta’ prestazzjoni fil-livell ta’ GPT-5 jew ogħla, filwaqt li r-riproduċibbiltà u l-verifikabbiltà taħt l-istess kundizzjonijiet tal-prompt huma ġestiti bħala indikaturi ewlenin tal-kwalità.

• L-ispettru sħiħ multimodali: billi jipproduċi u jgħaqqad VLM orjentat lejn l-għanijiet (cip-5-vision), mudell ta’ pproċessar multimodali ta’ kapaċità kbira (ivy-4-mm), u mudell ħafif fuq it-tagħmir (ivy-3-text) fuq pjattaforma waħda, huwa possibbli li tinkiseb kombinazzjoni ottimali skont il-karatteristiċi tal-kompitu (tfittxija/klassifikazzjoni/sommarju vs. inferenza/spjegazzjoni/eżekuzzjoni).

Applikabbiltà għall-intrapriżi

• Sigurtà u disponibbiltà on-premises: operazzjoni fi ħdan in-netwerk magħluq kollu (input-taħriġ-servizz-backup), disinn HA, espansjoni modulari, u separazzjoni u protezzjoni tad-dejta u tal-parametri tal-mudell permezz ta’ SVCE (ambjent iżolat ta’ eżekuzzjoni sikura).
• Adozzjoni u espansjoni rapidi: Ivy Chat (konversazzjoni/agent multimodali għax-xogħol) u API Platform (SaaS standard globali) jappoġġjaw applikazzjoni u operazzjoni rapidi.

Distinzjoni tal-AI fiżika (Physical AI)

• Il-kombinazzjoni ta’ simulazzjoni bbażata fuq NVIDIA Isaac u tagħlim ta’ rinfurzar ibbażat fuq l-evoluzzjoni (Evolutionary RL), flimkien ma’ trasferiment Sim2Real u taħriġ parallel b’dejta sintetika, tejbet l-effiċjenza tat-taħriġ u l-adattabilità fuq il-post. Huwa rari li alternattiva tkopri l-katina kollha mit-tagħlim diġitali u r-robotika sal-iskjerament.

Kwalità tas-servizz u governanza

• Il-verżjoni tal-mudelli/prompts/għodod, is-suite ta’ evalwazzjoni (għarfien bil-Korean u bl-Ingliż, kompiti skont l-industrija, indikaturi tal-alluċinazzjonijiet u tas-sikurezza), il-ġestjoni tal-bidliet (SLO/SLA), u l-osservabbiltà operattiva (latenza/rat ta’ suċċess/TCO) huma ġestiti permezz ta’ proċeduri ta’ pjattaforma unika.

Bħalissa, fil-Korea t’Isfel hemm aktar minn madwar 300 kumpanija li tipprovdi servizzi ta’ mudelli tal-AI, iżda

CLEVI hija l-unika kumpanija li tista’ tipprovdi simultanjament servizzi on-premises u cloud permezz ta’ mudell fundamentali proprjetarju ta’ prestazzjoni għolja.

6. Modi kif il-mudelli lingwistiċi jintużaw fl-industrija

Peress li l-adozzjoni tal-IA teħtieġ investiment sostanzjali u verifika bir-reqqa, huwa essenzjali li s-soluzzjonijiet jiġu mqabbla u ttestjati direttament biex jiġi ddeterminat jekk verament jgħinux lill-intrapriżi.

• CLEVI ma tieqafx sempliċement fil-ħolqien ta’ mudelli, iżda tipprovdi soluzzjonijiet tal-IA applikabbli f’ambjenti industrijali reali.
• Pereżempju, għandha kanali għall-intrapriżi kompluti, inklużi Ivy Chat Platform, Clevi API Platform, personalizzazzjoni skont l-industrija u konformità mar-rekwiżiti tas-sigurtà.
• Għandha kapaċitajiet teknoloġiċi diffiċli biex jinstabu fil-pajjiż u barra minnu, inklużi l-IA fiżika, ir-robotika u l-ipproċessar tad-dejta multimodali.

CLEVI tipprovdi soluzzjonijiet konkreti tal-IA li jikkontribwixxu għall-effiċjenza reali tax-xogħol u għall-innovazzjoni industrijali, billi tqis l-IA bħala ‘mezz’ u mhux bħala ‘għan’. Esperjenza direttament id-differenza ta’ mudell Foundation From-scratch veru.

Talbiet għal informazzjoni u demo: [email protected]

Copyright© 2025 Clevi Inc. Id-drittijiet kollha riżervati.