From-scratch Foundation Model CLEVI AI(ivy)

“Sut y gallai cwmni bach greu model iaith AI enfawr o’r safon orau yn y byd?”

Sut y gwnaeth busnes newydd bach greu model iaith enfawr?

Dyma’r cwestiwn a ofynnwyd amlaf ar ôl i CLEVI gyhoeddi model Foundation ar raddfa o 1.4 triliwn o baramedrau.

Yn wahanol i lawer o gwmnïau sy’n mireinio modelau ffynhonnell agored yn unig, cyflawnodd CLEVI bob cam yn annibynnol, o gasglu data i ddylunio’r model, hyfforddiant gwasgaredig ar raddfa fawr, a dilysu ansawdd.

Isod, rydym yn cyflwyno’r gyfrinach y tu ôl i hyn a’r ffactorau sy’n rhoi mantais gystadleuol iddo yn fanwl.

1. Model iaith enfawr wedi’i greu gan gwmni bach?

Ym mis Gorffennaf 2025, pan gyhoeddodd CLEVI ei fodel iaith enfawr a ddatblygwyd yn fewnol i’r farchnad, cafodd nifer fawr o gwsmeriaid (defnyddwyr) eu synnu a’u llenwi ag amheuaeth. “Ai datblygiad mewnol ydyw mewn gwirionedd?” “Onid dim ond ychydig o newid i fodel ffynhonnell agored ydyw?”

Yn ymarferol, mae llawer o gwmnïau yn y wlad hon a thramor yn gwneud trosglwyddo dysgu (fine-tuning) syml ar fodelau ffynhonnell agored yn unig, ac yna’n eu marchnata fel eu modelau eu hunain.

Ond cyflwynodd CLEVI **‘From-scratch Foundation Model’**.

Hynny yw, dyluniodd a gweithredodd bob cam yn uniongyrchol, o gasglu data i ddylunio’r model, hyfforddiant gwasgaredig ar raddfa fawr, a dilysu ansawdd.

2. Pam mae datblygu model iaith enfawr yn anodd

Er mwyn hyfforddi From-Scratch Foundation Model, rhaid dysgu pob un o’r eitemau isod.

Mae angen set ddata fawr o ansawdd uchel

• Amrywiaeth: Sicrhau amrywiaeth o ran ieithoedd, parthau a fformatau (testun, delweddau ac ati)
• Puro: Dileu sŵn, rheoli ansawdd, a hidlo data dyblyg/niweidiol
• Trwyddedau: Egluro hawlfraint a hawliau defnyddio data

Seilwaith cyfrifiadurol ar raddfa fawr

• Clwstwr GPU/TPU perfformiad uchel: Integreiddio miloedd i ddegau o filoedd o nodau i gefnogi hyfforddiant gwasgaredig ar raddfa fawr
• Fframwaith hyfforddiant gwasgaredig effeithlon: DeepSpeed, Megatron-LM, Ray ac ati
• Storio/rhwydwaith: Mewnbwn ac allbwn data ar raddfa fawr, ac amgylchedd rhwydwaith cyflym

Dylunio pensaernïaeth y model

• Adlewyrchu’r bensaernïaeth ddiweddaraf: Transformer, MoE(Mixture of Experts), amlfoddoldeb ac ati
• Scalability: ystyried ehangu megis nifer y paramedrau, nifer yr haenau, hyd y mewnbwn ac ati
• Effeithlonrwydd: optimeiddio cyflymder hyfforddiant/rhesymu a’r defnydd o gof

Strategaethau ac algorithmau hyfforddi

• Nodau rhag-hyfforddiant: model iaith (e.e. next token prediction), amlfoddoldeb (e.e. contrastive learning) ac ati
• Technegau optimeiddio: mixed precision, gradient accumulation, learning rate schedule ac ati
• Normaleiddio/sefydlogi: dropout, layer norm, weight decay ac ati

Systemau gwerthuso a dilysu

• Setiau meincnod: defnyddio setiau data safonol (Benchmarks)
• Gwerthuso mewnol: gwerthuso yn seiliedig ar senarios defnydd go iawn
• Monitro parhaus: gwirio ansawdd, tuedd a diogelwch yn ystod ac ar ôl hyfforddiant

Gallu’r gweithlu a’r sefydliad

• Ymchwilwyr AI/ML: dylunio modelau, datblygu algorithmau
• Peirianwyr data: casglu/puro/rheoli data
• Peirianwyr seilwaith: systemau gwasgaredig, rheoli cwmwl/ar-safle
• Rheolwyr prosiect: rheoli amserlenni, cyllidebau ac ansawdd

Ystyriaethau moesegol, cyfreithiol a diogelwch

• Moeseg AI: tuedd, diogelwch, tryloywder, atebolrwydd
• Cydymffurfiaeth gyfreithiol: preifatrwydd, hawlfraint, sofraniaeth data
• Diogelwch: atal data/modelau rhag gollwng, rheoli mynediad

Ar hyn o bryd, mae tua 2,000 o ymchwilwyr AI ledled y byd, ac mae’r mwyafrif ohonynt wedi’u crynhoi mewn cwmnïau technoleg fawr fel META, Google a XAI. Ychydig iawn o dimau yn ddomestig sy’n gallu dylunio popeth yn uniongyrchol, o gasglu data i seilwaith hyfforddi ar raddfa fawr, a chreu model Foundation.

3. Creu model iaith enfawr gyda gweithlu bach.

Gan adeiladu ar fwy na 10 mlynedd o brofiad yn ymchwilio i ddysgu dwfn a dysgu peirianyddol, sefydlodd Lee Hwan-ho y cwmni (Clevi) dair blynedd yn ôl gyda’r nod o “greu’r AI gorau yn y byd”.

Drwy ddylunio’n uniongyrchol bob cam, gan gynnwys adeiladu piblinell ddata’r cwmni ei hun, dylunio seilwaith dysgu dwfn gwasgaredig ar raddfa fawr, datblygu pensaernïaeth modelau, a dilysu ansawdd, datblygodd y galluoedd angenrheidiol ar gyfer datblygu Foundation Model.

Ar ôl hyfforddi modelau sawl gwaith, mae bellach yn meddu ar fodel Clevi-5-x y gellir ei gymharu â’r modelau gorau yn y byd.

Er mwyn hyfforddi modelau iaith enfawr yn effeithiol, mae angen seilwaith sy’n cysylltu cannoedd i filoedd o GPUau mewn clwstwr, gan allu prosesu cyfrifiadau ar gyfradd o ddegau o quadriliynau yr eiliad ar yr un pryd. Yn y broses hon, mae technolegau sy’n lleihau oedi wrth gydamseru cyfrifiadau a chyfathrebu mewn amgylcheddau dosbarthedig ar raddfa fawr yn hanfodol. Hyd yn hyn, yn ddomestig, nid oedd gan y mwyafrif o gwmnïau “algorithmau rheoli manwl”, felly nid oeddent yn gallu hyfforddi modelau’n briodol. Drwy ddatblygu algorithm rheoli cyfrifiadura dosbarthedig unigryw o’r fath yn fewnol, llwyddodd Prif Swyddog Gweithredol Clevi, Lee Hwan-ho, i hyfforddi model iaith enfawr gyda 1.4 triliwn (1.4 Trillion) o baramedrau, y cyntaf o’i fath yn y wlad.

4. Y rheswm y gallai ddatblygu modelau amrywiol gyda nifer fach o ddatblygwyr

Mae gan y rhan fwyaf o gwmnïau technoleg fawr hefyd dechnolegau ar gyfer rheoli seilwaith ar raddfa fawr a mireinio data.

Mae angen cannoedd i filoedd o ymchwilwyr i’w rheoli.

Fodd bynnag, mae Clevi yn datblygu ac yn berchen ar fodelau amrywiol gyda nifer fach o ymchwilwyr.

Sut roedd hyn yn bosibl?

Drwy dechnoleg Teacher-Student Model(Knowledge Distilation), mae Clevi yn datblygu ac yn berchen ar fodelau amrywiol gyda nifer fach o staff.

Gadewch inni edrych ar dechnoleg Teacher-Student.

Teacher-Student(Distyllu gwybodaeth)

Yn syml, mae technoleg Teacher-Student yn defnyddio model iaith enfawr (Teacher Model) i werthuso a rhoi adborth ar fodelau plentyn (Student Model), gan alluogi datblygu modelau amrywiol yn gyflym gyda nifer fach o staff, gan ddisodli cannoedd o ymchwilwyr.

• Mae Mother Model(model enfawr) yn gwerthuso ac yn rhoi adborth ar fodelau mewn amrywiol feysydd, gan ddisodli cannoedd o ymchwilwyr.
• Pe bai hyfforddiant yn cael ei gynnal drwy Clevi-x-platform yn y modd hwn, gellid hyfforddi a defnyddio modelau perfformiad uchel fel Reasoning, VLM, Physical AI, Coding Agent ac eraill mewn 10–15 diwrnod.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Asiant diogelwch

5. Gwahaniaethu technoleg ac ansawdd Clevi-x-platform

Perfformiad ac estynadwyedd modelau

• Mantais rhesymu (CoT/Reasoning): Mae cip-5-x wedi’i ddylunio gan gynnwys datblygu rhesymeg fesul cam a chyflwyno sail resymegol yn ei athroniaeth ddylunio, gan ddangos gallu cyfrifiadurol a deongliadol dibynadwy iawn wrth ddatrys problemau gwyddonol, mathemategol ac injinerio. Yn seiliedig ar feincnodau mewnol, mae’n cael ei ddylunio a’i weithredu gyda’r nod o gyflawni lefel perfformiad GPT-5 neu uwch, tra bod atgynhyrchedd a dilysadwyedd o dan yr un amodau prydlon yn cael eu rheoli fel dangosyddion ansawdd craidd.

• Sbectrwm llawn amlfoddol: Gellir cynhyrchu a chyfuno VLM sy’n canolbwyntio ar nodau (cip-5-vision), model prosesu amlfoddol gallu mawr (ivy-4-mm), a model ysgafn ar y ddyfais (ivy-3-text) ar un platfform, gan alluogi’r cyfuniad gorau yn unol â nodweddion y dasg (chwilio/dosbarthu/crynhoi yn erbyn rhesymu/esbonio/gweithredu).

Cymhwysedd menter

• Diogelwch a manylder ar gael ar y safle: Gweithredu ar draws y rhwydwaith caeedig cyfan (mewnbwn–hyfforddiant–gwasanaeth–wrth gefn), dylunio HA, ehangu modiwlaidd, a gwahanu a diogelu data a pharamedrau modelau באמצעות SVCE (amgylchedd gweithredu diogel ynysig).
• Mabwysiadu ac ehangu cyflym: Mae Ivy Chat (sgwrsio amlfoddol/asiantau at ddibenion gwaith) ac API Platform (SaaS safonol byd-eang) yn cefnogi cymhwyso a gweithredu cyflym.

Gwahaniaethu AI ffisegol (Physical AI)

• Cyfunwyd efelychu yn seiliedig ar NVIDIA Isaac â dysgu atgyfnerthu esblygiadol (Evolutionary RL), gan wella effeithlonrwydd dysgu a gallu i addasu yn y maes drwy drosglwyddo Sim2Real a dysgu data synthetig cyfochrog. Mae’r ffaith ei fod yn cwmpasu popeth o ddysgu digidol a roboteg i’w ddefnyddio yn golygu mai prin yw’r dewisiadau amgen.

Ansawdd gwasanaeth a llywodraethu

• Mae rheoli fersiynau modelau/prydlonau/offer, cyfres werthuso (gwybodaeth yn iaith genedlaethol a Saesneg, tasgau fesul diwydiant, dangosyddion rhithweledigaethau a diogelwch), rheoli newidiadau (SLO/SLA), ac arsylwi gweithrediadau (latency, cyfradd llwyddiant, TCO) yn cael eu rheoli drwy weithdrefnau un platfform.

Ar hyn o bryd, mae mwy na thua 300 o gwmnïau gwasanaethau modelau AI yn bodoli yn y wlad, ond

CLEVI yw’r unig gwmni sy’n gallu darparu gwasanaethau ar y safle ac yn y cwmwl ar yr un pryd drwy fodel sylfaen perfformiad uchel unigryw.

6. Sut i ddefnyddio modelau iaith mewn diwydiannau

Gan fod mabwysiadu AI yn gofyn am fuddsoddiad enfawr a dilysu trylwyr, mae’r broses o gymharu a phrofi’n uniongyrchol a yw datrysiad yn wirioneddol ddefnyddiol i’r fenter yn hanfodol.

• Mae CLEVI yn mynd y tu hwnt i greu modelau yn unig, gan ddarparu atebion AI y gellir eu cymhwyso mewn meysydd diwydiannol go iawn.
• Er enghraifft, mae ganddi sianeli menter cyflawn, gan gynnwys Ivy Chat Platform, Clevi API Platform, addasu fesul diwydiant, a chydymffurfio â gofynion diogelwch.
• Mae ganddi alluoedd technolegol sy’n anodd eu canfod gartref neu dramor, gan gynnwys AI ffisegol, roboteg, a phrosesu data amlfoddol.

Mae CLEVI yn darparu atebion AI diriaethol sy’n cyfrannu at effeithlonrwydd gwaith go iawn ac arloesedd diwydiannol, gan drin AI fel ‘dull’ yn hytrach na ‘diben’. Profwch yn uniongyrchol wahaniaetholdeb model From-scratch Foundation go iawn.

Ymholiadau a cheisiadau am arddangosiad: [email protected]

Hawlfraint© 2025 Clevi Inc. Cedwir pob hawl.