From-scratch Foundation Model CLEVI AI(ivy)

“Ciamar a b’ urrainn do chompanaidh bheag modail cànain AI mòr, aig ìre den fheadhainn as fheàrr san t-saoghal, a chruthachadh?”

Ciamar a chruthaich companaidh tòiseachaidh bheag modail cànain mòr?

’S e seo a’ cheist a fhuair CLEVI na bu trice às dèidh dha modail Foundation le 1.4 trillean paramadair fhoillseachadh.

Eu-coltach ri mòran chompanaidhean a bhios dìreach a’ dèanamh fine-tuning air modalan open source, rinn CLEVI gach ceum gu neo-eisimeileach, bho chruinneachadh dàta agus dealbhadh a’ mhodail gu ionnsachadh mòr-sgèile sgaoilte agus dearbhadh càileachd.

Gu h-ìosal, bheir sinn mìneachadh mionaideach air na dìomhaireachdan agus na buannachdan farpaiseach sin.

1. Companaidh bheag a’ cruthachadh modail cànain mòr?

Nuair a chuir CLEVI am modail cànain mòr a leasaich e fhèin air a’ mhargaidh san Iuchar 2025, bha mòran luchd-ceannach (luchd-cleachdaidh) air an iongnadh agus teagmhach. “An e leasachadh fhèin a th’ ann dha-rìribh?” “Nach eil e dìreach air modal open source atharrachadh beagan?”

Gu dearbh, bidh mòran chompanaidhean aig an taigh agus thall thairis dìreach a’ dèanamh transfer learning (fine-tuning) air modalan open source agus gan adhartachadh mar na modalan aca fhèin.

Ach chuir CLEVI cuideam air **‘From-scratch Foundation Model’**.

Is e sin, dhealbhaich agus chuir e gach ceum an gnìomh gu dìreach, bho chruinneachadh dàta agus dealbhadh a’ mhodail gu ionnsachadh mòr-sgèile sgaoilte agus dearbhadh càileachd.

2. Carson a tha leasachadh mhodalan cànain mòra duilich

Gus From-Scratch Foundation Model ionnsachadh, feumar na nithean gu h-ìosal uile ionnsachadh.

Tha feum air seata dàta mòr de chàileachd àrd

• Iomadachd: dèanamh cinnteach à iomadachd ann an cànanan, raointean agus chruthan (teacsa, ìomhaighean, msaa)
• Glanadh: toirt air falbh fuaim, riaghladh càileachd, agus sìoladh dàta dùblaichte/cronail
• Ceadachas: soilleireachadh chòraichean-lethbhreac agus chòraichean cleachdaidh dàta

Bun-structar coimpiutaireachd mòr-sgèile

• Clàstair GPU/TPU àrd-choileanaidh: teicneòlas gus uidheamachd le mìltean gu deichean mhìltean de nodan aonachadh agus taic a thoirt do ionnsachadh sgaoilte mòr
• Frèam èifeachdach airson ionnsachadh sgaoilte: DeepSpeed, Megatron-LM, Ray agus feadhainn eile
• Stòradh/lìonra: I/O dàta mòr agus àrainneachd lìonra luath

Dealbhadh ailtireachd a’ mhodail

• A’ nochdadh nan structaran as ùire: Transformer, MoE (Mixture of Experts), ioma-mhodalan agus eile
• Sgèileadh: A’ beachdachadh air leudachd leithid àireamh nam paramadairean, àireamh nan sreathan, fad an in-chuir agus eile
• Èifeachdas: A’ dèanamh feum as fheàrr de astar trèanaidh/cho-dhùnaidhean agus cleachdadh cuimhne

Ro-innleachdan trèanaidh agus algairimean

• Amasan ro-thrèanaidh: Modail cànain (m.e. ro-innse an ath chomharradh), ioma-mhodalan (m.e. ionnsachadh coimeasach) agus eile
• Dòighean leasachaidhe: mixed precision, gradient accumulation, learning rate schedule agus eile
• Gnàthachadh/daingneachadh: dropout, layer norm, weight decay agus eile

Siostam measaidh agus dearbhaidh

• Seataichean slat-tomhais: A’ cleachdadh sheataichean-dàta àbhaisteach (Benchmarks)
• Measadh taobh a-staigh: Measadh stèidhichte air suidheachaidhean cleachdaidh fìor
• Sgrùdadh leantainneach: A’ sgrùdadh càileachd, claonadh agus sàbhailteachd rè agus às dèidh trèanaidh

Comas luchd-obrach agus na buidhne

• Rannsachairean AI/ML: Dealbhadh mhodalan agus leasachadh algairimean
• Innleadairean dàta: Cruinneachadh, glanadh agus riaghladh dàta
• Innleadairean bun-structair: Siostaman sgaoilte agus riaghladh neòil/air-thogalach
• Manaidsearan phròiseactan: Riaghladh chlàran-ama, bhuidseatan agus càileachd

Beachdachaidhean beusanta, laghail agus tèarainteachd

• Beusachd AI: Claonadh, sàbhailteachd, follaiseachd agus cunntachalachd
• Gèilleadh laghail: Prìobhaideachd, dlighe-sgrìobhaidh agus uachdranas dàta
• Tèarainteachd: Bacadh air aodion dàta/mhodalan agus smachd inntrigidh

An-dràsta, tha mu 2,000 neach-rannsachaidh AI air feadh an t-saoghail, agus tha a’ mhòr-chuid dhiubh cruinnichte ann an companaidhean mòra teicneòlais leithid META, Google agus XAI. Ann an Coirèa a Deas, tha sgiobaidhean a tha comasach air modal Foundation a chruthachadh le bhith a’ dealbhadh gach nì iad fhèin, bho chruinneachadh dàta gu bun-structar trèanaidh mòr-sgèile, glè ainneamh.

3. A’ cruthachadh modail cànain mòr le sgioba bheag.

Stèidhich Ceannard Clevi, Lee Hwan-ho, a’ chompanaidh (Clevi) o chionn trì bliadhna leis an amas “an AI as fheàrr san t-saoghal a chruthachadh”, stèidhichte air còrr is 10 bliadhna de eòlas ann an rannsachadh ionnsachadh domhainn agus ionnsachadh innealan.

Le bhith a’ dealbhadh gach pròiseas gu dìreach e fhèin, a’ gabhail a-steach togail loidhne-phìoban dàta na companaidh fhèin, dealbhadh bun-structair ionnsachaidh domhainn mòr-sgèile sgaoilte, leasachadh ailtireachd mhodalan agus dearbhadh càileachd, fhuair e na comasan a tha riatanach airson modal Foundation a leasachadh.

Às dèidh grunn chuairtean de thrèanadh mhodalan, tha modal Clevi-5-x aig a’ chompanaidh a-nis a tha comasach air farpais ris na modailean aig an ìre as fheàrr san t-saoghal.

Gus modalan cànain air leth mòr a thrèanadh gu h-èifeachdach, tha feum air bun-structar a cheanglas bho cheudan gu mìltean de GPUan ann an cruinneachadh, gus obrachaidhean a phròiseasadh aig an aon àm aig ìre suas ri deichean de cheithir-cheàrnachan obrachaidh gach diog. Anns a’ phròiseas seo, tha teicneòlasan a lùghdaicheas sioncronadh obrachaidh agus dàil conaltraidh ann an àrainneachdan sgaoilte mòra deatamach. Gu ruige seo, cha robh a’ mhòr-chuid de chompanaidhean ann an Coirèa comasach air modalan a thrèanadh gu ceart air sgàth dìth “algairim smachd mionaideach”. Le bhith a’ leasachadh an algairim smachd obrachaidhean sgaoilte shònraichte seo gu neo-eisimeileach, shoirbhich le Ceannard Clevi, Lee Hwan-ho, le bhith a’ trèanadh a’ chiad mhodail cànain air leth mòr ann an Coirèa le 1.4 trillean (1.4 Trillion) paramadairean.

4. Carson a bha e comasach diofar mhodalan a leasachadh le sgioba bheag de luchd-leasachaidh

Tha bun-structar mòr-smachd agus teicneòlas glanaidh dàta aig a’ mhòr-chuid de chompanaidhean teicneòlais mòra cuideachd.

Tha feum air ceudan gu mìltean de luchd-rannsachaidh gus seo a stiùireadh.

Ach, tha Clevi air diofar mhodalan a leasachadh agus a chumail le sgioba bheag de luchd-rannsachaidh.

Ciamar a bha seo comasach?

Le teicneòlas Teacher-Student Model(Knowledge Distilation), tha Clevi air diofar mhodalan a leasachadh agus a chumail le sgioba bheag de luchd-obrach, a’ dol an àite ceudan de luchd-rannsachaidh.

A-nis, thoiribh sùil air teicneòlas Teacher-Student.

Teacher-Student (grùdaireachd eòlais)

Ann an teirmean sìmplidh, ’s e teicneòlas a th’ ann an Teacher-Student a bhios a’ measadh agus a’ toirt fios-air-ais don mhodal chloinne (Student Model) tro mhodal cànain air leth mòr (Teacher Model), a’ toirt cothrom do sgioba bheag de luchd-obrach na ceudan de luchd-rannsachaidh a chur nan àite agus diofar mhodalan a leasachadh gu luath.

• Bidh Mother Model (modal air leth mòr) a’ measadh agus a’ toirt fios-air-ais do mhodalan ann an diofar raointean, a’ dol an àite nan ceudan de luchd-rannsachaidh.
• Ma thèid trèanadh a dhèanamh san dòigh seo tro Clevi-x-platform, faodar modalan àrd-choileanaidh leithid Reasoning, VLM, Physical AI agus Coding Agent a thrèanadh agus a sgaoileadh ann an dìreach 10–15 latha.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Àidseant tèarainteachd

5. Sònrachas teicneòlais agus càileachd Clevi-x-platform

Coileanadh agus leudachail a’ mhodail

• Sàr-mhathas ann an reusanachadh (CoT/Reasoning): Tha cip-5-x air a dhealbhadh le leasachadh loidsigeach ceum air cheum agus taisbeanadh fianais mar phàirt de fheallsanachd an dealbhaidh, agus tha e a’ nochdadh comas àrd-earbsach ann an àireamhachadh agus mìneachadh airson fuasgladh dhuilgheadasan saidheansail, matamataigeach agus innleadaireachd. A rèir slatan-tomhais dheuchainnean in-thaigheil, tha e ga dhealbhadh agus ga ruith leis an amas ìre coileanaidh co-ionann ri no nas àirde na GPT-5 a choileanadh, agus tha ath-riochdachadh agus dearbhadh fo na h-aon chumhachan brosnachaidh air an riaghladh mar phrìomh chomharran càileachd.

• An speactram iomlan ioma-mhodhail: Le bhith a’ dèanamh agus a’ cothlamadh VLM stèidhichte air adhbhar (cip-5-vision), modail giullachd ioma-mhodhail mòr (ivy-4-mm), agus modail aotrom air-inneal (ivy-3-text) air aon àrd-ùrlar, tha e comasach an cothlamadh as fheàrr a thaghadh a rèir feartan na h-obrach (lorg/seòrsachadh/geàrr-chunntas an aghaidh reusanachadh/mìneachadh/coileanadh).

Freagarrachd airson iomairtean

• Tèarainteachd is ruigsinneachd on-premises: Obrachadh tron t-sreath iomlan ann an lìonra dùinte (cur a-steach-trèanadh-seirbheis-cùl-taic), dealbhadh HA, leudachadh modular, agus SVCE(àrainneachd cur an gnìomh sàbhailte iomallach) a’ dìon dàta agus paramadairean a’ mhodail le bhith gan sgaradh.
• Cur an gnìomh is leudachadh luath: Tha Ivy Chat(còmhradh ioma-mhodhail/àidseant airson obair), agus API Platform(SaaS aig ìre cruinne) a’ toirt taic do chur an gnìomh agus obrachadh luath.

Eadar-dhealachadh Physical AI

• Le bhith a’ cothlamadh atharrais stèidhichte air NVIDIA Isaac agus ionnsachadh neartachaidh stèidhichte air mean-fhàs (Evolutionary RL), còmhla ri gluasad Sim2Real agus ionnsachadh co-shìnte le dàta synthetach, chaidh èifeachdas ionnsachaidh agus comas atharrachaidh san raon àrdachadh. Tha còmhdach bho ionnsachadh didseatach-robotach gu cleachdadh na neart nach eil mòran roghainnean eile a’ tabhann.

Càileachd seirbheis agus riaghladh

• Tha smachd air dreachan mhodalan/brosnachaidhean/innealan, an deuchainn-mheasadh (eòlas ann an Coirèanais agus Beurla, gnìomhan a rèir gnìomhachais, comharran hallucination agus sàbhailteachd), riaghladh atharrachaidh (SLO/SLA), agus amharc obrachaidh (latency, ìre soirbheachais, TCO) air an riaghladh tro mhodhan-obrach aon àrd-ùrlair.

An-dràsta, tha còrr is timcheall air 300 companaidh seirbheis mhodalan AI ann an Coirèa a Deas, ach

Tro mhodail bhunaiteach àrd-choileanaidh fhèin, is e Clevi an aon chompanaidh as urrainn seirbheisean on-premises agus sgòthan a sholarachadh aig an aon àm.

6. Dòighean air modalan cànain a chleachdadh ann an gnìomhachas

Leis gu bheil gabhail ri AI feumach air tasgadh mòr agus dearbhadh mionaideach, tha e riatanach coimeas agus deuchainn dìreach a dhèanamh gus dearbhadh an e fuasgladh a th’ ann a tha dha-rìribh feumail don iomairt.

• Chan eil CLEVI dìreach a’ cruthachadh mhodalan, ach tha e a’ tabhann fhuasglaidhean AI a ghabhas cur an gnìomh ann an suidheachaidhean gnìomhachais fìor.
• Mar eisimpleir, tha seanalan iomairt coileanta aige, a’ gabhail a-steach Ivy Chat Platform, Clevi API Platform, gnàthachadh a rèir ghnìomhachasan, agus gèilleadh ri riatanasan tèarainteachd.
• Tha comasan teicnigeach aige a tha doirbh a lorg aig an taigh no thall thairis, a’ gabhail a-steach AI corporra, innealan-fuadain, agus làimhseachadh dàta ioma-mhodhail.

Tha CLEVI a’ tabhann fhuasglaidhean AI susbainteach a tha a’ cur ri èifeachdas obrach fìor agus ùr-ghnàthachadh gnìomhachais, le AI mar ‘inneal’ seach mar ‘adhbhar’.Faigh eòlas dìreach air an eadar-dhealachadh a tha aig modal Foundation From-scratch.

Ceistean agus iarrtasan demo: [email protected]

Copyright© 2025 Clevi Inc. Gach còir glèidhte.