From-scratch Foundation Model hjá CLEVI AI(ivy)

“Hvussu kundi eitt lítið felag skapa eitt stórmálmodell fyri AI á heimsstigi?”

Hvussu skapti ein lítil startup eitt stórt málmodell?

Hetta er tann spurningurin, sum CLEVI oftast hevur fingið, síðani felagið almannakunngjørdi eitt Foundation-model við 1,4 billiónum parametrum.

Í mun til mong feløg, sum einans fínstilla open source-modell, framdi CLEVI sjálvt alt ferlið – frá dátusavnan og modellhøpi til stóra býtta venjing og góðskueftirlit.

Niðanfyri greiða vit nærri frá loyndarmálinum og kappingarfyrimununum.

1. Eitt lítið felag skapar eitt stórt málmodell?

Tá CLEVI í juli 2025 lat upp fyri marknaðinum við sínum egnum stórum málmodelli, vóru nógvir kundar (brúkarar) bæði ovfarnir og ivasamir. “Er tað veruliga ment frá grundini?” “Hava tey ikki bara broytt eitt open source-modell eitt sindur?”

Í veruleikanum eru nógv feløg bæði í Føroyum og uttanlands, sum einans gera transfer learning (fine-tuning) av open source-modellum og marknaðarføra tey sum síni egnu modell.

Men CLEVI setti **‘From-scratch Foundation Model’** fremst.

Tað merkir, at felagið sjálvt bæði menti og framdi alt ferlið – frá dátusavnan og modellhøpi til stóra býtta venjing og góðskueftirlit.

2. Hví er tað trupult at menna eitt stórt málmodell?

Fyri at venja eitt From-Scratch Foundation Model skulu øll niðanfyri nevndu øki lærast.

Ein stór dátusavni av hágóðsku er neyðug

• Fjølbroytni: tryggja fjølbroytni í málum, økjum og sniðum (tekstur, myndir o.s.fr.)
• Hreinsan: fjarlægja larm, tryggja góðsku og filtrera endurtiknar/skaðiligar dátur
• Lisensur: greiða upphavsrætt og rættindi til dátunýtslu

Stór rokni-infrastruktur

• Hágóðsku GPU/TPU-cluster: sameina túsundtals til tíggjutúsundtals eindir og veita stuðul til stóra býtta venjing
• Effektivur karmur fyri býtta venjing: DeepSpeed, Megatron-LM, Ray o.s.fr.
• Goymsla/netverk: inn- og úttøka av stórum dátumongdum og eitt skjótt netverksumhvørvi

Modellarkitektur

• Nýggjasta byggingin tikin við: Transformer, MoE(Mixture of Experts), multimodalitetur o.s.fr.
• Skalerbarleiki: Taka hædd fyri útbyggingarmøguleikum, so sum talið á parametrum, løgum og longdini á íputtanum
• Skilagóður rakstur: Optimera ferðina á venjing og inferens og minnisnýtsluna

Venjingarstrategiir og algoritmur

• Mál við forhondsvenjing: Málsmodell (t.d. next token prediction), multimodalitetur (t.d. contrastive learning) o.s.fr.
• Optimeringartøkni: mixed precision, gradient accumulation, learning rate schedule o.s.fr.
• Normalisering/støðufesti: dropout, layer norm, weight decay o.s.fr.

Skipan fyri meting og váttan

• Benchmarktøk: Nýta standarddátasett (Benchmarks)
• Innanhýsis meting: Meta út frá veruligum nýtsludømum
• Støðugur eftirlit: Kanna góðsku, skeivleika og trygd undir og eftir venjing

Førleikar hjá starvsfólki og felagsskapinum

• AI/ML-granskarar: Modellhönn, menning av algoritmum
• Dátuverkfrøðingar: Innsavning, reinsing og umsiting av dátum
• Infrastrukturverkfrøðingar: Umsiting av býttum skipanum, ský- og staðbundnum infrastrukturum
• Verkætlanarleiðarar: Umsiting av tíðarætlan, fíggjarætlan og góðsku

Etisk, løgfrøðilig og trygdarlig atlit

• AI-etikkur: Skeivleiki, trygd, gjøgnumskygni og ábyrgd
• Løgfrøðilig fylgisemi: Persónupplýsingar, upphavsrættur og dátusjálvræði
• Trygd: Fyribyrging av leka av dátum og modellum, atgongustýring

Í løtuni eru umleið 2.000 fólk um allan heimin, sum granska í AI, og eisini tey eru fyri tað mesta savnað hjá stórum tøknifyritøkum sum META, Google og XAI. Í Suðurkorea eru sera fá toymi, sum sjálvi kunnu hanna eitt Foundation-modell – frá dátusavning til stóra venjingarinfrastrukturin.

3. At byggja eitt ovurstórt málmodell við fáum starvsfólkum.

Við meira enn 10 ára royndum innan djúpa læring og maskinlæring stovnaði Hwanho Lee fyri trimum árum síðani fyritøkuna (Clevi) við málinum um at “skapa heimsins bestu AI”.

Við sjálvi at hanna allar tilgongdir – uppbygging av egnum dátuleiðslum, hönn av stórum býttum djúplæringsinfrastrukturi, menning av modellarkitekturi og góðskuváttan – hevur fyritøkan ment førleikarnar, sum krevjast til menning av einum Foundation Model.

Eftir at hava vant modellið fleiri ferðir hevur fyritøkan nú eitt Clevi-5-x-modell, sum kann kappast við modellini á hægsta heimsstigi.

Fyri at læra sera stór mállíkøti effektivt er neyðugt við einari infrastrukturi, har hundraðtals til túsundtals GPU-ar eru knýttir saman í einum klasa, so at hon kann viðgera upp í fleiri hundrað quadrillionir av útrokningum um sekundið samstundis. Í hesum tilgongdini eru tøkni til at samstilla útrokningar í stórum distribuer­aðum umhvørvum og minimera samskiftisdrøgini avgerandi. Higartil hava flestu fyritøkur í Suðurkorea ikki megnað at læra modellini rætt vegna vantandi „nákvæma stýringarlíknarit“. Við sjálvum at menna hesa serstøku algoritmuna til stýring av distribuer­aðum útrokningum eydnaðist stjóranum hjá CLEVI, Lee Hwan-ho, sum tann fyrsti í Suðurkorea at læra eitt sera stórt mállíki við 1,4 billiónum (1.4 Trillion) parametrum.

4. Orsøkin til, at vit kundu menna ymisk modell við fáum mennarum

Flestu stórtøkni-fyritøkur hava eisini tøkni til stýring av stórum infrastrukturi og reinsing av dátum.

At umsita hetta krevur hundraðtals til túsundtals granskarar.

Men CLEVI mennir og eigur ymisk modell við fáum granskarum.

Hvussu var hetta møguligt?

CLEVI mennir og eigur ymisk modell við fáum starvsfólkum gjøgnum Teacher-Student Model(Knowledge Distilation)-tøkni.

Lat okkum hyggja nærri at Teacher-Student-tøkni.

Teacher-Student(kunnleikaeiming)

Teacher-Student-tøkni er einfalt sagt ein tøkni, sum við at lata eitt sera stórt mállíki (Teacher Model) meta um og geva afturmelding um eitt barnamodell (Student Model) kann lata fá starvsfólk avloysa hundraðtals granskarar og skjótt menna ymisk modell.

• Mother Model(sera stórt modell) metir um og gevur afturmelding um modell innan ymisk øki og avloysir hundraðtals granskarar.
• Um læringin verður framd á henda hátt gjøgnum Clevi-x-platform, kunnu háavriksmikl modell innan Reasoning, VLM, Physical AI, Coding Agent og onnur øki lærast og setast í rakstur eftir 10–15 døgum.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Trygdaragentur

5. Serstøða í tøkni og góðsku hjá Clevi-x-platform

Avrik og víðkanarmøguleikar hjá modellinum

• Yvirburður í reasoning (CoT/Reasoning): cip-5-x hevur stigvísa røkuliga framseting og grundgeving sum part av design-filosofiinum og vísir høga álítandi rokni- og tulkingarevni í loysn av vísindaligum, støddfrøðiligum og verkfrøðiligum trupulleikum. Út frá innanhýsis benchmarkum er skipað og verður rikið við málinum um avrik á støði við ella hægri enn GPT-5, og endurtøkuføri og eftirkannanleiki undir somu prompt-treytum verða stýrd sum kjarnukvalitetsmát.

• Alt multimodalt spektrum: Við at framleiða og sameina endamálsrættaða VLM-modellið (cip-5-vision), stóra multimodala viðgerðarmodellið (ivy-4-mm) og lætta on-device-modellið (ivy-3-text) á einum palli er møguligt at velja bestu samansetingina út frá uppgávueginleikunum (leiting/flokking/samandráttur móti reasoning/frágreiðing/framkvæmd).

Nýtslumøguleikar hjá fyritøkum

• On-premises trygd og tøka: Rakstur í øllum stigum í einum afturlæstum neti (inntøka-venjing-tænasta-backup), HA-sniðgeving, modulerað víðkan og SVCE (avbyrgdur tryggur keyrsluumhvørvi) verja dátur og modellparametrar við at skilja tey sundur.
• Skjót innleiðing og víðkan: Ivy Chat (arbeiðsrættaður multimodalur samrøðu-/agentpallur) og API Platform (altjóða standard SaaS) stuðla skjótari innleiðing og rakstri.

Sermunir við Physical AI

• Við at sameina NVIDIA Isaac-grundaða simulering og evolutiónsgrundaða reinforcement learning (Evolutionary RL), Sim2Real-flyting og parallella venjing við syntetiskum dátum eru venjingarhagvirkni og tillagingarevni í veruliga umhvørvinum økt. Tað er sjáldsamt at finna aðrar loysnir, sum fevna um alla ketuna frá talgildari og robotiskari venjing til útlegging.

Tænastugóðska og stýring

• Versiónsstýring av modellum/promptum/amboðunum, metingarskráin (kunnleiki á koreanskum og enskum, uppgávur eftir vinnugrein, tøl fyri hallucinatión og trygd), broytingarstýring (SLO/SLA) og rakstrareftirlit (latensur, eydnuhlutfall og TCO) verða stýrd eftir einum felags pallshátti.

Í løtuni eru meira enn umleið 300 fyritøkur í Suðurkorea, sum veita AI-modelltænastur, men

Clevi er tann einasta fyritøkan, sum gjøgnum síni egnu hágóðsku foundation-modell kann veita bæði on-premises- og skýntænastur.

6. Soleiðis verður máltøkni nýtt í vinnuni

Av tí at AI-innleiðing krevur stórar íløgur og gjølla eftirkanning, er tað neyðugt beinleiðis at samanbera og royna, um talan er um eina loysn, sum veruliga gagnar fyritøkuni.

• CLEVI nøktast ikki bert við at menna modell, men veitir AI-loysnir, sum kunnu setast í verk í veruligum vinnuligum umhvørvum.
• Til dømis hevur felagið eitt fullfíggjað enterprise-tilboð við Ivy Chat Platform, Clevi API Platform, tillaging til ymiskar vinnugreinar og samsvari við trygdarkrøv.
• Felagið hevur tekniskar førleikar innan fysisk AI, robotikk og multimodala dátaviðgerð, sum eru torførir at finna bæði í Føroyum og altjóða.

CLEVI sær AI sum eitt ‘amboð’ heldur enn eitt ‘endamál’ og veitir ítøkiligar AI-loysnir, sum kunnu økja um arbeiðsvirksemið og fremja nýskapan í vinnuni. Uppliv sjálv munin við einum veruligum From-scratch Foundation-modelli.

Fyrispurningar og umbøn um demo: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.