From-scratch Foundation Model CLEVI AI(ivy)

“Hoe koe in lyts bedriuw in gruttaalmodel op wrâldklasse meitsje?”

Hoe makke in lytse start-up in gruttaalmodel?

Dit is de fraach dy't it meast steld waard neidat CLEVI in Foundation-model mei 1,4 biljoen parameters bekendmakke.

Oars as in protte bedriuwen, dy't iepenboarnemodellen gewoan fine-tune, hat CLEVI it hiele proses selsstannich útfierd: fan it sammeljen fan gegevens oant modelûntwerp, grutskalige ferspraat learen en kwaliteitsvalidaasje.

Hjirûnder lizze wy it geheim efter dit súkses en de konkurrinsjekrêft yn detail út.

1. In gruttaalmodel meitsje as lyts bedriuw?

Doe't CLEVI yn july 2025 syn sels ûntwikkele gruttaalmodel op 'e merk brocht, reagearren ûntelbere klanten (brûkers) mei fernuvering en twifel. “Is it echt folslein sels ûntwikkele?” “Is it net gewoan in bytsje oanpast iepenboarnemodel?”

Yn werklikheid dogge in protte bedriuwen yn binnen- en bûtenlân allinnich oan transfer learning (fine-tuning) op iepenboarnemodellen en presintearje se dy dêrnei as har eigen model.

Mar CLEVI sette **‘From-scratch Foundation Model’** foarop.

Dat betsjut dat it hiele proses sels ûntwurpen en útfierd waard: fan it sammeljen fan gegevens oant modelûntwerp, grutskalige ferspraat learen en kwaliteitsvalidaasje.

2. Wêrom is it ûntwikkeljen fan in gruttaalmodel sa dreech?

Om in From-Scratch Foundation Model te trainen, moatte alle ûndersteande ûnderdielen leard wurde.

In grutskalige dataset fan hege kwaliteit is nedich

• Diversiteit: soargje foar ferskaat yn talen, domeinen en formaten (tekst, ôfbyldingen, ensfh.)
• Reiniging: lûd fuortsmite, kwaliteit beheare en duplisearre/skealike gegevens filterje
• Lisinsjes: auteursrjocht en it gebrûksrjocht op gegevens dúdlik fêstlizze

Grutskalige kompjûterynfrastruktuer

• GPU/TPU-klusters mei hege prestaasjes: technology om apparatuer mei tûzenen oant tsientûzenen knopen te yntegrearjen en grutskalich ferspraat learen te stypjen
• Effisjint ramtwurk foar ferspraat learen: DeepSpeed, Megatron-LM, Ray, ensfh.
• Opslach/netwurk: grutte hoemannichten gegevens yn- en útfierje en in rappe netwurkomjouwing

Untwerp fan de modelarsjitektuer

• Wjerspegelet de lêste arsjitektuer: Transformer, MoE(Mixture of Experts), multimodaal ensfh.
• Skalearberens: hâldt rekken mei útwreidberens, lykas it oantal parameters, lagen en ynfierlingte
• Effisjinsje: optimalisearje de snelheid fan training en inferinsje en it ûnthâldgebrûk

Trainingsstrategyen en algoritmen

• Pretrainingdoel: taalmodel (bygelyks next token prediction), multimodaal (bygelyks contrastive learning) ensfh.
• Optimalisaasjetechniken: mixed precision, gradient accumulation, learning rate schedule ensfh.
• Normalisaasje/stabilisaasje: dropout, layer norm, weight decay ensfh.

Evaluaasje- en ferifikaasjesysteem

• Benchmarksets: gebrûk fan standertdatasets (Benchmarks)
• Ynterne evaluaasje: evaluaasje basearre op senario’s foar echt gebrûk
• Trochrinnende monitoaring: kwaliteit, bias en feiligens kontrolearje tidens en nei de training

Personele en organisatoaryske kapasiteiten

• AI/ML-ûndersikers: modelûntwerp en algoritmeûntwikkeling
• Data-yngenieurs: gegevenssammeling, -reiniging en -behear
• Ynfrastruktuer-yngenieurs: behear fan ferspraat systemen en cloud-/on-premise-omjouwings
• Projektmanagers: behear fan planning, budzjet en kwaliteit

Etyske, juridyske en feiligensôfwagings

• AI-etyk: bias, feiligens, transparânsje en ferantwurdlikens
• Juridyske neilibbing: privacy, auteursrjocht en datasoevereiniteit
• Feiligens: foarkommen fan gegevens- en modellekken en tagongskontrôle

Op it stuit binne der wrâldwiid sa’n 2.000 AI-ûndersikers, en it grutste part dêrfan is konsintrearre by grutte technologybedriuwen lykas META, Google en XAI. Yn Súd-Korea binne teams dy’t sels alles ûntwerpe kinne, fan gegevenssammeling oant ynfrastruktuer foar training op grutte skaal, om in Foundation-model te meitsjen, tige seldsum.

3. In supergrut taalmodel meitsje mei in lyts tal meiwurkers.

Op basis fan mear as 10 jier ûnderfining mei ûndersyk nei djip learen en masinelearen stifte direkteur Lee Hwan-ho trije jier lyn it bedriuw (Clevi) mei it doel om “de bêste AI fan ’e wrâld te meitsjen”.

Troch alle prosessen sels te ûntwerpen — fan it opbouwen fan de eigen datapipeline, it ûntwerpen fan ynfrastruktuer foar ferdield djip learen op grutte skaal, en de ûntwikkeling fan modelarsjitektuer oant kwaliteitsferifikaasje — hat it bedriuw de kapasiteiten ûntwikkele dy’t nedich binne foar de ûntwikkeling fan in Foundation Model.

Nei it trainen fan it model ferskate kearen beskikt it bedriuw no oer it Clevi-5-x-model, dat konkurrearje kin mei modellen fan it heechste nivo yn ’e wrâld.

Om grutte taalmodellen effektyf te trainen, is ynfrastruktuer nedich dy't hûnderten oant tûzenen GPU's yn in kluster ferbynt en tsientallen kwadriljoenen berekkeningen per sekonde tagelyk ferwurkje kin. Yn dit proses binne technologyen dy't berekkeningssyngronisaasje en kommunikaasjefertraging yn grutskalige ferspraat omjouwings minimalisearje, krúsjaal. Oant no ta koene de measte bedriuwen ynlân modellen net goed traine fanwegen it ûntbrekken fan "presyzjekontrôle-algoritmen". De hear Lee Hwan-ho, CEO fan CLEVI, ûntwikkele sa'n unyk algoritme foar kontrôle fan ferspraat berekkeningen sels en slagge der as earste ynlânske partij yn om in grut taalmodel te trainen mei 1,4 triljoen (1.4 Trillion) parameters.

4. Wêrom't wy mei in lyts tal ûntwikkelders ferskate modellen ûntwikkelje koene

De measte bigtech-bedriuwen beskikke ek oer technology foar it kontrolearjen fan grutskalige ynfrastruktuer en it ferfine fan gegevens.

Om dit te behearen binne hûnderten oant tûzenen ûndersikers nedich.

CLEVI ûntwikkelt en besit lykwols ferskate modellen mei in lyts tal ûndersikers.

Hoe wie dat mooglik?

CLEVI ûntwikkelt en besit ferskate modellen mei in lyts tal meiwurkers troch de Teacher-Student Model(Knowledge Distilation)-technology.

Litte wy dan de Teacher-Student-technology besjen.

Teacher-Student(kennisdistillaasje)

Teacher-Student-technology is, ienfâldich sein, in technology dy't troch it evaluearjen en jaan fan feedback op in bernmodel (Student Model) fia in grut taalmodel (Teacher Model) in lyts tal meiwurkers hûnderten ûndersikers ferfange lit en ferskate modellen fluch ûntwikkelje lit.

• It Mother Model(grutte model) evaluearret en jout feedback op modellen foar ferskate gebieten en ferfangt hûnderten ûndersikers.
• As de training op dizze manier fia Clevi-x-platform útfierd wurdt, kinne heechprestearjende modellen lykas Reasoning, VLM, Physical AI en Coding Agent yn 10–15 dagen traind en ynset wurde.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Feiligensagint

5. Differinsjaasje yn technology en kwaliteit fan Clevi-x-platform

Modelprestaasjes en skalearberens

• Foarsprong yn redenearring (CoT/Reasoning): cip-5-x hat stap-foar-stap logyske ûntwikkeling en it jaan fan ûnderbouwing opnommen yn syn ûntwerpfilosofy, en lit hege betrouberens sjen yn berekkening en ynterpretaasje by it oplossen fan wittenskiplike, wiskundige en yngenieursproblemen. Op basis fan ynterne benchmarks wurdt it ûntwurpen en eksploitearre mei as doel prestaasjes op of boppe it nivo fan GPT-5, wêrby’t reprodusearberens en ferifiearberens ûnder identike promptbetingsten as wichtige kwaliteitsindikatoaren beheard wurde.

• It folsleine spektrum fan multimodaliteit: troch de doelrjochte VLM (cip-5-vision), it multimodale ferwurkingsmodel foar grutte datasets (ivy-4-mm) en it lichtgewicht on-device-model (ivy-3-text) op ien platfoarm te produsearjen en te kombinearjen, is in optimale kombinaasje mooglik dy't ôfstimd is op de taakeigenskippen (sykje/klassifisearje/gearfetsje versus redenearje/ferklearje/útfiere).

Tapasberens yn it enterprise-segment

• Feiligens en beskikberens on-premises: eksploitaasje oer de hiele sletten netwurkomjouwing (ynfier-training-tsjinst-back-up), HA-ûntwerp, modulêre útwreiding en SVCE (isolearre feilige útfieringsomjouwing) skiede en beskermje gegevens en modelparameters.
• Flugge ymplemintaasje en útwreiding: Ivy Chat (multimodale petearen/agents foar wurkprosessen) en API Platform (globale standert-SaaS) stypje rappe tapassing en eksploitaasje.

Ûnderskiedend fermogen yn fysike AI (Physical AI)

• Troch simulaasje op basis fan NVIDIA Isaac te kombinearjen mei evolúsje-basearre reinforcement learning (Evolutionary RL), en mei Sim2Real-oerdracht en parallelle training mei syntetyske gegevens, binne de leareffisjinsje en oanpassingsfermogen yn it fjild ferbettere. Dat it hiele trajekt fan digitaal nei robotika-training en -ynset dekt, is seldsum ûnder alternativen.

Tsjinstkwaliteit en bestjoer

• Ferzjebehear fan modellen/prompten/ark, evaluaasjesuite (kennis yn it Koreaansk en Ingelsk, yndustryspesifike taken, metriken foar hallusinaasjes en feiligens), feroaringsbehear (SLO/SLA) en operasjonele observaasje (latinsje, súksesrate, TCO) wurde beheard neffens ien platfoarmproseduere.

Op it stuit binne der ynlânsk mear as likernôch 300 bedriuwen dy't AI-modeltsjinsten oanbiede, mar

CLEVI is it ienige bedriuw dat fia in heechprestearjend, sels ûntwikkele foundation model tagelyk on-premises- en wolketsjinsten oanbiede kin.

6. Hoe’t taalmodellen yn yndustry brûkt wurde kinne

Om’t de ynfiering fan AI grutte ynvestearrings en yngeande ferifikaasje fereasket, is it essinsjeel om oplossingen sels te ferlykjen en út te probearjen om te bepalen oft se bedriuwen yn de praktyk helpe.

• CLEVI biedt net allinnich modellen, mar ek AI-oplossingen dy’t yn echte yndustriële omjouwings tapast wurde kinne.
• Bygelyks beskikke wy oer folsleine enterprise-kanalen, lykas it Ivy Chat Platform, it Clevi API Platform, maatwurk per yndustry en it foldwaan oan feiligenseasken.
• Wy hawwe technologyske mooglikheden dêr’t men yn binnen- en bûtenlânselden oer beskikt, lykas fysike AI, robotika en multimodale gegevensferwurking.

CLEVI biedt AI net as ‘doel’, mar as ‘middel’: konkrete AI-oplossingen dy’t bydrage oan echte wurkeffisjinsje en yndustriële ynnovaasje. Belibje sels it ferskil fan in echte From-scratch Foundation-model.

Fragen en demo-oanfragen: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.