From-scratch Foundation Model CLEVI AI(ivy)

«Korleis kunne eit lite selskap utvikle ein av dei beste storskala AI-språkmodellane i verda?»

Korleis utvikla ein ein storskala språkmodell i ein liten startup?

Dette er spørsmålet CLEVI har fått oftast sidan dei lanserte sin Foundation-modell med 1,4 billionar parametrar.

I motsetnad til mange verksemder, som berre finjusterer open source-modellar, gjennomførte CLEVI sjølvstendig heile prosessen – frå datainnsamling, modelldesign og storskala distribuert trening til kvalitetsvalidering.

Nedanfor presenterer vi denne løyndomen og konkurransefortrinnet i detalj.

1. Ein liten aktør utviklar ein storskala språkmodell?

Då CLEVI i juli 2025 lanserte sin eigenutvikla storskala språkmodell i marknaden, reagerte mange kundar (brukarar) med både overrasking og skepsis. «Er han verkeleg utvikla internt?» «Har dei berre gjort små endringar i ein open source-modell?»

I praksis er det mange verksemder i inn- og utland som berre gjennomfører transfer learning (fine-tuning) av open source-modellar og marknadsfører dei som eigne modellar.

Men CLEVI framheva ein **«From-scratch Foundation Model»**.

Det vil seie at dei sjølve utforma og gjennomførte heile prosessen – frå datainnsamling, modelldesign og storskala distribuert trening til kvalitetsvalidering.

2. Kvifor det er vanskeleg å utvikle ein storskala språkmodell

For å trene ein From-Scratch Foundation Model må ein lære inn alle punkta nedanfor.

Det trengst eit stort datasett av høg kvalitet

• Mangfald: Sikre mangfald når det gjeld språk, domene og format (tekst, bilete osv.)
• Rensing: Fjerne støy, sikre kvalitet og filtrere duplikat/skadelege data
• Lisensar: Klargjere opphavsrett og bruksrettar til data

Storskala databehandlingsinfrastruktur

• Høgtytande GPU/TPU-klynger: Teknologi for å integrere utstyr med tusenvis til titusenvis av noder og støtte storskala distribuert trening
• Effektivt rammeverk for distribuert trening: DeepSpeed, Megatron-LM, Ray osv.
• Lagring og nettverk: Miljø for inn- og utdata av store datamengder og høghastigheitsnettverk

Design av modellarkitektur

• Gjeldande arkitektur: Transformer, MoE(Mixture of Experts), multimodalitet osb.
• Skalerbarheit: Ta omsyn til utvidingsmoglegheiter som talet på parametrar, lag, inndatalengd osb.
• Effektivitet: Optimalisering av trenings-/inferensfart og minnebruk

Treningsstrategiar og algoritmar

• Mål for førehandsopplæring: språkmodell (t.d. next token prediction), multimodalitet (t.d. contrastive learning) osb.
• Optimaliseringsteknikkar: mixed precision, gradient accumulation, learning rate schedule osb.
• Normalisering/stabilisering: dropout, layer norm, weight decay osb.

System for evaluering og validering

• Referansesett: Bruk av standarddatasett (Benchmarks)
• Intern evaluering: Evaluering basert på reelle bruksscenario
• Kontinuerleg overvaking: Kontroll av kvalitet, skeivskap og tryggleik under og etter trening

Kompetanse innan personell og organisasjon

• AI/ML-forskarar: Modelldesign og algoritmeutvikling
• Dataingeniørar: Innsamling, reinsing og forvalting av data
• Infrastrukturingeniørar: Distribuerte system og forvalting av sky-/lokal infrastruktur
• Prosjektleiarar: Forvalting av tidsplan, budsjett og kvalitet

Etiske, juridiske og tryggleiksmessige omsyn

• AI-etikk: Skeivskap, tryggleik, transparens og ansvar
• Juridisk etterleving: Personvern, opphavsrett og datasuverenitet
• Tryggleik: Førebygging av datalekkasjar og modell-lekkasjar, tilgangskontroll

Det finst om lag 2 000 AI-forskarar på verdsbasis, og dei fleste av desse er dessutan konsentrerte i store teknologiselskap som META, Google og XAI. Det finst svært få team i Sør-Korea som kan utforme og utvikle ein Foundation-modell sjølve, frå datainnsamling til infrastruktur for storskala trening.

3. Å utvikle ein ultrastor språkmodell med få tilsette.

Med over 10 års erfaring innan djup læring og maskinlæring grunnla administrerande direktør Lee Hwan-ho selskapet (CLEVI) for tre år sidan, med målet om å «skape verdas beste AI».

Ved å utforme alle prosessane sjølve – frå etablering av selskapet si eiga datapipeline, design av storskala distribuert djup læringsinfrastruktur, utvikling av modellarkitektur til kvalitetsvalidering – opparbeidde dei seg kompetansen som er nødvendig for å utvikle ein Foundation Model.

Etter å ha trent modeller flere ganger har vi nå Clevi-5-x-modellen, som kan måle seg med verdens beste modeller.

For å trene store språkmodeller effektivt trengs det en infrastruktur der hundrevis til tusenvis av GPU-er kobles sammen i en klynge, slik at den kan håndtere titalls kvadrillioner beregninger samtidig per sekund. I denne prosessen er teknologi som synkroniserer beregninger i store distribuerte miljøer og minimerer kommunikasjonsforsinkelser, avgjørende. Frem til nå har de fleste selskaper i Sør-Korea ikke klart å trene modeller på riktig måte, fordi det manglet «algoritmer for presis kontroll». Ved å utvikle en slik egenutviklet algoritme for kontroll av distribuerte beregninger lyktes Clevi-sjef Lee Hwan-ho som det første selskapet i Sør-Korea med å trene en stor språkmodell med 1,4 billioner (1.4 Trillion) parametere.

4. Hvorfor vi kunne utvikle ulike modeller med et lite antall utviklere

Selv de fleste store teknologiselskaper har teknologi for kontroll av storskala infrastruktur og datarensing.

Det kreves hundrevis til tusenvis av forskere for å administrere dette.

Clevi utvikler og har imidlertid ulike modeller med et lite antall forskere.

Hvordan var dette mulig?

Ved hjelp av Teacher-Student Model(Knowledge Distilation)-teknologi utvikler og har Clevi ulike modeller med et lite antall medarbeidere.

La oss se nærmere på Teacher-Student-teknologien.

Teacher-Student(kunnskapsdestillering)

Teacher-Student-teknologi er kort sagt en teknologi som bruker en stor språkmodell (Teacher Model) til å evaluere og gi tilbakemeldinger på en underordnet modell (Student Model), slik at et lite antall medarbeidere kan erstatte hundrevis av forskere og raskt utvikle ulike modeller.

• Mother Model(stormodellen) evaluerer og gir tilbakemeldinger på modeller innen ulike områder, og erstatter hundrevis av forskere.
• Hvis opplæringen gjennomføres på denne måten via Clevi-x-platform, kan høyytelsesmodeller som Reasoning, VLM, Physical AI og Coding Agent trenes og distribueres på 10–15 dager.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM – Vision Language Model

Tryggingsagent

5. Teknologiske og kvalitetsmessige skilnader ved Clevi-x-platform

Modellprestasjon og skalerbarheit

• Overlegenheit i resonnering (CoT/Reasoning): cip-5-x inkluderer trinnvis logisk utleiing og presentasjon av grunnlag i designfilosofien, og viser høg pålitelegheit i berekning og tolking ved problemløysing innan vitskap, matematikk og ingeniørfag. Plattformen er utforma og blir driven med mål om prestasjonar på nivå med eller over GPT-5, basert på interne referansetestar, medan reproduserbarheit og etterprøvbarheit under identiske promptvilkår blir forvalta som sentrale kvalitetsindikatorar.

• Heile spekteret av multimodalitet: Ved å produsere og kombinere formålsretta VLM (cip-5-vision), ein multimodal prosesseringsmodell for store datamengder (ivy-4-mm) og ein lettvektsmodell for bruk på einingar (ivy-3-text) på éin plattform, er det mogleg å velje den optimale kombinasjonen for oppgåva (søk/klassifisering/samandrag vs. resonnering/forklaring/utføring).

Tilpassa verksemdsbruk

• Tryggleik og tilgjenge på eigne serverar: Drift i heile den lukka nettverkssona (inndata–trening–teneste–sikkerheitskopi), HA-design, modulær utviding og SVCE (isolert, trygt utføringsmiljø) vernar data og modellparametrar separat.
• Rask innføring og utviding: Ivy Chat (multimodal dialog/agent for arbeidsoppgåver) og API Platform (global standard-SaaS) støttar rask implementering og drift.

Særpreg innan fysisk AI (Physical AI)

• Ved å kombinere simulering basert på NVIDIA Isaac med evolusjonsbasert forsterkingslæring (Evolutionary RL), og bruke parallell læring med Sim2Real-overføring og syntetiske data, er læringseffektiviteten og tilpassingsevna i feltet betra. Det finst få alternativ som dekkjer heile løpet frå digital læring og robotikklæring til utrulling.

Tenestekvalitet og styring

• Versjonsstyring av modellar/prompt/verktøy, evalueringssett (kunnskap på koreansk og engelsk, oppgåver etter bransje, indikatorar for hallusinering og tryggleik), endringsstyring (SLO/SLA) og driftsobservasjon (forseinking, suksessrate og TCO) blir forvalta gjennom éin plattformprosedyre.

Det finst i dag over 300 AI-modelltenesteverksemder i Sør-Korea, men

Clevi er den einaste aktøren som kan tilby både lokale og skybaserte tenester gjennom eigne grunnmodellar med høg yting.

6. Slik kan språkmodellar nyttast i industrien

Sidan innføring av AI krev store investeringar og grundig verifisering, er det avgjerande å samanlikne og prøve ut løysingar sjølv for å finne ut om dei faktisk vil vere til nytte for verksemda.

• CLEVI nøyer seg ikkje med å utvikle modellar, men tilbyr AI-løysingar som kan takast i bruk i verkelege bransjemiljø.
• Til dømes har CLEVI eit komplett enterprise-tilbod med Ivy Chat Platform, Clevi API Platform, bransjespesifikk tilpassing og ivaretaking av tryggleikskrav.
• CLEVI har teknologisk kompetanse som er vanskeleg å finne både i Noreg og internasjonalt, innan fysisk AI, robotikk og multimodal databehandling.

CLEVI tilbyr AI-løysingar som ikkje ser på AI som eit «mål», men som eit «verkemiddel», og som bidreg til reell arbeidseffektivisering og innovasjon i industrien. Opplev sjølv kva som skil ein ekte From-scratch Foundation-modell.

Førespurnader og demoførespurnader: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.