From-scratch Foundation Model CLEVI AI(ivy)

«Hvordan kunne et lite selskap lage en språkmodell for kunstig intelligens i verdensklasse?»

Hvordan laget en liten oppstartsbedrift en enorm språkmodell?

Dette er spørsmålet CLEVI har fått oftest siden selskapet offentliggjorde sin Foundation-modell på 1,4 billioner parametere.

I motsetning til mange selskaper som bare finjusterer modeller med åpen kildekode, har CLEVI utført hele prosessen selvstendig – fra datainnsamling og modelldesign til storskala distribuert trening og kvalitetskontroll.

Nedenfor presenterer vi hemmeligheten bak dette og konkurransefortrinnene i detalj.

1. Lage en enorm språkmodell i et lite selskap?

Da CLEVI i juli 2025 offentliggjorde sin egenutviklede enorme språkmodell på markedet, reagerte utallige kunder (brukere) med både forbauselse og skepsis. «Er den virkelig egenutviklet?» «Har dere ikke bare gjort små endringer i en modell med åpen kildekode?»

I praksis er det mange selskaper, både i Korea og internasjonalt, som bare utfører transfer learning (fine-tuning) på modeller med åpen kildekode og markedsfører dem som egne modeller.

Men CLEVI fremhevet en **«From-scratch Foundation Model»**.

Det betyr at selskapet selv har utformet og gjennomført hele prosessen – fra datainnsamling og modelldesign til storskala distribuert trening og kvalitetskontroll.

2. Hvorfor det er vanskelig å utvikle en enorm språkmodell

For å trene en From-Scratch Foundation Model må alle punktene nedenfor læres inn.

Et datasett av høy kvalitet i stor skala er nødvendig

• Mangfold: Sikre mangfold når det gjelder språk, domener og formater (tekst, bilder osv.)
• Rensing: Fjerne støy, kontrollere kvalitet og filtrere duplikater/skadelige data
• Lisenser: Klargjøre opphavsrett og bruksrettigheter til data

Datainfrastruktur i stor skala

• Høyytelses GPU/TPU-klynger: Teknologi for å integrere utstyr med tusenvis til titusenvis av noder og støtte distribuert trening av store datamengder
• Effektivt rammeverk for distribuert trening: DeepSpeed, Megatron-LM, Ray osv.
• Lagring/nettverk: Håndtering av inn- og utdata i store datamengder samt et raskt nettverksmiljø

Design av modellarkitektur

• Gjenspeiling av den nyeste arkitekturen: Transformer, MoE(Mixture of Experts), multimodalitet osv.
• Skalerbarhet: Ta hensyn til utvidbarhet når det gjelder antall parametere, antall lag, inndatalengde osv.
• Effektivitet: Optimalisering av trenings- og inferenshastighet samt minnebruk

Treningsstrategier og algoritmer

• Mål for forhåndstrening: språkmodellering (f.eks. next token prediction), multimodalitet (f.eks. contrastive learning) osv.
• Optimaliseringsteknikker: mixed precision, gradient accumulation, learning rate schedule osv.
• Normalisering/stabilisering: dropout, layer norm, weight decay osv.

Evaluerings- og valideringssystem

• Referansesett: Bruk av standarddatasett (Benchmarks)
• Intern evaluering: Evaluering basert på faktiske bruksscenarier
• Kontinuerlig overvåking: Kontroll av kvalitet, skjevhet og sikkerhet under og etter trening

Kompetanse innen bemanning og organisasjon

• AI/ML-forskere: Modelldesign og algoritmeutvikling
• Dataingeniører: Innsamling, rensing og håndtering av data
• Infrastrukturingeniører: Distribuerte systemer samt administrasjon av sky- og lokale miljøer
• Prosjektledere: Styring av tidsplan, budsjett og kvalitet

Etiske, juridiske og sikkerhetsmessige hensyn

• AI-etikk: Skjevhet, sikkerhet, åpenhet og ansvarlighet
• Juridisk etterlevelse: Personvern, opphavsrett og datasuverenitet
• Sikkerhet: Forebygging av data- og modell-lekkasjer samt tilgangskontroll

Det finnes rundt 2 000 AI-forskere på verdensbasis, og de fleste av dem er konsentrert i store teknologiselskaper som META, Google og XAI. I Sør-Korea finnes det svært få team som selv kan utforme alt fra datainnsamling til storskala treningsinfrastruktur og utvikle en Foundation-modell.

3. Å utvikle en storskala språkmodell med få ansatte.

Med mer enn 10 års erfaring innen forskning på dyp læring og maskinlæring grunnla administrerende direktør Hwanho Lee selskapet (Clevi) for tre år siden, med målet om å «skape verdens beste AI».

Ved å selv utforme alle prosesser – inkludert etablering av selskapets egen datapipeline, design av storskala distribuert infrastruktur for dyp læring, utvikling av modellarkitektur og kvalitetsvalidering – har selskapet opparbeidet kompetansen som kreves for å utvikle en Foundation Model.

Etter å ha trent modeller flere ganger har vi nå Clevi-5-x-modellen, som kan måle seg med verdens beste modeller.

For å trene store språkmodeller effektivt kreves en infrastruktur der hundrevis til tusenvis av GPU-er kobles sammen i en klynge, slik at den kan håndtere titalls kvadrillioner beregninger samtidig per sekund. I denne prosessen er teknologi som synkroniserer beregninger i store distribuerte miljøer og minimerer kommunikasjonsforsinkelser, avgjørende. Frem til nå har de fleste selskaper i Sør-Korea ikke klart å trene modeller på riktig måte, fordi det manglet «presise kontrollalgoritmer». Ved å utvikle en slik egenutviklet algoritme for styring av distribuerte beregninger lyktes Clevi-sjef Lee Hwan-ho for første gang i Sør-Korea med å trene en stor språkmodell med 1,4 billioner (1.4 Trillion) parametere.

4. Grunnen til at vi kunne utvikle ulike modeller med et lite antall utviklere

Selv de fleste store teknologiselskapene har teknologi for storskala infrastrukturstyring og datarensing.

Det kreves hundrevis til tusenvis av forskere for å administrere dette.

Likevel utvikler og har Clevi ulike modeller med et lite antall forskere.

Hvordan var dette mulig?

Ved hjelp av Teacher-Student Model(Knowledge Distilation)-teknologien utvikler og har Clevi ulike modeller med et lite antall medarbeidere.

La oss se nærmere på Teacher-Student-teknologien.

Teacher-Student(kunnskapsdestillering)

Teacher-Student-teknologien er enkelt forklart en teknologi som raskt utvikler ulike modeller med få medarbeidere ved å la en stor språkmodell (Teacher Model) evaluere og gi tilbakemelding på en mindre modell (Student Model), og dermed erstatte hundrevis av forskere.

• Mother Model(den store modellen) evaluerer og gir tilbakemelding på modeller innen ulike fagområder, og erstatter hundrevis av forskere.
• Hvis opplæringen gjennomføres på denne måten via Clevi-x-platform, kan høytytende modeller som Reasoning, VLM, Physical AI og Coding Agent trenes og distribueres på 10–15 dager.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM – visjons- og språkmodell

Sikkerhetsagent

5. Teknologiske og kvalitetsmessige forskjeller ved Clevi-x-platform

Modellprestasjon og skalerbarhet

• Fordel innen resonnering (CoT/Reasoning): cip-5-x inkluderer trinnvis logisk utledning og presentasjon av begrunnelser i designfilosofien, og viser beregnings- og tolkningskapasitet med høy pålitelighet innen problemløsning i vitenskap, matematikk og ingeniørfag. Modellen er utviklet og driftes med mål om ytelse på nivå med eller høyere enn GPT-5, basert på interne referansetester, mens reproduserbarhet og verifiserbarhet under identiske promptbetingelser håndteres som sentrale kvalitetsindikatorer.

• Hele spekteret av multimodalitet: Ved å produsere og kombinere en formålsorientert VLM (cip-5-vision), en storskala multimodal behandlingsmodell (ivy-4-mm) og en lettvektsmodell for enheter (ivy-3-text) på én plattform, er det mulig å oppnå en optimal kombinasjon tilpasset oppgavens egenskaper (søk/klassifisering/oppsummering vs. resonnering/forklaring/utførelse).

Anvendbarhet i virksomheter

• Sikkerhet og tilgjengelighet lokalt: Drift i hele den lukkede nettverkskjeden (inndata–trening–tjeneste–sikkerhetskopiering), HA-design, modulær skalering og SVCE (isolert, sikkert kjøremiljø) beskytter data og modellparametere separat.
• Rask innføring og skalering: Ivy Chat (multimodal dialog/agent for arbeidsoppgaver) og API Platform (global standardisert SaaS) støtter rask implementering og drift.

Forskjeller innen fysisk AI (Physical AI)

• Ved å kombinere simulering basert på NVIDIA Isaac med evolusjonsbasert forsterkende læring (Evolutionary RL), samt Sim2Real-overføring og parallell trening med syntetiske data, er læringseffektiviteten og tilpasningsevnen i felt forbedret. Det finnes få alternativer som dekker hele kjeden fra digital læring og robotikklæring til distribusjon.

Tjenestekvalitet og styring

• Versjonsstyring av modeller/prompt/verktøy, evalueringssett (kunnskap på koreansk og engelsk, bransjespesifikke oppgaver, indikatorer for hallusinasjoner og sikkerhet), endringsstyring (SLO/SLA) og driftsobservasjon (latenstid, suksessrate og TCO) håndteres gjennom én plattformprosess.

Det finnes i dag over 300 AI-modelltjenesteselskaper i Sør-Korea, men

CLEVI er det eneste selskapet som kan tilby både lokale tjenester og skytjenester gjennom egne høytpresterende grunnmodeller.

6. Slik brukes språkmodeller i industrien

Ettersom innføring av AI krever betydelige investeringer og grundig validering, er det avgjørende å sammenligne og prøve løsningene direkte for å bekrefte om de faktisk er nyttige for virksomheten.

• CLEVI tilbyr ikke bare modeller, men også AI-løsninger som kan tas i bruk i den virkelige industrien.
• For eksempel har vi komplette tilbud for bedriftsmarkedet, inkludert Ivy Chat Platform, Clevi API Platform, bransjespesifikk tilpasning og håndtering av sikkerhetskrav.
• Vi har teknologisk kompetanse innen fysisk AI, robotikk og multimodal databehandling – områder det er vanskelig å finne tilsvarende kompetanse innen, både i Korea og internasjonalt.

CLEVI tilbyr AI som et «middel», ikke et «mål» – konkrete AI-løsninger som bidrar til reell effektivisering av arbeidsprosesser og industriell innovasjon. Opplev selv forskjellen med en ekte From-scratch Foundation-modell.

Forespørsler og demo: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.