From-scratch Foundation Model CLEVI AI(ivy)

”Hur kunde ett litet företag skapa en språkmodell för generativ AI i världsklass?”

Hur skapade en liten startup en storskalig språkmodell?

Detta är den fråga CLEVI har fått flest gånger sedan företaget offentliggjorde sin Foundation-modell med 1,4 biljoner parametrar.

Till skillnad från många företag, som endast finjusterar open source-modeller, genomförde CLEVI självständigt hela processen – från datainsamling och modelldesign till storskalig distribuerad träning och kvalitetskontroll.

Nedan presenterar vi dessa framgångsfaktorer och konkurrensfördelar i detalj.

1. Skapa en storskalig språkmodell som litet företag?

När CLEVI i juli 2025 offentliggjorde sin egenutvecklade storskaliga språkmodell på marknaden reagerade många kunder (användare) med både förvåning och skepsis. ”Är den verkligen egenutvecklad?” ”Har ni inte bara gjort små ändringar i en open source-modell?”

I praktiken är det vanligt att många företag i och utanför landet endast utför transfer learning (fine-tuning) på open source-modeller och marknadsför dem som sina egna modeller.

Men CLEVI lyfte fram en **”From-scratch Foundation Model”**.

Det innebär att CLEVI själv utformade och genomförde hela processen – från datainsamling och modelldesign till storskalig distribuerad träning och kvalitetskontroll.

2. Varför det är svårt att utveckla storskaliga språkmodeller

För att träna en From-Scratch Foundation Model måste alla punkterna nedan tränas.

En storskalig datamängd av hög kvalitet krävs

• Mångfald: Säkerställa mångfald vad gäller språk, domäner och format (text, bilder med mera)
• Rening: Ta bort brus, hantera kvalitet samt filtrera duplicerade/skadliga data
• Licenser: Tydliggöra upphovsrätt och rättigheter att använda data

Storskalig datorinfrastruktur

• Högpresterande GPU/TPU-kluster: Teknik som integrerar utrustning med tusentals till tiotusentals noder för att stödja storskalig distribuerad träning
• Effektiva ramverk för distribuerad träning: DeepSpeed, Megatron-LM, Ray med flera
• Lagring/nätverk: In-/utmatning av stora datamängder och en snabb nätverksmiljö

Design av modellarkitektur

• Återspegling av den senaste arkitekturen: Transformer, MoE(Mixture of Experts), multimodalitet med mera
• Skalbarhet: Hänsyn till skalbarhet, såsom antal parametrar, antal lager och inmatningslängd
• Effektivitet: Optimering av tränings- och inferenshastighet samt minnesanvändning

Träningsstrategier och algoritmer

• Förträningsmål: Språkmodeller (t.ex. next token prediction), multimodalitet (t.ex. contrastive learning) med mera
• Optimeringstekniker: mixed precision, gradient accumulation, learning rate schedule med mera
• Normalisering/stabilisering: dropout, layer norm, weight decay med mera

Utvärderings- och valideringssystem

• Benchmarkuppsättningar: Användning av standarddataset (Benchmarks)
• Intern utvärdering: Utvärdering baserad på verkliga användningsscenarier
• Kontinuerlig övervakning: Kontroll av kvalitet, bias och säkerhet under och efter träning

Kompetens inom personal och organisation

• AI/ML-forskare: Modelldesign och algoritmutveckling
• Dataingenjörer: Insamling, bearbetning och hantering av data
• Infrastrukturingenjörer: Hantering av distribuerade system samt moln- och on-premises-miljöer
• Projektledare: Hantering av tidsplan, budget och kvalitet

Etiska, juridiska och säkerhetsmässiga överväganden

• AI-etik: Bias, säkerhet, transparens och ansvarsskyldighet
• Juridisk efterlevnad: Personuppgifter, upphovsrätt och datasuveränitet
• Säkerhet: Förebyggande av data- och modelläckor samt åtkomstkontroll

Det finns för närvarande omkring 2 000 AI-forskare i hela världen, och även dessa är till största delen koncentrerade till stora teknikföretag som META, Google och XAI. I Sydkorea är team som själva kan utforma allt från datainsamling till storskalig träningsinfrastruktur och skapa en Foundation-modell ytterst sällsynta.

3. Att skapa en storskalig språkmodell med begränsade personalresurser.

Med över 10 års erfarenhet av forskning inom deep learning och machine learning grundade vd Lee Hwan-ho företaget (Clevi) för tre år sedan med målet att ”skapa världens bästa AI”.

Genom att själva utforma alla processer – från uppbyggnaden av företagets egen datapipeline, designen av storskalig distribuerad deep learning-infrastruktur och utvecklingen av modellarkitekturen till kvalitetsvalideringen – har företaget byggt upp den kompetens som krävs för att utveckla en Foundation Model.

Efter att ha tränat modeller flera gånger har vi nu Clevi-5-x-modellen, som kan mäta sig med världens främsta modeller.

För att effektivt träna stora språkmodeller krävs en infrastruktur där hundratals till tusentals GPU:er ansluts i kluster, så att tiotals kvadriljoner beräkningar per sekund kan behandlas samtidigt. I denna process är teknik som synkroniserar beräkningar i storskaliga distribuerade miljöer och minimerar kommunikationsfördröjningar avgörande. Hittills har de flesta företag i Sydkorea inte kunnat träna modeller ordentligt på grund av avsaknaden av ”finstyrda styralgoritmer”. Genom att själva utveckla en sådan egen algoritm för styrning av distribuerade beräkningar lyckades Clevi, under ledning av vd Lee Hwan-ho, för första gången i Sydkorea träna en stor språkmodell med 1,4 biljoner (1.4 Trillion) parametrar.

4. Anledningen till att vi kunde utveckla olika modeller med en liten utvecklingsorganisation

Även de flesta stora teknikföretag har teknik för styrning av storskalig infrastruktur och dataförädling.

För att hantera detta krävs hundratals till tusentals forskare.

Clevi utvecklar och har däremot olika modeller med en liten forskarorganisation.

Hur var det möjligt?

Genom tekniken Teacher-Student Model(Knowledge Distilation) utvecklar och har Clevi olika modeller med en liten personalstyrka.

Låt oss då titta närmare på Teacher-Student-tekniken.

Teacher-Student (kunskapsdestillation)

Teacher-Student-tekniken innebär enkelt uttryckt en teknik där en stor språkmodell (Teacher Model) utvärderar och ger återkoppling på mindre modeller (Student Model), vilket gör det möjligt att snabbt utveckla olika modeller med en liten personalstyrka genom att ersätta hundratals forskare.

• Mother Model (den stora modellen) utvärderar och ger återkoppling på modeller inom olika områden och ersätter hundratals forskare.
• Om träningen genomförs på detta sätt via Clevi-x-platform kan högpresterande modeller som Reasoning, VLM, Physical AI och Coding Agent tränas och distribueras på 10–15 dagar.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Säkerhetsagent

5. Teknisk differentiering och kvalitetsdifferentiering för Clevi-x-platform

Modellprestanda och skalbarhet

• Överlägsenhet inom inferens (CoT/Reasoning): cip-5-x inkluderar stegvis logisk argumentation och redovisning av grunderna i sin designfilosofi och uppvisar beräknings- och tolkningsförmåga med hög tillförlitlighet vid problemlösning inom vetenskap, matematik och teknik. Modellen designas och drivs med målet att uppnå prestanda på GPT-5-nivå eller högre enligt interna benchmarkresultat, medan reproducerbarhet och verifierbarhet under identiska promptförhållanden hanteras som centrala kvalitetsmått.

• Hela det multimodala spektrumet: genom att producera och kombinera ändamålsinriktad VLM (cip-5-vision), en storskalig multimodal behandlingsmodell (ivy-4-mm) och en lätt on-device-modell (ivy-3-text) på en och samma plattform möjliggörs optimala kombinationer anpassade efter uppgiftens egenskaper (sökning/klassificering/sammanfattning kontra inferens/förklaring/utförande).

Användbarhet i företag

• Säkerhet och tillgänglighet on-premises: drift i hela den slutna nätverksmiljön (inmatning–träning–tjänst–säkerhetskopiering), HA-design, modulär skalning samt separerat skydd av data och modellparametrar genom SVCE (isolerad säker körmiljö).
• Snabb implementering och skalning: Ivy Chat (arbetsinriktad multimodal dialog/agent) och API Platform (global standardiserad SaaS) möjliggör snabb tillämpning och drift.

Differentiering inom fysisk AI (Physical AI)

• Genom att kombinera simulering baserad på NVIDIA Isaac med evolutionsbaserad förstärkningsinlärning (Evolutionary RL), Sim2Real-överföring och parallell träning med syntetiska data har träningseffektiviteten och anpassningsförmågan i fält förbättrats. Det finns få alternativ som täcker hela kedjan från digitalt lärande och robotiklärande till driftsättning.

Tjänstekvalitet och styrning

• Modell-, prompt- och verktygsversioner, utvärderingssviter (kunskap på koreanska och engelska, branschspecifika uppgifter, mått för hallucinationer och säkerhet), ändringshantering (SLO/SLA) samt driftövervakning (latens, framgångsfrekvens och TCO) hanteras enligt en enhetlig plattformsprocess.

Det finns för närvarande över 300 AI-modelltjänsteföretag i Sydkorea, men

Clevi är det enda företaget som genom en egen högpresterande fundamentmodell kan erbjuda både on-premises- och molntjänster samtidigt.

6. Så används språkmodeller i industrin

Eftersom införandet av AI kräver stora investeringar och noggrann utvärdering är det avgörande att direkt jämföra och prova lösningarna för att säkerställa att de faktiskt skapar värde för företaget.

• CLEVI erbjuder inte bara modeller, utan även AI-lösningar som kan tillämpas i verkliga industriella miljöer.
• Exempelvis har CLEVI en komplett uppsättning företagskanaler, inklusive Ivy Chat Platform, Clevi API Platform, branschspecifik anpassning och stöd för säkerhetskrav.
• CLEVI har teknisk kompetens inom områden som fysisk AI, robotik och multimodal databehandling – områden som är svåra att hitta både i Korea och internationellt.

CLEVI erbjuder konkreta AI-lösningar där AI används som ett ”medel” snarare än ett ”mål” för att bidra till verklig effektivisering av arbetet och industriell innovation. Upplev själv skillnaden med en äkta From-scratch Foundation-modell.

Förfrågningar och demobokningar: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.