From-scratch Foundation Model CLEVI AI(ivy)

“Hvordan kunne en lille virksomhed skabe en sprogmodel inden for generativ AI i verdensklasse?”

Hvordan skabte en lille startup en sprogmodel inden for generativ AI?

Dette er det spørgsmål, CLEVI oftest har fået, siden virksomheden offentliggjorde sin Foundation-model med 1,4 billioner parametre.

I modsætning til mange virksomheder, der blot finjusterer open source-modeller, har CLEVI selvstændigt gennemført hele processen – fra dataindsamling og modeldesign til storskala distribueret træning og kvalitetsvalidering.

Nedenfor præsenterer vi hemmeligheden bag dette og CLEVI's konkurrencemæssige styrke i detaljer.

1. Kan en lille virksomhed skabe en sprogmodel inden for generativ AI?

Da CLEVI i juli 2025 offentliggjorde sin egenudviklede sprogmodel inden for generativ AI, reagerede talrige kunder (brugere) med både forbløffelse og skepsis. “Er den virkelig egenudviklet?” “Har I ikke bare ændret lidt på en open source-model?”

Faktisk nøjes mange virksomheder i både Korea og udlandet med simpel transfer learning (fine-tuning) af open source-modeller og markedsfører dem som deres egne modeller.

CLEVI fremhævede imidlertid **‘From-scratch Foundation Model’**.

Det betyder, at CLEVI selv har designet og gennemført hele processen – fra dataindsamling og modeldesign til storskala distribueret træning og kvalitetsvalidering.

2. Hvorfor er det svært at udvikle en sprogmodel inden for generativ AI?

For at træne en From-Scratch Foundation Model skal alle nedenstående områder trænes.

Der kræves et stort datasæt af høj kvalitet

• Diversitet: Sikring af diversitet inden for sprog, domæner og formater (tekst, billeder osv.)
• Rensning: Fjernelse af støj, kvalitetsstyring samt filtrering af duplikerede/skadelige data
• Licenser: Tydeliggørelse af ophavsret og brugsrettigheder til data

Storskala computerinfrastruktur

• Højtydende GPU/TPU-klynger: Teknologi til at integrere udstyr med tusindvis til titusindvis af noder og understøtte storskala distribueret træning
• Effektive frameworks til distribueret træning: DeepSpeed, Megatron-LM, Ray osv.
• Lagring/netværk: Miljø med input og output af store datamængder samt højhastighedsnetværk

Modelarkitekturdesign

• Afspejling af den nyeste arkitektur: Transformer, MoE(Mixture of Experts), multimodalitet osv.
• Skalerbarhed: Overvejelse af skalerbarhed såsom antal parametre, antal lag, inputlængde osv.
• Effektivitet: Optimering af trænings- og inferenshastighed samt hukommelsesforbrug

Træningsstrategier og algoritmer

• Mål for prætræning: Sprogmodeller (f.eks. next token prediction), multimodalitet (f.eks. contrastive learning) osv.
• Optimeringsteknikker: mixed precision, gradient accumulation, learning rate schedule osv.
• Normalisering/stabilisering: dropout, layer norm, weight decay osv.

Evaluerings- og valideringssystem

• Benchmark-sæt: Brug af standarddatasæt (Benchmarks)
• Intern evaluering: Evaluering baseret på scenarier fra den faktiske anvendelse
• Løbende overvågning: Kontrol af kvalitet, bias og sikkerhed under og efter træning

Kompetencer inden for personale og organisation

• AI/ML-forskere: Modeldesign og algoritmeudvikling
• Dataingeniører: Dataindsamling, -rensning og -administration
• Infrastrukturingeniører: Administration af distribuerede systemer samt cloud-/on-premises-miljøer
• Projektledere: Styring af tidsplan, budget og kvalitet

Etiske, juridiske og sikkerhedsmæssige overvejelser

• AI-etik: Bias, sikkerhed, gennemsigtighed og ansvarlighed
• Juridisk overholdelse: Personoplysninger, ophavsret og datasuverænitet
• Sikkerhed: Forebyggelse af datalækage og modeludslip samt adgangskontrol

På verdensplan er der i øjeblikket omkring 2.000 AI-forskere, og selv disse er i høj grad koncentreret i big tech-virksomheder som META, Google og XAI. I Sydkorea er det yderst sjældent at finde et team, der selv kan designe alt fra dataindsamling til infrastruktur til storskala-træning og skabe en Foundation-model.

3. At skabe en storskala-sprogmodel med få medarbejdere.

Med mere end 10 års erfaring inden for forskning i deep learning og machine learning grundlagde administrerende direktør Lee Hwan-ho for tre år siden virksomheden (Clevi) med målet om at “skabe verdens bedste AI”.

Ved selv at designe hele processen – herunder opbygningen af virksomhedens egen datapipeline, designet af distribueret deep learning-infrastruktur i stor skala, udviklingen af modelarkitekturen og kvalitetsvalideringen – opbyggede virksomheden de nødvendige kompetencer til at udvikle en Foundation Model.

Efter at have trænet modellen adskillige gange har virksomheden nu en Clevi-5-x-model, der kan måle sig med modeller i verdensklasse.

For effektivt at træne ekstremt store sprogmodeller kræves en infrastruktur, hvor hundredvis til tusindvis af GPU'er forbindes i en klynge, så beregninger svarende til kvadrillioner af operationer pr. sekund kan behandles samtidigt. I denne proces er teknologier, der minimerer beregningssynkronisering og kommunikationsforsinkelser i store distribuerede miljøer, afgørende. Indtil nu har de fleste virksomheder i Sydkorea ikke kunnet træne modeller ordentligt på grund af manglen på "præcise kontrolalgoritmer". Ved selv at udvikle denne unikke algoritme til styring af distribuerede beregninger lykkedes det CLEVI's administrerende direktør Lee Hwan-ho at træne Sydkoreas første ekstremt store sprogmodel med 1,4 billioner (1.4 Trillion) parametre.

4. Hvorfor det var muligt at udvikle forskellige modeller med få udviklingsmedarbejdere

De fleste bigtech-virksomheder har også teknologier til styring af stor infrastruktur og datarensning.

Det kræver hundredvis til tusindvis af forskere at administrere dette.

Men CLEVI udvikler og besidder forskellige modeller med få forskere.

Hvordan var det muligt?

CLEVI udvikler og besidder forskellige modeller med få medarbejdere ved hjælp af Teacher-Student Model-teknologien (Knowledge Distilation).

Lad os se nærmere på Teacher-Student-teknologien.

Teacher-Student (vidensdestillation)

Teacher-Student-teknologien er kort sagt en teknologi, der hurtigt udvikler forskellige modeller ved at evaluere og give feedback på en studentmodel (Student Model) gennem en ekstremt stor sprogmodel (Teacher Model), så få medarbejdere kan erstatte hundredvis af forskere.

• Mother Model (ekstremt stor model) evaluerer og giver feedback på modeller inden for forskellige områder og erstatter hundredvis af forskere.
• Hvis træningen gennemføres på denne måde via Clevi-x-platform, kan højtydende modeller som Reasoning, VLM, Physical AI og Coding Agent trænes og implementeres på 10–15 dage.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Sikkerhedsagent

5. Differentiering inden for Clevi-x-platforms teknologi og kvalitet

Modelydelse og skalerbarhed

• Overlegenhed inden for ræsonnement (CoT/Reasoning): cip-5-x er designet med trinvis logisk udfoldelse og begrundelse som en del af den grundlæggende designfilosofi og demonstrerer beregnings- og fortolkningsevner med høj pålidelighed inden for problemløsning i videnskab, matematik og ingeniørarbejde. Modellen designes og drives med målet om ydeevne på niveau med eller over GPT-5 baseret på interne benchmarks, mens reproducerbarhed og verificerbarhed under identiske promptbetingelser håndteres som centrale kvalitetsindikatorer.

• Hele spektret af multimodalitet: Ved at producere og kombinere den formålsorienterede VLM (cip-5-vision), den store multimodale behandlingsmodel (ivy-4-mm) og den lette on-device-model (ivy-3-text) på én platform er det muligt at optimere kombinationen efter opgavens karakter (søgning/klassificering/resumé vs. ræsonnement/forklaring/udførelse).

Egnethed til enterprise-anvendelse

• On-premises-sikkerhed og -tilgængelighed: Drift i hele det lukkede netværk (input-træning-service-backup), HA-design, modulær udvidelse og adskilt beskyttelse af data og modelparametre med SVCE (isoleret, sikkert eksekveringsmiljø).
• Hurtig implementering og skalering: Ivy Chat (arbejdsorienteret multimodal dialog/agent) og API Platform (global standard-SaaS) understøtter hurtig anvendelse og drift.

Differentiering inden for fysisk AI (Physical AI)

• Ved at kombinere NVIDIA Isaac-baseret simulering med evolutionsbaseret reinforcement learning (Evolutionary RL) samt forbedre læringseffektiviteten og tilpasningsevnen i praksis gennem Sim2Real-overførsel og parallel træning med syntetiske data. Dækningen fra digital læring og robotlæring til implementering gør løsningen vanskelig at erstatte.

Servicekvalitet og governance

• Versionstyring af modeller/promptværktøjer, evalueringssuite (viden på koreansk og engelsk, branchespecifikke opgaver, hallucinations- og sikkerhedsindikatorer), ændringsstyring (SLO/SLA) og driftsobservation (latenstid, succesrate, TCO) håndteres gennem en samlet platformprocedure.

Der findes i øjeblikket mere end 300 AI-modelservicevirksomheder i Sydkorea, men

CLEVI er den eneste virksomhed, der gennem sine egne højtydende foundation-modeller kan levere både on-premises- og cloudtjenester.

6. Sådan anvendes sprogmodeller i industrien

Da implementering af AI kræver betydelige investeringer og grundig validering, er det afgørende selv at sammenligne og afprøve løsningerne for at sikre, at de rent faktisk skaber værdi for virksomheden.

• CLEVI nøjes ikke med at udvikle modeller, men leverer AI-løsninger, der kan anvendes i den virkelige industri.
• For eksempel har vi etableret komplette enterprise-kanaler, herunder Ivy Chat Platform, Clevi API Platform, branchespecifik tilpasning og håndtering af sikkerhedskrav.
• Vi besidder tekniske kompetencer, som er svære at finde både nationalt og internationalt, inden for fysisk AI, robotteknologi og multimodal databehandling.

CLEVI leverer konkrete AI-løsninger, der bidrager til reel arbejdseffektivitet og industriel innovation ved at anvende AI som et middel – ikke som et mål. Oplev selv forskellen ved ægte From-scratch Foundation-modeller.

Forespørgsler og anmodninger om demo: [email protected]

Copyright© 2025 Clevi Inc. Alle rettigheder forbeholdes.