From-scratch Foundation Model CLEVI AI(ivy)

“Hoe kan een klein bedrijf een ultram groot AI-taalmodel van wereldklasse ontwikkelen?”

Hoe heeft een kleine startup een ultram groot taalmodel ontwikkeld?

Dit is de vraag die het vaakst werd gesteld nadat CLEVI zijn Foundation-model met 1,4 biljoen parameters had onthuld.

In tegenstelling tot veel bedrijven die open-sourcemodellen eenvoudigweg finetunen, heeft CLEVI het volledige proces zelfstandig uitgevoerd: van het verzamelen van gegevens en het ontwerpen van het model tot grootschalige gedistribueerde training en kwaliteitsverificatie.

Hieronder presenteren we de geheimen achter dit succes en de concurrentiekracht in detail.

1. Een klein bedrijf dat een ultram groot taalmodel ontwikkelt?

Toen CLEVI in juli 2025 zijn zelf ontwikkelde ultram grote taalmodel op de markt bracht, reageerden talloze klanten (gebruikers) met verbazing en scepsis. “Is het echt volledig zelf ontwikkeld?” “Is het niet gewoon een beetje aangepast open-sourcemodel?”

In werkelijkheid beperken veel bedrijven in binnen- en buitenland zich tot transfer learning (fine-tuning) van open-sourcemodellen en promoten ze deze vervolgens als hun eigen model.

CLEVI presenteerde echter het **‘From-scratch Foundation Model’**.

Dat betekent dat het volledige proces rechtstreeks werd ontworpen en uitgevoerd: van het verzamelen van gegevens en het ontwerpen van het model tot grootschalige gedistribueerde training en kwaliteitsverificatie.

2. Waarom de ontwikkeling van een ultram groot taalmodel moeilijk is

Om een From-Scratch Foundation Model te trainen, moeten alle onderstaande onderdelen worden geleerd.

Een grootschalige dataset van hoge kwaliteit is nodig

• Diversiteit: zorgen voor diversiteit in talen, domeinen en formaten (tekst, afbeeldingen enz.)
• Opschoning: verwijderen van ruis, kwaliteitsbeheer en filtering van dubbele/schadelijke gegevens
• Licenties: duidelijke vaststelling van auteursrechten en gebruiksrechten voor gegevens

Grootschalige computerinfrastructuur

• Clusters met krachtige GPU's/TPU's: technologie voor het integreren van duizenden tot tienduizenden nodes ter ondersteuning van grootschalige gedistribueerde training
• Efficiënt framework voor gedistribueerde training: DeepSpeed, Megatron-LM, Ray enz.
• Opslag/netwerk: in- en uitvoer van grote hoeveelheden gegevens en een snelle netwerkomgeving

Ontwerp van de modelarchitectuur

• Weerspiegeling van de nieuwste architecturen: Transformer, MoE (Mixture of Experts), multimodaliteit, enz.
• Schaalbaarheid: rekening houden met uitbreidbaarheid van onder andere het aantal parameters, lagen en de invoerlengte
• Efficiëntie: optimalisatie van onder andere de trainings- en inferentiesnelheid en het geheugengebruik

Trainingsstrategieën en algoritmen

• Pretrainingdoelen: taalmodellen (bijv. next token prediction), multimodaliteit (bijv. contrastive learning), enz.
• Optimalisatietechnieken: mixed precision, gradient accumulation, learning rate schedule, enz.
• Normalisatie/stabilisatie: dropout, layer norm, weight decay, enz.

Evaluatie- en validatiesysteem

• Benchmarksets: gebruik van standaarddatasets (Benchmarks)
• Interne evaluatie: evaluatie op basis van praktijkscenario's
• Continue monitoring: controle van kwaliteit, bias en veiligheid tijdens en na de training

Personeel en organisatorische capaciteiten

• AI/ML-onderzoekers: modelontwerp en algoritmeontwikkeling
• Data-engineers: gegevensverzameling, -opschoning en -beheer
• Infrastructuuringenieurs: beheer van gedistribueerde systemen en cloud/on-premises
• Projectmanagers: planning, budget- en kwaliteitsbeheer

Ethische, juridische en beveiligingsoverwegingen

• AI-ethiek: bias, veiligheid, transparantie en verantwoordelijkheid
• Wettelijke naleving: privacy, auteursrecht en datasoevereiniteit
• Beveiliging: voorkomen van datalekken en modellekken, toegangscontrole

Momenteel zijn er wereldwijd ongeveer 2.000 AI-onderzoekers, van wie de meesten bovendien geconcentreerd zijn bij bigtechbedrijven zoals META, Google en XAI. In Zuid-Korea zijn teams die rechtstreeks alles kunnen ontwerpen, van gegevensverzameling tot grootschalige trainingsinfrastructuur, om een Foundation-model te bouwen uiterst zeldzaam.

3. Met weinig personeel een enorm taalmodel bouwen.

Op basis van meer dan tien jaar ervaring met onderzoek naar deep learning en machine learning richtte CEO Lee Hwan-ho drie jaar geleden het bedrijf (CLEVI) op met als doel “de beste AI ter wereld te bouwen”.

Door alle processen zelf te ontwerpen — waaronder het opzetten van de eigen datapijplijn, het ontwerpen van grootschalige gedistribueerde deep-learninginfrastructuur, de ontwikkeling van modelarchitecturen en kwaliteitsvalidatie — heeft het bedrijf de capaciteiten opgebouwd die nodig zijn voor de ontwikkeling van een Foundation Model.

Na meerdere trainingsrondes beschikken we nu over het Clevi-5-x-model, dat kan concurreren met de beste modellen ter wereld.

Om extreem grote taalmodellen effectief te trainen, is infrastructuur nodig waarin honderden tot duizenden GPU's in een cluster worden verbonden, zodat tegelijkertijd tientallen biljarden berekeningen per seconde kunnen worden uitgevoerd. In dit proces zijn technologieën die berekeningssynchronisatie in grootschalige gedistribueerde omgevingen mogelijk maken en communicatielatentie minimaliseren, van cruciaal belang. Tot nu toe konden de meeste bedrijven in eigen land modellen niet goed trainen vanwege het ontbreken van “precisiecontrolealgoritmen”. Door een dergelijk uniek algoritme voor de besturing van gedistribueerde berekeningen zelf te ontwikkelen, is CEO Lee Hwan-ho van Clevi er als eerste in eigen land in geslaagd een extreem groot taalmodel met 1,4 biljoen (1.4 Trillion) parameters te trainen.

4. Waarom we met weinig ontwikkelaars verschillende modellen konden ontwikkelen

Ook de meeste bigtechbedrijven beschikken over technologieën voor grootschalige infrastructuurbeheersing en dataverfijning.

Om dit te beheren zijn honderden tot duizenden onderzoeksmedewerkers nodig.

Toch ontwikkelt en beheert Clevi verschillende modellen met een klein aantal onderzoeksmedewerkers.

Hoe was dit mogelijk?

Clevi ontwikkelt en beheert verschillende modellen met een klein aantal medewerkers dankzij de Teacher-Student Model(Knowledge Distilation)-technologie.

Laten we vervolgens de Teacher-Student-technologie bekijken.

Teacher-Student(kennisdistillatie)

De Teacher-Student-technologie is, eenvoudig gezegd, een technologie waarmee verschillende modellen snel kunnen worden ontwikkeld door met behulp van een extreem groot taalmodel (Teacher Model) een kindmodel (Student Model) te evalueren en feedback te geven, waardoor met weinig medewerkers honderden onderzoeksmedewerkers kunnen worden vervangen.

• Het Mother Model(extreem groot model) evalueert verschillende domeinmodellen en geeft feedback, waardoor honderden onderzoeksmedewerkers worden vervangen.
• Als de training op deze manier via Clevi-x-platform wordt uitgevoerd, kunnen hoogwaardige modellen zoals Reasoning, VLM, Physical AI en Coding Agent binnen 10 tot 15 dagen worden getraind en uitgerold.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision-taalmodel

Beveiligingsagent

5. Technologische en kwalitatieve onderscheidende kenmerken van het Clevi-x-platform

Modelprestaties en schaalbaarheid

• Voorsprong in inferentie (CoT/Reasoning): cip-5-x bevat stapsgewijze logische redenering en het geven van onderbouwingen als onderdeel van zijn ontwerpfilosofie en laat een zeer betrouwbare capaciteit voor berekeningen en interpretatie zien bij het oplossen van wetenschappelijke, wiskundige en technische problemen. Het model wordt momenteel ontworpen en beheerd met als doel prestatieniveaus op het niveau van GPT-5 of hoger te bereiken op basis van interne benchmarks, waarbij reproduceerbaarheid en verifieerbaarheid onder identieke promptomstandigheden als kernkwaliteitsindicatoren worden beheerd.

• Het volledige multimodale spectrum: door doelgerichte VLM (cip-5-vision), grootschalige multimodale verwerkingsmodellen (ivy-4-mm) en lichtgewicht on-device-modellen (ivy-3-text) op één platform te produceren en te combineren, is een optimale combinatie mogelijk die aansluit bij de aard van de taak (zoeken/classificeren/samenvatten versus redeneren/uitleggen/uitvoeren).

Geschiktheid voor enterprise-toepassingen

• On-premises beveiliging en beschikbaarheid: werking binnen het volledige gesloten netwerk (invoer-training-service-back-up), HA-ontwerp, modulaire uitbreiding en SVCE (geïsoleerde veilige uitvoeringsomgeving) zorgen voor gescheiden bescherming van gegevens en modelparameters.
• Snelle implementatie en schaalvergroting: Ivy Chat (multimodale gesprekken/agents voor zakelijke toepassingen) en API Platform (wereldwijde standaard-SaaS) ondersteunen een snelle implementatie en bedrijfsvoering.

Onderscheidende kenmerken van Physical AI

• Door simulaties op basis van NVIDIA Isaac te combineren met evolutionaire reinforcement learning (Evolutionary RL), en door Sim2Real-overdracht en parallelle training met synthetische data toe te passen, zijn de leerefficiëntie en aanpasbaarheid in de praktijk verbeterd. Het feit dat het volledige traject van digitaal leren tot robotica-training en -implementatie wordt gedekt, kent weinig alternatieven.

Servicekwaliteit en governance

• Versiebeheer van modellen/prompts/tools, evaluatiesuites (kennis in het Koreaans en Engels, sectorspecifieke taken, indicatoren voor hallucinaties en veiligheid), wijzigingsbeheer (SLO/SLA) en operationele monitoring (latentie/succespercentage/TCO) worden volgens één platformprocedure beheerd.

Hoewel er momenteel in Zuid-Korea meer dan ongeveer 300 bedrijven actief zijn die AI-modelservices aanbieden,

is CLEVI de enige organisatie die via eigen hoogwaardige foundationmodellen tegelijkertijd on-premises- en clouddiensten kan aanbieden.

6. Methoden om taalmodellen in de industrie toe te passen

Omdat de invoering van AI aanzienlijke investeringen en grondige verificatie vereist, is het essentieel om oplossingen rechtstreeks te vergelijken en uit te proberen om te bepalen of ze bedrijven daadwerkelijk helpen.

• CLEVI gaat verder dan alleen het bouwen van modellen en biedt AI-oplossingen die in de praktijk binnen verschillende sectoren kunnen worden toegepast.
• Zo beschikt CLEVI over een compleet aanbod voor enterprise-kanalen, waaronder Ivy Chat Platform, Clevi API Platform, sectorspecifieke maatwerkoplossingen en ondersteuning voor beveiligingsvereisten.
• CLEVI beschikt over technologische capaciteiten die zowel in eigen land als internationaal moeilijk te vinden zijn, waaronder fysieke AI, robotica en multimodale gegevensverwerking.

CLEVI biedt AI-oplossingen die AI niet als ‘doel’, maar als ‘middel’ inzetten en daadwerkelijk bijdragen aan operationele efficiëntie en industriële innovatie. Ervaar zelf het onderscheidende karakter van een echte From-scratch Foundation-model.

Vragen en demo-aanvragen: [email protected]

Copyright© 2025 Clevi Inc. Alle rechten voorbehouden.