Foundation-model van nuuts af 클레비 AI(ivy)

“Hoe kon ’n klein maatskappy daarin slaag om ’n supergroot KI-taalmodel van wêreldgehalte te bou?”

Hoe het ’n klein beginonderneming ’n supergroot taalmodel gebou?

Dit is die vraag wat die meeste gevra is nadat 클레비 ’n Foundation-model met 1,4 biljoen parameters bekendgestel het.

Anders as baie maatskappye wat oopbronmodelle eenvoudig fyn instel, het 클레비 die hele proses onafhanklik uitgevoer — van data-insameling en modelontwerp tot grootskaalse verspreide opleiding en gehalteverifiëring.

Hieronder verduidelik ons die geheim agter hierdie prestasie en die mededingende voordeel in besonderhede.

1. ’n Klein maatskappy bou ’n supergroot taalmodel?

In Julie 2025, toe 클레비 sy selfontwikkelde supergroot KI-taalmodel aan die mark bekendgestel het, was talle kliënte (gebruikers) in beroering met verbasing en twyfel. “Is dit werklik self ontwikkel?” “Is dit nie maar net ’n oopbronmodel wat effens aangepas is nie?”

In werklikheid het baie maatskappye plaaslik en internasionaal slegs oopbronmodelle eenvoudig deur oordragleer (fine-tuning) aangepas en dit as hul eie modelle bemark.

Maar 클레비 het ’n **‘Foundation-model van nuuts af’** voorgehou.

Met ander woorde, hulle het elke proses direk ontwerp en uitgevoer — van data-insameling en modelontwerp tot grootskaalse verspreide opleiding en gehalteverifiëring.

2. Waarom die ontwikkeling van ’n supergroot taalmodel moeilik is

Om ’n Foundation-model van nuuts af op te lei, moet al die onderstaande komponente aangeleer en voorberei word.

’n Grootskaalse hoëgehalte-datastel is nodig

• Diversiteit: Verseker diversiteit in tale, domeine en formate (teks, beelde, ens.)
• Suiwering: Verwyder geraas, bestuur gehalte en filtreer duplikaat-/skadelike data
• Lisensiëring: Verduidelik kopiereg en datagebruiksregte

Grootskaalse rekenaarinfrastruktuur

• Hoëprestasie-GPU/TPU-kluster: Integreer toerusting met duisende tot tienduisende nodusse om ondersteuning vir grootskaalse verspreide opleiding te bied
• Doeltreffende raamwerk vir verspreide opleiding: DeepSpeed, Megatron-LM, Ray, ens.
• Berging/netwerk: Groot datainvoer en -uitvoer, asook ’n vinnige netwerkomgewing

Ontwerp van modelargitektuur

• Weerspieëling van die nuutste argitekture: Transformer, MoE (Mixture of Experts), multimodaal, ens.
• Skaalbaarheid: Oorweging van uitbreidbaarheid, soos die aantal parameters, lae en invoerlengte
• Doeltreffendheid: Optimalisering van opleidings-/afleidingspoed en geheuegebruik

Opleidingstrategieë en algoritmes

• Vooropleidingdoelwitte: Taalmodelle (bv. next token prediction), multimodaal (bv. contrastive learning), ens.
• Optimaliseringstegnieke: mixed precision, gradient accumulation, learning rate schedule, ens.
• Normalisering/stabilisering: dropout, layer norm, weight decay, ens.

Evaluering- en valideringstelsel

• Maatstawwe: Gebruik van standaarddatastelle (Benchmarks)
• Interne evaluering: Evaluering gebaseer op werklike gebruikscenario's
• Deurlopende monitering: Kontrole van gehalte, vooroordeel en veiligheid tydens en ná opleiding

Personeel- en organisatoriese vermoëns

• AI/ML-navorsers: Modelontwerp en algoritmeontwikkeling
• Data-ingenieurs: Data-insameling, -suiwering en -bestuur
• Infrastruktuuringenieurs: Verspreide stelsels en bestuur van wolk-/plaaslike infrastruktuur
• Projekbestuurders: Skedule-, begrotings- en gehaltebestuur

Etiese, regs- en sekuriteitsoorwegings

• AI-etiek: Vooroordeel, veiligheid, deursigtigheid en aanspreeklikheid
• Regsnakoming: Privaatheid, kopiereg en datasoewereiniteit
• Sekuriteit: Voorkoming van data-/modellekasie en toegangsbeheer

Daar is tans wêreldwyd ongeveer 2 000 AI-navorsingspersoneellede, en die meeste van hulle is boonop gekonsentreer by groot tegnologiemaatskappye soos META, Google en XAI. Spanne wat binnelands alles van data-insameling tot grootskaalse opleidingsinfrastruktuur direk kan ontwerp om 'n Foundation-model te skep, is uiters skaars.

3. Om 'n uiters groot taalmodel met min personeel te bou.

Gebaseer op meer as 10 jaar se ervaring in diep leer en masjienleer, het uitvoerende hoof Hwan-ho Lee die maatskappy (Clevi) drie jaar gelede gestig met die doel om “die wêreld se beste AI te skep”.

Deur elke proses direk te ontwerp—van die bou van die maatskappy se eie datapyplyn, die ontwerp van grootskaalse verspreide diep-leer-infrastruktuur, modelargitektuurontwikkeling en gehalteverifikasie—het die maatskappy die vermoëns verwerf wat nodig is vir die ontwikkeling van 'n Foundation Model.

Ná verskeie rondtes van modelopleiding beskik die maatskappy nou oor die Clevi-5-x-model, wat met modelle van wêreldklas kan meeding.

Om groottaalmodelle doeltreffend op te lei, is infrastruktuur nodig wat honderde tot duisende GPU’s aan ’n kluster koppel en berekeninge van etlike kwadriljoene per sekonde gelyktydig kan verwerk. In hierdie proses is tegnologieë wat berekeningsinchronisasie en kommunikasievertragings in grootskaalse verspreide omgewings tot die minimum beperk, noodsaaklik. Tot dusver kon die meeste ondernemings plaaslik nie modelle behoorlik oplei nie weens die afwesigheid van “presisiebeheer-algoritmes”. Deur hierdie unieke algoritme vir die beheer van verspreide berekeninge self te ontwikkel, het Clevi se uitvoerende hoof, Lee Hwan-ho, daarin geslaag om Suid-Korea se eerste groottaalmodel met 1,4 biljoen (1.4 Trillion) parameters op te lei.

4. Waarom dit moontlik was om verskeie modelle met ’n klein aantal ontwikkelaars te ontwikkel

Die meeste groottegnologiemaatskappye beskik ook oor tegnologieë vir grootskaalse infrastruktuurbeheer en dataverfyning.

Om dit te bestuur, is honderde tot duisende navorsingspersoneellede nodig.

Clevi ontwikkel en besit egter verskeie modelle met ’n klein aantal navorsingspersoneellede.

Hoe was dit moontlik?

Deur Teacher-Student Model(Knowledge Distilation)-tegnologie ontwikkel en besit Clevi verskeie modelle met ’n klein aantal personeellede.

Kom ons kyk vervolgens na Teacher-Student-tegnologie.

Teacher-Student(kenn distillasie)

Teacher-Student-tegnologie is eenvoudig gestel ’n tegnologie waarmee ’n kindmodel (Student Model) deur middel van ’n groottaalmodel (Teacher Model) geëvalueer en van terugvoer voorsien word, waardeur honderde navorsingspersoneellede deur ’n klein aantal personeellede vervang word en verskeie modelle vinnig ontwikkel kan word.

• Die Mother Model(groottaalmodel) evalueer en voorsien terugvoer oor modelle in verskeie gebiede, en vervang honderde navorsingspersoneellede.
• Indien opleiding op hierdie manier deur Clevi-x-platform uitgevoer word, kan hoëprestasiemodelle soos Reasoning, VLM, Physical AI en Coding Agent binne 10–15 dae opgelei en ontplooi word.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Visie-taalmodel

Sekuriteitsagent

5. Differensiasie van Clevi-x-platform se tegnologie en kwaliteit

Modelprestasie en skaalbaarheid

• Voorsprong in redenasie (CoT/Reasoning): cip-5-x sluit stapsgewyse logiese ontwikkeling en die aanbieding van gronde by sy ontwerpfilosofie in en toon hoë-betroubaarheid-berekenings- en interpretasievermoëns in wetenskaplike, wiskundige en ingenieursprobleemoplossing. Op grond van interne maatstawwe word dit ontwerp en bedryf met die doel om prestasievermoëns op GPT-5-vlak of hoër te bereik, terwyl reproduseerbaarheid en verifieerbaarheid onder dieselfde prompt-voorwaardes as kerngehalte-aanwysers bestuur word.

• Die volledige spektrum van multimodaliteit: Deur die doelgerigte VLM (cip-5-vision), die groot multimodale verwerkingsmodel (ivy-4-mm) en die liggewig-op-toestel-model (ivy-3-text) op een platform te produseer en te kombineer, is optimale kombinasies moontlik volgens die taak se eienskappe (soektog/klassifikasie/opsomming teenoor redenasie/verduideliking/uitvoering).

Geskiktheid vir ondernemingsgebruik

• Sekuriteit en beskikbaarheid op perseel: Bedryf oor die hele geslote netwerk (invoer-opleiding-diens-rugsteun), met HA-ontwerp, modulêre uitbreiding en SVCE (geïsoleerde veilige uitvoeringsomgewing) om data en modelparameters geskei te beskerm.
• Vinnige implementering en uitbreiding: Ivy Chat (taakgerigte multimodale gesprek/agent) en API Platform (globale standaard-SaaS) ondersteun vinnige toepassing en bedryf.

Onderskeidende kenmerke van fisiese KI (Physical AI)

• Deur NVIDIA Isaac-gebaseerde simulasie met evolusiegebaseerde versterkingsleer (Evolutionary RL) te kombineer, en met Sim2Real-oordrag en parallelle opleiding met sintetiese data, is opleidingsdoeltreffendheid en aanpasbaarheid in die veld verbeter. Die vermoë om alles van digitale en robotika-opleiding tot ontplooiing te dek, het min plaasvervangers.

Diensgehalte en bestuur

• Model-, prompt- en instrumentweergawebeheer, evalueringsstelle (kennis in Koreaans en Engels, taakspesifieke nywerheidsassesserings, hallusinasie- en veiligheidsaanwysers), veranderingsbestuur (SLO/SLA) en bedryfsmonitering (latensie, sukseskoers en TCO) word volgens eenvormige platformprosedures bestuur.

Daar bestaan tans meer as ongeveer 300 KI-modeldiensondernemings in Suid-Korea, maar

Klevi is die enigste onderneming wat deur middel van ’n onafhanklike hoëprestasie-grondslagmodel terselfdertyd dienste op perseel en wolkdienste kan aanbied.

6. Maniere om taalmodelle in nywerhede te benut

Aangesien die invoering van KI groot beleggings en deeglike verifikasie vereis, is dit noodsaaklik om oplossings direk te vergelyk en uit te toets om te bepaal of hulle ondernemings in die praktyk help.

• Clevi bou nie bloot modelle nie, maar bied AI-oplossings wat in werklike industriële omgewings toegepas kan word.
• Ons het byvoorbeeld ondernemingskanale volledig toegerus, insluitend Ivy Chat Platform, Clevi API Platform, bedryfspesifieke aanpassing en voldoening aan sekuriteitsvereistes.
• Ons beskik oor tegnologiese vermoëns wat selde plaaslik of internasionaal aangetref word, insluitend fisiese AI, robotika en multimodale dataverwerking.

Clevi bied AI-oplossings met werklike inhoud wat bydra tot werksdoeltreffendheid en nywerheidsinnovasie, deur AI as ’n ‘middel’ eerder as ’n ‘doel’ te gebruik. Ervaar self die onderskeidende kenmerke van ’n ware From-scratch Foundation-model.

Navrae en demo-versoeke: [email protected]

Kopiereg© 2025 Clevi Inc. Alle regte voorbehou.