A kezdetektől felépített Foundation Model – CLEVI AI (ivy)

„Hogyan tudott egy kis vállalat világszínvonalú, óriási nyelvi modellt létrehozni?”

Hogyan hozott létre egy kis startup óriási nyelvi modellt?

Ez a leggyakrabban feltett kérdés azóta, hogy a CLEVI bemutatta 1,4 billió paraméteres Foundation modelljét.

Míg számos vállalat csupán finomhangolja a nyílt forráskódú modelleket, a CLEVI minden folyamatot önállóan végzett el, az adatgyűjtéstől és a modell megtervezésétől kezdve a nagyméretű, elosztott tanításon át a minőségellenőrzésig.

Az alábbiakban részletesen bemutatjuk ennek titkát és versenyelőnyét.

1. Egy kis vállalat óriási nyelvi modellt hoz létre?

Amikor a CLEVI 2025 júliusában piacra bocsátotta saját fejlesztésű, óriási nyelvi modelljét, számtalan ügyfél (felhasználó) meglepetten és kétkedve fogadta a hírt. „Valóban saját fejlesztésről van szó?” „Nem csupán kissé módosítottak egy nyílt forráskódú modellt?”

Valójában számos hazai és külföldi vállalat csupán transzfertanítást (fine-tuning) végez a nyílt forráskódú modelleken, majd ezeket saját modellként népszerűsíti.

A CLEVI azonban a **„From-scratch Foundation Model”** koncepciót képviselte.

Vagyis az adatgyűjtéstől és a modell megtervezésétől kezdve a nagyméretű, elosztott tanításon át a minőségellenőrzésig minden folyamatot közvetlenül tervezett meg és hajtott végre.

2. Miért nehéz óriási nyelvi modellt fejleszteni?

A From-Scratch Foundation Model tanításához az alábbi elemek mindegyikére szükség van.

Nagy méretű, kiváló minőségű adatkészletre van szükség

• Sokféleség: a nyelvek, a szakterületek és a formátumok (szöveg, kép stb.) sokféleségének biztosítása
• Adattisztítás: a zaj eltávolítása, minőség-ellenőrzés, a duplikált/káros adatok szűrése
• Licencelés: a szerzői jogok és az adathasználati jogok egyértelmű meghatározása

Nagy méretű számítási infrastruktúra

• Nagy teljesítményű GPU/TPU-fürtök: több ezer-tízezer csomópont eszközeinek integrálása a nagyméretű, elosztott tanulást támogató technológiával
• Hatékony elosztott tanulási keretrendszerek: DeepSpeed, Megatron-LM, Ray stb.
• Tárhely/hálózat: nagy mennyiségű adat be- és kimenetének kezelése, nagy sebességű hálózati környezet

Modellarchitektúra tervezése

• A legújabb architektúrák alkalmazása: Transformer, MoE (Mixture of Experts), multimodális megoldások stb.
• Skálázhatóság: a paraméterek számának, a rétegek számának, a bemeneti hosszúságnak és egyéb tényezőknek a bővíthetősége
• Hatékonyság: a tanítási és következtetési sebesség, valamint a memóriahasználat optimalizálása

Tanítási stratégiák és algoritmusok

• Előtanítási célok: nyelvi modellezés (például next token prediction), multimodális megoldások (például contrastive learning) stb.
• Optimalizálási módszerek: mixed precision, gradient accumulation, learning rate schedule stb.
• Normalizálás és stabilizálás: dropout, layer norm, weight decay stb.

Értékelési és validációs rendszer

• Benchmarkkészletek: szabványos adatkészletek (Benchmarks) használata
• Belső értékelés: valós használati forgatókönyveken alapuló értékelés
• Folyamatos monitorozás: a minőség, az elfogultság és a biztonságosság ellenőrzése a tanítás során és után

Szakmai és szervezeti kompetenciák

• AI/ML-kutatók: modelltervezés, algoritmusfejlesztés
• Adatmérnökök: adatgyűjtés, -tisztítás és -kezelés
• Infrastruktúramérnökök: elosztott rendszerek, felhő- és helyszíni infrastruktúra kezelése
• Projektmenedzserek: ütemezés, költségvetés és minőség kezelése

Etikai, jogi és biztonsági szempontok

• AI-etika: elfogultság, biztonságosság, átláthatóság és elszámoltathatóság
• Jogi megfelelés: személyes adatok, szerzői jogok és adatszuverenitás
• Biztonság: az adatok és modellek kiszivárgásának megakadályozása, hozzáférés-szabályozás

Jelenleg világszerte mintegy 2000 AI-kutató dolgozik, és többségük olyan big tech vállalatoknál összpontosul, mint a META, a Google és az XAI. Rendkívül kevés olyan csapat van Dél-Koreában, amely az adatgyűjtéstől a nagyméretű tanítási infrastruktúráig közvetlenül meg tudja tervezni és létre tudja hozni a Foundation modellt.

3. Hogyan hoztunk létre egy óriási nyelvi modellt kevés munkatárssal.

I-Hvanho vezérigazgató több mint 10 év mélytanulási és gépi tanulási kutatási tapasztalatára támaszkodva három évvel ezelőtt azzal a céllal alapította meg a vállalatot (CLEVI), hogy „létrehozza a világ legjobb AI-rendszerét”.

A vállalat saját adatcsatornáinak kiépítésétől a nagyméretű elosztott mélytanulási infrastruktúra megtervezésén, a modellarchitektúra fejlesztésén és a minőségellenőrzésen át minden folyamatot közvetlenül megtervezett, így megszerezte a Foundation Model fejlesztéséhez szükséges kompetenciákat.

Több modell betanításának eredményeként jelenleg a világ legjobb modelljeivel összemérhető Clevi-5-x modellel rendelkezik.

A nagyméretű nyelvi modellek hatékony betanításához olyan infrastruktúrára van szükség, amely több száz, akár több ezer GPU-t kapcsol klaszterbe, és másodpercenként több tízmilliárd számítás egyidejű feldolgozására képes. Ebben a folyamatban kulcsfontosságúak azok a technológiák, amelyek minimalizálják a számítások szinkronizálásának szükségességét és a kommunikációs késleltetést nagyméretű, elosztott környezetben. Eddig Dél-Koreában a „precíz vezérlési algoritmusok” hiánya miatt a legtöbb vállalat nem tudta megfelelően betanítani modelljeit. Lee Hwan-ho, a CLEVI vezérigazgatója ilyen egyedi, elosztott számításvezérlési algoritmus önálló fejlesztésével elsőként Dél-Koreában sikeresen betanított egy 1,4 billió (1.4 Trillion) paraméteres nagyméretű nyelvi modellt.

4. Miért tudtunk kis létszámú fejlesztői csapattal különféle modelleket fejleszteni

A legtöbb big tech vállalat szintén rendelkezik nagyléptékű infrastruktúra-vezérlési és adattisztítási technológiákkal.

Ezek kezeléséhez több száz vagy akár több ezer kutatóra van szükség.

A CLEVI azonban kis létszámú kutatói csapattal is különféle modelleket fejleszt és tart fenn.

Hogyan volt ez lehetséges?

A CLEVI a Teacher-Student Model (Knowledge Distilation) technológia révén kis létszámú csapattal fejleszt és tart fenn különféle modelleket.

Nézzük meg közelebbről a Teacher-Student technológiát.

Teacher-Student (tudásdesztilláció)

A Teacher-Student technológia egyszerűen fogalmazva olyan technológia, amelyben egy nagyméretű nyelvi modell (Teacher Model) értékeli és visszajelzésekkel látja el a gyermekmodellt (Student Model), így kis létszámú csapattal is több száz kutató munkája váltható ki, és különféle modellek fejleszthetők gyorsan.

• A Mother Model (nagyméretű modell) különböző területek modelljeit értékeli és látja el visszajelzésekkel, így több száz kutató munkáját váltja ki.
• Ha a tanítást ezen a módon, a Clevi-x-platformon keresztül végezzük, akkor olyan nagy teljesítményű modellek, mint a Reasoning, a VLM, a Physical AI és a Coding Agent, 10–15 nap alatt betaníthatók és üzembe helyezhetők.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Biztonsági ügynök

5. A Clevi-x-platform technológiájának és minőségének megkülönböztető jellemzői

Modellteljesítmény és skálázhatóság

• Következtetési (CoT/Reasoning) fölény: a cip-5-x tervezési filozófiájának része a lépésenkénti logikai levezetés és az indoklás bemutatása, így nagy megbízhatóságú számítási és értelmezési képességet biztosít tudományos, matematikai és mérnöki problémák megoldásában. Belső benchmarkok alapján GPT-5-szintű vagy annál magasabb teljesítmény elérésére tervezzük és üzemeltetjük, miközben az azonos promptfeltételek melletti reprodukálhatóságot és ellenőrizhetőséget kiemelt minőségi mutatóként kezeljük.

• A multimodalitás teljes spektruma: a célorientált VLM-et (cip-5-vision), a nagyméretű multimodális feldolgozómodellt (ivy-4-mm) és a könnyű, eszközön futó modellt (ivy-3-text) egyetlen platformon állítjuk elő és kombináljuk, így a feladat jellemzőihez (keresés/osztályozás/összefoglalás, illetve következtetés/magyarázat/végrehajtás) igazodó optimális kombináció alakítható ki.

Vállalati alkalmazhatóság

• On-premise biztonság és rendelkezésre állás: a teljes folyamat zárt hálózaton belüli üzemeltetése (bevitel–tanítás–szolgáltatás–mentés), HA-tervezés, moduláris bővíthetőség és az SVCE (izolált biztonságos végrehajtási környezet) révén az adatokat és a modellparamétereket elkülönítve védjük.
• Gyors bevezetés és skálázás: az Ivy Chat (üzleti célú multimodális párbeszéd/ügynök) és az API Platform (globális szabványos SaaS) gyors alkalmazást és üzemeltetést támogat.

A fizikai AI (Physical AI) megkülönböztető jellemzői

• Az NVIDIA Isaac-alapú szimuláció és az evolúcióalapú megerősítéses tanulás (Evolutionary RL) kombinációja, valamint a Sim2Real átmenet és a szintetikus adatokkal végzett párhuzamos tanulás növeli a tanulás hatékonyságát és a terepi alkalmazkodóképességet. Kevés alternatíva képes a digitális és robotikai tanulástól a telepítésig terjedő teljes folyamatot lefedni.

Szolgáltatásminőség és irányítás

• A modell-, prompt- és eszközverziók kezelését, az értékelési készletet (koreai és angol nyelvű tudás, iparágankénti feladatok, hallucinációs és biztonsági mutatók), a változáskezelést (SLO/SLA), valamint az üzemeltetési megfigyelhetőséget (késleltetés, sikerességi arány, TCO) egyetlen platformon, egységes eljárásrend szerint kezeljük.

Jelenleg Dél-Koreában több mint mintegy 300 AI-modellszolgáltató vállalat működik,

azonban a CLEVI az egyetlen, amely nagy teljesítményű, saját fejlesztésű alaponmodellel egyszerre képes on-premise és felhőalapú szolgáltatásokat nyújtani.

6. A nyelvi modellek iparági alkalmazásának módjai

Mivel az AI bevezetése jelentős beruházást és alapos validációt igényel, elengedhetetlen a megoldások közvetlen összehasonlítása és kipróbálása annak megállapításához, hogy valóban hasznosak-e a vállalat számára.

• A CLEVI nem csupán modelleket fejleszt, hanem a valós ipari környezetben is alkalmazható AI-megoldásokat kínál.
• Teljes körű vállalati csatornákat biztosít, többek között az Ivy Chat Platformot, a Clevi API Platformot, az iparág-specifikus testreszabást és a biztonsági követelményeknek való megfelelést.
• Olyan, belföldön és nemzetközileg is ritka technológiai képességekkel rendelkezik, mint a fizikai AI, a robotika és a multimodális adatfeldolgozás.

A CLEVI az AI-t nem „célként”, hanem „eszközként” alkalmazva olyan kézzelfogható AI-megoldásokat kínál, amelyek hozzájárulnak a tényleges munkahatékonysághoz és az ipari innovációhoz. Tapasztalja meg közvetlenül az igazi From-scratch Foundation modellek megkülönböztető értékét.

Érdeklődés és demókérés: [email protected]

Copyright© 2025 Clevi Inc. Minden jog fenntartva.