From-scratch Foundation Model CLEVI AI(ivy)

„Kako je mala tvrtka uspjela izraditi veliki jezični model umjetne inteligencije svjetske razine?”

Kako je mali startup izradio veliki jezični model?

To je pitanje koje je CLEVI najčešće dobivao nakon što je predstavio svoj Foundation model s 1,4 bilijuna parametara.

Za razliku od mnogih tvrtki koje jednostavno fino podešavaju modele otvorenog koda, CLEVI je samostalno proveo cijeli proces, od prikupljanja podataka, dizajna modela i velikog distribuiranog učenja do provjere kvalitete.

U nastavku detaljno predstavljamo tajnu uspjeha i konkurentske prednosti.

1. Mali tvrtka izrađuje veliki jezični model?

U srpnju 2025., kada je CLEVI na tržište predstavio vlastiti veliki jezični model, brojni korisnici bili su iznenađeni i skeptični. „Je li doista samostalno razvijen?” „Nije li riječ samo o neznatno izmijenjenom modelu otvorenog koda?”

Mnoge domaće i međunarodne tvrtke doista samo provode prijenosno učenje (fine-tuning) modela otvorenog koda i promoviraju ih kao vlastite modele.

Međutim, CLEVI je istaknuo **‘From-scratch Foundation Model’**.

Drugim riječima, samostalno je osmislio i proveo cijeli proces, od prikupljanja podataka, dizajna modela i velikog distribuiranog učenja do provjere kvalitete.

2. Zašto je razvoj velikog jezičnog modela težak

Da bi se naučio From-Scratch Foundation Model, potrebno je obuhvatiti učenje svih dolje navedenih elemenata.

Potreban je veliki skup podataka visoke kvalitete

• Raznolikost: osiguravanje raznolikosti jezika, domena i formata (tekst, slike itd.)
• Pročišćavanje: uklanjanje šuma, upravljanje kvalitetom te filtriranje dupliciranih/štetnih podataka
• Licenciranje: jasno definiranje autorskih prava i prava na korištenje podataka

Velika računalna infrastruktura

• Klasteri visokoučinkovitih GPU/TPU uređaja: tehnologija za integraciju opreme s tisućama do desecima tisuća čvorova radi podrške velikom distribuiranom učenju
• Okvir za učinkovito distribuirano učenje: DeepSpeed, Megatron-LM, Ray itd.
• Pohrana/mreža: ulaz i izlaz velikih količina podataka te okruženje s brzom mrežom

Dizajn arhitekture modela

• Odražavanje najnovije arhitekture: Transformer, MoE(Mixture of Experts), multimodalnost itd.
• Skalabilnost: uzimanje u obzir proširivosti broja parametara, broja slojeva, duljine ulaza itd.
• Učinkovitost: optimizacija brzine treniranja/zaključivanja i upotrebe memorije

Strategije i algoritmi treniranja

• Ciljevi prettreniranja: jezični modeli (npr. next token prediction), multimodalni modeli (npr. contrastive learning) itd.
• Tehnike optimizacije: mixed precision, gradient accumulation, learning rate schedule itd.
• Normalizacija/stabilizacija: dropout, layer norm, weight decay itd.

Sustav evaluacije i provjere

• Skupovi za usporedbu: upotreba standardnih skupova podataka (Benchmarks)
• Interna evaluacija: evaluacija na temelju scenarija stvarne upotrebe
• Kontinuirano praćenje: provjera kvalitete, pristranosti i sigurnosti tijekom i nakon treniranja

Stručnost osoblja i organizacije

• AI/ML istraživači: dizajn modela, razvoj algoritama
• Podatkovni inženjeri: prikupljanje/pročišćavanje/upravljanje podacima
• Infrastrukturni inženjeri: distribuirani sustavi, upravljanje cloud/on-premises okruženjima
• Voditelji projekata: upravljanje rokovima, proračunom i kvalitetom

Etička, pravna i sigurnosna pitanja

• Etika umjetne inteligencije: pristranost, sigurnost, transparentnost, odgovornost
• Usklađenost sa zakonom: osobni podaci, autorska prava, suverenitet podataka
• Sigurnost: sprječavanje curenja podataka/modela, kontrola pristupa

Trenutačno u cijelom svijetu postoji približno 2.000 AI istraživača, a većina njih koncentrirana je u velikim tehnološkim kompanijama poput META-e, Googlea i XAI-ja. Timovi koji u Južnoj Koreji mogu izravno osmisliti i izgraditi Foundation model, od prikupljanja podataka do infrastrukture za treniranje velikih razmjera, iznimno su rijetki.

3. Izgradnja velikog jezičnog modela s malim brojem zaposlenika.

Na temelju više od 10 godina iskustva u istraživanju dubokog učenja i strojnog učenja, izvršni direktor Lee Hwan-ho prije tri godine osnovao je tvrtku (Clevi) s ciljem „stvaranja najbolje umjetne inteligencije na svijetu”.

Izravnim osmišljavanjem svih procesa, uključujući izgradnju vlastitog podatkovnog lanca, dizajn distribuirane infrastrukture za duboko učenje velikih razmjera, razvoj arhitekture modela i provjeru kvalitete, tvrtka je stekla kompetencije potrebne za razvoj Foundation Modela.

Nakon treniranja modela u više navrata, tvrtka sada posjeduje model Clevi-5-x koji se može usporediti s najboljim modelima na svijetu.

Za učinkovito treniranje velikih jezičnih modela potrebna je infrastruktura koja povezuje od nekoliko stotina do nekoliko tisuća GPU-ova u klaster, omogućujući istodobnu obradu računa brzinom od nekoliko kvadrilijuna operacija u sekundi. U tom su procesu ključne tehnologije koje minimiziraju sinkronizaciju izračuna i komunikacijska kašnjenja u velikim distribuiranim okruženjima. Dosad većina domaćih tvrtki nije mogla pravilno trenirati modele jer nije postojao „algoritam preciznog upravljanja”. Hwan-ho Lee, izvršni direktor tvrtke CLEVI, vlastitim je razvojem takvog neovisnog algoritma za upravljanje distribuiranim izračunima prvi u zemlji uspješno trenirao veliki jezični model s 1,4 bilijuna (1.4 Trillion) parametara.

4. Zašto je bilo moguće razvijati različite modele s malim brojem razvojnih stručnjaka

Većina velikih tehnoloških tvrtki također posjeduje tehnologije za upravljanje velikom infrastrukturom i pročišćavanje podataka.

Za njihovo upravljanje potrebno je nekoliko stotina do nekoliko tisuća istraživača.

Međutim, CLEVI razvija i posjeduje različite modele s malim brojem istraživača.

Kako je to bilo moguće?

CLEVI razvija i posjeduje različite modele s malim brojem stručnjaka zahvaljujući tehnologiji Teacher-Student Model(Knowledge Distilation).

Pogledajmo sada tehnologiju Teacher-Student.

Teacher-Student (destilacija znanja)

Tehnologija Teacher-Student jednostavno rečeno omogućuje brzo razvijanje različitih modela s malim brojem stručnjaka, zamjenjujući stotine istraživača procjenjivanjem i davanjem povratnih informacija o modelu Student Model putem velikog jezičnog modela (Teacher Model).

• Mother Model (veliki model) procjenjuje različite modele i daje im povratne informacije, zamjenjujući stotine istraživača.
• Ako se na ovaj način provodi treniranje putem platforme Clevi-x-platform, modeli visokih performansi kao što su Reasoning, VLM, Physical AI i Coding Agent mogu se istrenirati i implementirati za 10–15 dana.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Sigurnosni agent

5. Diferencijacija tehnologije i kvalitete platforme Clevi-x-platform

Performanse i skalabilnost modela

• Prednost u zaključivanju (CoT/Reasoning): cip-5-x u svoju filozofiju dizajna uključuje postupni razvoj logike i iznošenje obrazloženja, čime pokazuje visoku razinu pouzdanosti u računanju i interpretaciji pri rješavanju znanstvenih, matematičkih i inženjerskih problema. Na temelju internih referentnih testova dizajniran je i trenutno se razvija s ciljem postizanja performansi na razini GPT-5 ili višoj, dok se ponovljivost i provjerljivost pod istim uvjetima upita upravljaju kao ključni pokazatelji kvalitete.

• Cijeli spektar multimodalnosti: kombiniranjem namjenski orijentiranog VLM-a (cip-5-vision), multimodalnog procesnog modela velikog kapaciteta (ivy-4-mm) i laganog modela na uređaju (ivy-3-text) na jednoj platformi moguće je odabrati optimalnu kombinaciju prilagođenu karakteristikama zadatka (pretraživanje/klasifikacija/sažimanje nasuprot zaključivanju/objašnjavanju/izvršavanju).

Primjenjivost u poduzećima

• Sigurnost i dostupnost u lokalnom okruženju: rad unutar cijelog zatvorenog mrežnog okruženja (unos–učenje–usluga–sigurnosna kopija), HA dizajn, modularno proširenje i SVCE (izolirano sigurno izvršno okruženje) omogućuju odvojenu zaštitu podataka i parametara modela.
• Brza implementacija i proširenje: Ivy Chat (multimodalni razgovor/agent za poslovne zadatke) i API Platform (globalni standardni SaaS) podržavaju brzu primjenu i rad.

Diferencijacija fizičkog AI-ja (Physical AI)

• Kombiniranjem simulacije temeljene na NVIDIA Isaacu i evolucijskog učenja s potkrepljivanjem (Evolutionary RL), uz prijenos Sim2Real i paralelno učenje na sintetičkim podacima, povećali smo učinkovitost učenja i prilagodljivost na terenu. Malo je zamjenskih rješenja koja pokrivaju cijeli raspon od digitalnog učenja i robotskog učenja do implementacije.

Kvaliteta usluge i upravljanje

• Upravljanje verzijama modela, upita i alata, evaluacijskim paketom (znanje na korejskom i engleskom jeziku, zadaci po industrijama, pokazatelji halucinacija i sigurnosti), upravljanjem promjenama (SLO/SLA) i operativnim nadzorom (latencija, stopa uspješnosti, TCO) provodi se kroz jedinstvene platformske postupke.

Trenutačno u Južnoj Koreji postoji više od približno 300 poduzeća koja pružaju usluge AI modela, ali

CLEVI je jedina tvrtka koja putem vlastitih visokoučinkovitih temeljnih modela može istodobno pružati lokalne i oblačne usluge.

6. Načini primjene jezičnih modela u industriji

Budući da uvođenje AI-ja zahtijeva velika ulaganja i temeljitu provjeru, nužno je izravno usporediti i isprobati rješenje kako bi se potvrdilo da ono doista koristi poduzeću.

• CLEVI ne stvara samo modele, već pruža AI rješenja primjenjiva u stvarnim industrijskim okruženjima.
• Na primjer, opremljen je cjelovitim ponudama za poslovne korisnike, uključujući Ivy Chat Platform, Clevi API Platform, prilagodbu za pojedine industrije i usklađivanje sa sigurnosnim zahtjevima.
• Posjeduje tehnološke sposobnosti koje je teško pronaći u zemlji i inozemstvu, uključujući fizički AI, robotiku i multimodalnu obradu podataka.

CLEVI pruža konkretna AI rješenja koja AI ne tretiraju kao „cilj”, već kao „sredstvo” za doprinos stvarnoj učinkovitosti poslovanja i industrijskim inovacijama.Iskusite izravno razliku pravog From-scratch Foundation modela.

Upiti i zahtjevi za demonstraciju: [email protected]

Copyright© 2025 Clevi Inc. Sva prava pridržana.