From-scratch Foundation Model Klévi AI (ivy)

„Kako je mala kompanija uspjela izgraditi jezički model vještačke inteligencije ogromnih razmjera svjetskog nivoa?“

Kako je mali startup izgradio jezički model ogromnih razmjera?

Ovo je pitanje koje smo najčešće dobijali nakon što je Klévi predstavio Foundation model veličine 1,4 biliona parametara.

Za razliku od mnogih kompanija koje jednostavno fino podešavaju open-source modele, Klévi je samostalno proveo cijeli proces, od prikupljanja podataka, dizajna modela i distribuiranog učenja velikih razmjera do provjere kvaliteta.

U nastavku detaljno predstavljamo tu tajnu i konkurentsku prednost.

1. Mala kompanija gradi jezički model ogromnih razmjera?

Kada je Klévi u julu 2025. godine na tržište predstavio vlastiti jezički model ogromnih razmjera, brojni kupci (korisnici) bili su uzbuđeni i skeptični. „Da li je zaista samostalno razvijen?“ „Zar nije samo malo izmijenjen open-source model?“

U praksi, mnoge domaće i strane kompanije samo provode transferno učenje (fine-tuning) open-source modela, a zatim ih promovišu kao vlastite modele.

Međutim, Klévi je istakao **„From-scratch Foundation Model“**.

Drugim riječima, samostalno je osmislio i proveo cijeli proces, od prikupljanja podataka, dizajna modela i distribuiranog učenja velikih razmjera do provjere kvaliteta.

2. Zašto je razvoj jezičkog modela ogromnih razmjera težak

Da bi se obučio From-Scratch Foundation Model, potrebno je obuhvatiti sve stavke navedene u nastavku.

Potreban je veliki skup podataka visokog kvaliteta

• Raznolikost: osiguravanje raznolikosti jezika, domena i formata (tekst, slike itd.)
• Pročišćavanje: uklanjanje šuma, upravljanje kvalitetom i filtriranje dupliranih/štetnih podataka
• Licenciranje: jasno definisanje autorskih prava i prava na korištenje podataka

Računarska infrastruktura velikih razmjera

• Klasteri visokih performansi GPU/TPU: tehnologija za integraciju opreme sa hiljadama do desetinama hiljada čvorova i podršku distribuiranom učenju velikih razmjera
• Efikasan okvir za distribuirano učenje: DeepSpeed, Megatron-LM, Ray itd.
• Skladištenje/mreža: ulaz i izlaz velikih količina podataka, brzo mrežno okruženje

Dizajn arhitekture modela

• Odražavanje najnovije arhitekture: Transformer, MoE (Mixture of Experts), multimodalnost itd.
• Skalabilnost: razmatranje proširivosti broja parametara, broja slojeva, dužine ulaza itd.
• Efikasnost: brzina obuke/zaključivanja, optimizacija korištenja memorije

Strategije i algoritmi obuke

• Ciljevi predtreniranja: jezički model (npr. next token prediction), multimodalnost (npr. contrastive learning) itd.
• Tehnike optimizacije: mixed precision, gradient accumulation, learning rate schedule itd.
• Normalizacija/stabilizacija: dropout, layer norm, weight decay itd.

Sistem evaluacije i verifikacije

• Skupovi za benchmarking: korištenje standardnih skupova podataka (Benchmarks)
• Interna evaluacija: evaluacija na osnovu stvarnih scenarija korištenja
• Kontinuirano praćenje: provjera kvaliteta, pristrasnosti i sigurnosti tokom i nakon obuke

Ljudski resursi i organizacijski kapaciteti

• AI/ML istraživači: dizajn modela, razvoj algoritama
• Inženjeri za podatke: prikupljanje/pročišćavanje/upravljanje podacima
• Infrastrukturni inženjeri: distribuirani sistemi, upravljanje cloud/on-premises okruženjima
• Projektni menadžeri: upravljanje rasporedom, budžetom i kvalitetom

Etička, pravna i sigurnosna pitanja

• Etika AI-ja: pristrasnost, sigurnost, transparentnost, odgovornost
• Usklađenost sa zakonima: privatnost, autorska prava, suverenitet podataka
• Sigurnost: sprečavanje curenja podataka/modela, kontrola pristupa

Trenutno širom svijeta radi približno 2.000 AI istraživača, a većina njih koncentrisana je u velikim tehnološkim kompanijama kao što su META, Google i XAI. Timovi u Južnoj Koreji koji mogu samostalno dizajnirati sve, od prikupljanja podataka do infrastrukture za obuku velikih razmjera, i izraditi Foundation model izuzetno su rijetki.

3. Izrada izuzetno velikog jezičkog modela s malim brojem ljudi.

Na osnovu više od 10 godina iskustva u istraživanju dubokog učenja i mašinskog učenja, izvršni direktor Lee Hwan-ho osnovao je kompaniju (Clevi) prije 3 godine s ciljem da „izgradi najbolju AI tehnologiju na svijetu“.

Direktnim dizajniranjem svih procesa, uključujući izgradnju vlastitog podatkovnog cjevovoda kompanije, dizajn distribuirane infrastrukture za duboko učenje velikih razmjera, razvoj arhitekture modela i provjeru kvaliteta, stekli su kapacitete potrebne za razvoj Foundation Modela.

Kao rezultat obuke modela u više navrata, sada posjeduju model Clevi-5-x koji se može mjeriti s najboljim modelima na svijetu.

Za učinkovito obučavanje ogromnih jezičkih modela potrebna je infrastruktura koja povezuje od nekoliko stotina do nekoliko hiljada GPU-ova u klaster, što omogućava istovremenu obradu izračuna u obimu od nekoliko kvadriliona operacija u sekundi. U tom procesu ključne su tehnologije koje minimiziraju sinhronizaciju izračuna i kašnjenje u komunikaciji u velikim distribuiranim okruženjima. Do sada većina domaćih kompanija nije mogla pravilno obučavati modele zbog nedostatka „algoritama za preciznu kontrolu“. Direktor kompanije Clevi, Lee Hwan-ho, razvio je ovaj vlastiti algoritam za kontrolu distribuiranih izračuna, čime je kompanija prva u zemlji uspješno obučila ogroman jezički model veličine 1,4 biliona (1.4 Trillion) parametara.

4. Razlog zbog kojeg je bilo moguće razvijati različite modele s malim brojem razvojnih kadrova

Većina velikih tehnoloških kompanija također posjeduje tehnologije za kontrolu velike infrastrukture i pročišćavanje podataka.

Za upravljanje njima potrebno je nekoliko stotina do nekoliko hiljada istraživača.

Međutim, Clevi razvija i posjeduje različite modele s malim brojem istraživača.

Kako je to bilo moguće?

Clevi razvija i posjeduje različite modele s malim brojem zaposlenih zahvaljujući tehnologiji Teacher-Student Model (destilacija znanja).

Pogledajmo, dakle, tehnologiju Teacher-Student.

Teacher-Student (destilacija znanja)

Tehnologija Teacher-Student, jednostavno rečeno, omogućava brzo razvijanje različitih modela s malim brojem zaposlenih tako što putem ogromnog jezičkog modela (Teacher Model) procjenjuje i daje povratne informacije o modelu učeniku (Student Model), zamjenjujući tako stotine istraživača.

• Mother Model (ogromni model) procjenjuje različite modele iz različitih oblasti i daje im povratne informacije, zamjenjujući stotine istraživača.
• Ako bi se obučavanje provodilo na ovaj način putem Clevi-x-platform, visokoučinkoviti modeli kao što su Reasoning, VLM, Physical AI i Coding Agent mogli bi se obučiti i implementirati za samo 10–15 dana.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-model za vizuelni jezik

Sigurnosni agent

5. Diferencijacija tehnologije i kvaliteta Clevi-x-platform

Performanse i skalabilnost modela

• Prednost u zaključivanju (CoT/Reasoning): cip-5-x u svoju filozofiju dizajna uključuje postupno razvijanje logike i navođenje osnova, pokazujući visoko pouzdane sposobnosti računanja i interpretacije u rješavanju naučnih, matematičkih i inženjerskih problema. Na osnovu internih referentnih testova, dizajnira se i upravlja s ciljem postizanja performansi na nivou GPT-5 ili višem, dok se reproducibilnost i provjerljivost pod istim uslovima upita upravljaju kao ključni pokazatelji kvaliteta.

• Čitav spektar multimodalnosti: proizvodnjom i kombinovanjem namjenskog VLM-a (cip-5-vision), multimodalnog procesnog modela velikog kapaciteta (ivy-4-mm) i laganog modela za rad na uređaju (ivy-3-text) na jednoj platformi moguće je postići optimalnu kombinaciju prilagođenu karakteristikama zadatka (pretraga/klasifikacija/sažimanje naspram zaključivanja/objašnjavanja/izvršavanja).

Primjenjivost u preduzećima

• Sigurnost i dostupnost u on-premises okruženju: rad u cijelom zatvorenom mrežnom okruženju (unos-obuka-usluga-sigurnosna kopija), HA dizajn, modularno proširivanje i SVCE (izolovano sigurno izvršno okruženje) omogućavaju odvojenu zaštitu podataka i parametara modela.
• Brzo uvođenje i proširivanje: Ivy Chat (multimodalni razgovor/agent za poslovne zadatke) i API Platform (globalni standardni SaaS) podržavaju brzu primjenu i rad.

Diferencijacija fizičke AI (Physical AI)

• Kombinacijom simulacije zasnovane na NVIDIA Isaac i evolucijskog učenja s potkrepljenjem (Evolutionary RL), uz Sim2Real prenos i paralelno učenje na sintetičkim podacima, povećana je efikasnost učenja i prilagodljivost na terenu. Malo je alternativa koje pokrivaju cijeli put od digitalnog učenja i robotike do implementacije.

Kvalitet usluga i upravljanje

• Upravljanje verzijama modela/alata za upite, evaluacionim paketom (znanje na korejskom i engleskom jeziku, zadaci po industrijama, pokazatelji halucinacija i sigurnosti), upravljanjem promjenama (SLO/SLA) i operativnim nadzorom (latencija, stopa uspješnosti, TCO) vrši se kroz jedinstvene platformne procedure.

Trenutno u Južnoj Koreji postoji više od približno 300 kompanija koje pružaju usluge AI modela, ali

Klevis je jedina kompanija koja putem vlastitih visokoperformansnih temeljnih modela može istovremeno pružati on-premises i cloud usluge.

6. Načini korištenja jezičkih modela u industriji

Budući da uvođenje AI-ja zahtijeva ogromna ulaganja i temeljitu provjeru, proces direktnog poređenja i isprobavanja kako bi se utvrdilo da li je rješenje zaista korisno preduzeću od ključne je važnosti.

• Clevi ne stvara samo modele, već pruža AI rješenja primjenjiva u stvarnom industrijskom okruženju.
• Na primjer, opremili smo poslovni kanal rješenjima kao što su Ivy Chat Platform, Clevi API Platform, prilagođavanje prema industriji i ispunjavanje sigurnosnih zahtjeva.
• Posjedujemo tehnološke mogućnosti koje je teško pronaći u zemlji i inostranstvu, uključujući fizičku umjetnu inteligenciju, robotiku i multimodalnu obradu podataka.

Clevi pruža konkretna AI rješenja koja doprinose stvarnoj efikasnosti rada i industrijskim inovacijama, koristeći AI kao „sredstvo“, a ne kao „cilj“. Direktno iskusite razliku pravog From-scratch Foundation modela.

Upiti i zahtjevi za demonstraciju: [email protected]

Copyright© 2025 Clevi Inc. Sva prava zadržana.