From-scratch Foundation Model klébi AI (ivy)

„Kako je mala kompanija uspjela razviti jezički model vještačke inteligencije ogromnih razmjera svjetske klase?“

Kako je mali startup razvio jezički model ogromnih razmjera?

Ovo je pitanje koje je klébi dobio najviše puta nakon što je predstavio Foundation model sa 1,4 biliona parametara.

Za razliku od mnogih kompanija koje samo fino podešavaju modele otvorenog koda, klébi je samostalno proveo cijeli proces, od prikupljanja podataka, dizajna modela i obimnog distribuiranog treniranja do provjere kvaliteta.

U nastavku detaljno predstavljamo tajnu uspjeha i konkurentsku prednost.

1. Mala kompanija razvija jezički model ogromnih razmjera?

U julu 2025. godine, kada je klébi na tržište predstavio vlastiti jezički model ogromnih razmjera, brojni kupci (korisnici) bili su uzbuđeni i skeptični. „Da li je zaista razvijen interno?“ „Zar nije samo malo izmijenjen model otvorenog koda?“

U praksi mnoge domaće i strane kompanije samo provode transferno učenje (fine-tuning) nad modelima otvorenog koda, a zatim ih promovišu kao vlastite modele.

Međutim, klébi je istakao **‘From-scratch Foundation Model’**.

Drugim riječima, samostalno je osmislio i proveo cijeli proces, od prikupljanja podataka, dizajna modela i obimnog distribuiranog treniranja do provjere kvaliteta.

2. Zašto je razvoj jezičkog modela ogromnih razmjera težak

Da bi se trenirao From-Scratch Foundation Model, potrebno je savladati sve dolje navedene elemente.

Potreban je veliki skup visokokvalitetnih podataka

• Raznolikost: osiguravanje raznolikosti jezika, domena i formata (tekst, slike itd.)
• Pročišćavanje: uklanjanje šuma, upravljanje kvalitetom, filtriranje dupliciranih/štetnih podataka
• Licenciranje: jasno definisanje autorskih prava i prava na korištenje podataka

Obimna računarska infrastruktura

• Klasteri visokih performansi GPU/TPU: tehnologija za objedinjavanje opreme sa hiljadama do desetinama hiljada čvorova radi podrške distribuiranom treniranju velikih razmjera
• Okvir za efikasno distribuirano treniranje: DeepSpeed, Megatron-LM, Ray itd.
• Skladištenje/mreža: ulaz i izlaz velikih količina podataka, okruženje s brzom mrežom

Dizajn arhitekture modela

• Odražavanje najnovije arhitekture: Transformer, MoE (Mixture of Experts), multimodalnost itd.
• Skalabilnost: razmatranje proširivosti, kao što su broj parametara, broj slojeva, dužina ulaza itd.
• Efikasnost: optimizacija brzine obučavanja/zaključivanja i upotrebe memorije

Strategije i algoritmi obučavanja

• Ciljevi predtreniranja: jezički modeli (npr. predviđanje sljedećeg tokena), multimodalnost (npr. kontrastivno učenje) itd.
• Tehnike optimizacije: mješovita preciznost, akumulacija gradijenta, raspored stope učenja itd.
• Normalizacija/stabilizacija: dropout, layer norm, smanjenje težina itd.

Sistem evaluacije i provjere

• Skupovi za testiranje: korištenje standardnih skupova podataka (Benchmarks)
• Interna evaluacija: evaluacija zasnovana na scenarijima stvarne upotrebe
• Kontinuirano praćenje: provjera kvaliteta, pristrasnosti i sigurnosti tokom i nakon obučavanja

Kadrovski i organizacijski kapaciteti

• AI/ML istraživači: dizajn modela i razvoj algoritama
• Inženjeri za podatke: prikupljanje, obrada i upravljanje podacima
• Inženjeri infrastrukture: upravljanje distribuiranim sistemima, oblakom/lokalnom infrastrukturom
• Projektni menadžeri: upravljanje rokovima, budžetom i kvalitetom

Etička, pravna i sigurnosna razmatranja

• Etika AI-ja: pristrasnost, sigurnost, transparentnost i odgovornost
• Usklađenost sa zakonima: privatnost, autorska prava i suverenitet nad podacima
• Sigurnost: sprečavanje curenja podataka/modela i kontrola pristupa

Trenutno u cijelom svijetu postoji oko 2.000 istraživača u oblasti AI-ja, a većina njih koncentrisana je u velikim tehnološkim kompanijama kao što su META, Google i XAI. U Južnoj Koreji je izuzetno malo timova koji mogu direktno osmisliti i izgraditi Foundation model, od prikupljanja podataka do infrastrukture za obučavanje velikih razmjera.

3. Izgradnja ogromnog jezičkog modela s malim brojem ljudi.

Na osnovu više od 10 godina iskustva u istraživanju dubokog i mašinskog učenja, izvršni direktor Lee Hwan-ho osnovao je kompaniju (Clevi) prije tri godine s ciljem da „izgradi najbolji AI na svijetu“.

Direktno je osmislio sve procese, uključujući izgradnju vlastitog podatkovnog cjevovoda kompanije, dizajn velike distribuirane infrastrukture za duboko učenje, razvoj arhitekture modela i provjeru kvaliteta, čime je stekao kapacitete potrebne za razvoj Foundation Modela.

Kao rezultat obučavanja modela u više navrata, kompanija sada posjeduje model Clevi-5-x koji može parirati modelima najvišeg svjetskog nivoa.

Ka sɛbɛnni kɛ ka kanwɛrɛnw ka kalan ɲɛnamaya, GPU kɛmɛ caman ka fɔlɔ ka taa ni kɛmɛ caman kan, ka olu siri klastɛr ye, wa infrastrukturu min bɛ se ka jatebaw kɛ sani kelen kelen na, a ka kan. Nin waati la, jatebaw ka ɲɔgɔn sɔrɔ ani kunnafonidilanɛnw ka suma dɔgɔya ka fɔlɔ ka taa ni distributed environment kɔnɔ, o ye fɛnba ye. Fɔlɔfɔlɔ, jamana kɔnɔ, “precision control algorithm” tɛ tun bɛ yen, o la, jɛkulu caman ma se ka olu ka modeluw kalan ɲɛ. Clevi ka kuntigi Lee Hwan-ho ye, ka nin distributed computing control algorithm kɛ a yɛrɛ fɛ, a ka se ka jamana kɔnɔ fɔlɔ, ka kanwɛrɛnw ka kalan kɛ min bɛ paramɛtɛr 1.4 trillion (1.4 Trillion) sɔrɔ.

4. Mun na jɛkulu dɔgɔ kɛlen bɛ se ka modelu caman da

Big tech jɛkulu caman fana bɛ infrastrukturu belebele ɲɛnabɔli ni data sɛbɛnni fɛnɛw sɔrɔ.

Ka o ɲɛnabɔ, baarakɛlaw minnu bɛ kalan ni sɛgɛsɛgɛ kɛ, olu ka kan ka kɛmɛ caman fɔlɔ ka taa ni kɛmɛ caman kan.

Nka, Clevi bɛ modelu caman da ani a bɛ olu sɔrɔ, ni sɛgɛsɛgɛkɛlaw dɔgɔ dɔrɔn ye.

A bɛ se di?

Clevi bɛ Teacher-Student Model(Knowledge Distilation) teknoloji kɛ ka modelu caman da ani ka olu sɔrɔ, ni baarakɛlaw dɔgɔ dɔrɔn ye.

N'i sɔnna, an ka Teacher-Student teknoloji lajɛ.

Teacher-Student(ɲɛɲini dɔnniya)

Teacher-Student teknoloji, a fɔcogo yɛlɛma, ye teknoloji ye min bɛ kanwɛrɛnw ka modelu (Teacher Model) kɛ ka den modelu (Student Model) sɛgɛsɛgɛ ani ka hakilima di a ma; o bɛ se ka baarakɛlaw kɛmɛ caman nɔ kɛ ni jɛkulu dɔgɔ ye, ka modelu caman da joona.

• Mother Model(kanwɛrɛnw ka modelu) bɛ modelu minnu bɛ baara kɛ yɔrɔ caman na, olu sɛgɛsɛgɛ ani ka hakilima di olu ma, ka baarakɛlaw kɛmɛ caman nɔ kɛ.
• Ni an bɛ kalan kɛ nin cogo in na Clevi-x-platform fɛ, an bɛ se ka modelu minnu ka se ka bon—Reasoning, VLM, Physical AI, Coding Agent, ani wɛrɛw—kalan ani ka olu sigi san 10 ka taa ni san 15 kan.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Kɛnɛya agent

5. Clevi-x-platform teknoloji ni kalite ka yɛrɛyɛrɛ

Modelu ka se ni a ka bonya

• Nadmoć u zaključivanju (CoT/Reasoning): cip-5-x uključuje sekvencijalno logičko zaključivanje i iznošenje obrazloženja u svoju filozofiju dizajna, pokazujući visoko pouzdane računarske i interpretativne sposobnosti u rješavanju naučnih, matematičkih i inženjerskih problema. Na osnovu internih referentnih testova, dizajnira se i upravlja s ciljem postizanja performansi na nivou GPT-5 ili višem, dok se ponovljivost/provjerljivost pod istim uslovima upita upravlja kao ključnim pokazateljima kvaliteta.

• Cijeli spektar multimodalnosti: kombinovanjem ciljno orijentisanog VLM-a (cip-5-vision), velikog multimodalnog procesnog modela (ivy-4-mm) i laganog modela na uređaju (ivy-3-text) u jednoj platformi, moguće je izabrati optimalnu kombinaciju prilagođenu karakteristikama zadatka (pretraga/klasifikacija/sažimanje naspram zaključivanja/objašnjenja/izvršavanja).

Primjenjivost u preduzećima

• Sigurnost i dostupnost na lokalnoj infrastrukturi: rad u cijelom zatvorenom mrežnom okruženju (unos-obuka-servisno pružanje-uspostavljanje rezervnih kopija), HA dizajn, modularno proširenje i SVCE (izolovano sigurno izvršno okruženje) omogućavaju odvojenu zaštitu podataka i parametara modela.
• Brzo uvođenje i proširenje: Ivy Chat (poslovni multimodalni razgovor/agent) i API Platform (globalni standardni SaaS) podržavaju brzu primjenu i rad.

Diferencijacija fizičke AI tehnologije (Physical AI)

• Kombinovanjem simulacije zasnovane na NVIDIA Isaac-u i evolucijskog učenja s potkrepljenjem (Evolutionary RL), uz Sim2Real prenos i paralelno učenje na sintetičkim podacima, povećali smo efikasnost učenja i prilagodljivost na terenu. Mogućnost pokrivanja cijelog procesa, od digitalnog učenja i robotike do implementacije, predstavlja rijetkost među alternativama.

Kvalitet usluge i upravljanje

• Upravljanje verzijama modela/upu­ta/alata, evaluacionim paketom (znanje na korejskom i engleskom jeziku, zadaci po industrijama, pokazatelji halucinacija i sigurnosti), upravljanje promjenama (SLO/SLA) i operativno praćenje (latencija/stopa uspješnosti/TCO) vodi se kroz jedinstvene platforme i procedure.

Trenutno u Južnoj Koreji postoji više od približno 300 kompanija koje pružaju usluge AI modela, ali

Clevi je jedina kompanija koja putem vlastitog visokoučinkovitog temeljnog modela može istovremeno pružati lokalne i cloud usluge.

6. Načini korištenja jezičkih modela u industriji

Budući da uvođenje AI tehnologije zahtijeva velika ulaganja i temeljitu provjeru, proces direktnog poređenja i isprobavanja kako bi se utvrdilo da li je rješenje zaista korisno za preduzeće predstavlja ključan korak.

• Clevi ne stvara samo modele, već pruža AI rješenja koja se mogu primijeniti u stvarnim industrijskim okruženjima.
• Na primjer, opremljen je kompletnim poslovnim kanalima, uključujući Ivy Chat Platform, Clevi API Platform, prilagođavanje prema industriji i ispunjavanje sigurnosnih zahtjeva.
• Posjeduje tehnološke kapacitete koje je teško pronaći u zemlji i inostranstvu, uključujući fizičku umjetnu inteligenciju, robotiku i obradu multimodalnih podataka.

Clevi pruža konkretna AI rješenja koja AI koriste kao ‘sredstvo’, a ne kao ‘cilj’, doprinoseći stvarnoj radnoj efikasnosti i industrijskim inovacijama. Iskusite iz prve ruke razliku koju pruža pravi From-scratch Foundation model.

Upiti i zahtjevi za demonstraciju: [email protected]

Copyright© 2025 Clevi Inc. Sva prava zadržana.