From-scratch Foundation Model CLEVI AI(ivy)

”Miten pieni yritys pystyi luomaan maailmanluokan suuren kielimallin?”

Miten pieni startup-yritys loi suuren kielimallin?

Tämä on kysymys, jonka CLEVI on saanut useimmin sen jälkeen, kun se julkaisi 1,4 biljoonan parametrin Foundation-mallinsa.

Toisin kuin monet yritykset, jotka vain hienosäätävät avoimen lähdekoodin malleja, CLEVI toteutti itsenäisesti koko prosessin aina datan keräämisestä mallin suunnitteluun, laajamittaiseen hajautettuun koulutukseen ja laadunvarmistukseen asti.

Esittelemme alla yksityiskohtaisesti tämän menestyksen salaisuudet ja kilpailuedut.

1. Luoko pieni yritys suuren kielimallin?

Kun CLEVI julkaisi itse kehittämänsä suuren kielimallin markkinoille heinäkuussa 2025, lukuisat asiakkaat (käyttäjät) olivat hämmästyneitä ja epäileväisiä. ”Onko se todella itse kehitetty?” ”Eikö kyse ole vain hieman muokatusta avoimen lähdekoodin mallista?”

Todellisuudessa monet yritykset kotimaassa ja ulkomailla tekevät vain siirto-oppimisen (fine-tuning) avoimen lähdekoodin malleille ja markkinoivat niitä omiksi malleikseen.

CLEVI toi kuitenkin esiin **”From-scratch Foundation Model”** -mallin.

Toisin sanoen se suunnitteli ja toteutti itse koko prosessin aina datan keräämisestä mallin suunnitteluun, laajamittaiseen hajautettuun koulutukseen ja laadunvarmistukseen asti.

2. Miksi suuren kielimallin kehittäminen on vaikeaa

From-Scratch Foundation Modelin kouluttamiseksi kaikki alla olevat osa-alueet on opittava.

Tarvitaan laajamittainen ja korkealaatuinen tietoaineisto

• Monimuotoisuus: kielten, toimialojen ja muotojen (teksti, kuvat jne.) monimuotoisuuden varmistaminen
• Jalostaminen: kohinan poistaminen, laadunhallinta sekä päällekkäisten/haitallisten tietojen suodatus
• Lisensointi: tekijänoikeuksien ja datan käyttöoikeuksien selkeyttäminen

Laajamittainen laskentainfrastruktuuri

• Suorituskykyinen GPU/TPU-klusteri: tuhansien tai jopa kymmenientuhansien solmujen laitteiden integrointi laajamittaisen hajautetun koulutuksen tukemiseksi
• Tehokas hajautetun koulutuksen kehys: DeepSpeed, Megatron-LM, Ray jne.
• Tallennus/verkkoyhteys: suurten tietomäärien siirto sekä nopea verkkoympäristö

Mallin arkkitehtuurin suunnittelu

• Uusimman arkkitehtuurin huomioiminen: Transformer, MoE (Mixture of Experts), multimodaalisuus jne.
• Skaalautuvuus: skaalautuvuuden huomioiminen parametrien määrän, kerrosten määrän, syötteen pituuden jne. osalta
• Tehokkuus: koulutuksen ja päättelyn nopeuden sekä muistin käytön optimointi

Koulutusstrategiat ja algoritmit

• Esikoulutuksen tavoitteet: kielimallit (esim. next token prediction), multimodaalisuus (esim. contrastive learning) jne.
• Optimointimenetelmät: mixed precision, gradient accumulation, learning rate schedule jne.
• Normalisointi ja vakauttaminen: dropout, layer norm, weight decay jne.

Arviointi- ja validointijärjestelmä

• Vertailujoukot: standardoitujen tietoaineistojen (Benchmarks) hyödyntäminen
• Sisäinen arviointi: todellisiin käyttöskenaarioihin perustuva arviointi
• Jatkuva seuranta: laadun, vinoumien ja turvallisuuden tarkistaminen koulutuksen aikana ja sen jälkeen

Henkilöstön ja organisaation osaaminen

• AI/ML-tutkijat: mallien suunnittelu, algoritmien kehittäminen
• Data-insinöörit: datan kerääminen, puhdistus ja hallinta
• Infrastruktuuri-insinöörit: hajautettujen järjestelmien sekä pilvi- ja paikallisen infrastruktuurin hallinta
• Projektipäälliköt: aikataulujen, budjetin ja laadun hallinta

Eettiset, oikeudelliset ja tietoturvaan liittyvät näkökohdat

• Tekoälyn etiikka: vinoumat, turvallisuus, läpinäkyvyys ja vastuullisuus
• Lainsäädännön noudattaminen: henkilötiedot, tekijänoikeudet ja datan itsemääräämisoikeus
• Tietoturva: datan ja mallien vuotojen estäminen sekä pääsynhallinta

Tällä hetkellä tekoälytutkimuksen parissa työskentelee maailmanlaajuisesti noin 2 000 henkilöä, ja heistäkin suurin osa on keskittynyt big tech -yrityksiin, kuten METAan, Googleen ja XAIhin. Etelä-Koreassa on erittäin harvoja tiimejä, jotka pystyvät suunnittelemaan ja rakentamaan Foundation-mallin itse datan keräämisestä laajamittaiseen koulutusinfrastruktuuriin asti.

3. Suuren kielimallin rakentaminen pienellä henkilöstömäärällä.

Yli 10 vuoden syväoppimisen ja koneoppimisen tutkimuskokemuksensa pohjalta toimitusjohtaja Lee Hwan-ho perusti yrityksen (Clevi) kolme vuotta sitten tavoitteenaan ”rakentaa maailman paras tekoäly”.

Yritys rakensi itse kaikki prosessit datan käsittelyputken rakentamisesta laajamittaisen hajautetun syväoppimisinfrastruktuurin suunnitteluun, mallin arkkitehtuurin kehittämiseen ja laadun validointiin, ja hankki näin Foundation Model -kehitykseen tarvittavan osaamisen.

Useiden mallien koulutuskertojen tuloksena sillä on nyt Clevi-5-x-malli, joka pystyy kilpailemaan maailman parhaiden mallien kanssa.

Jotta erittäin suuria kielimalleja voidaan kouluttaa tehokkaasti, tarvitaan infrastruktuuri, jossa satoja tai jopa tuhansia grafiikkaprosessoreita yhdistetään klusteriksi ja jossa voidaan käsitellä samanaikaisesti jopa kvadriljoonia laskutoimituksia sekunnissa. Tässä prosessissa keskeistä on teknologia, joka minimoi laskennan synkronoinnin ja viiveen suurissa hajautetuissa ympäristöissä. Tähän asti useimmat kotimaiset yritykset eivät ole pystyneet kouluttamaan malleja asianmukaisesti, koska käytettävissä ei ole ollut ”tarkan ohjauksen algoritmia”. Clevin toimitusjohtaja Lee Hwan-ho kehitti tällaisen itsenäisen hajautetun laskennan ohjausalgoritmin itse, ja sen ansiosta Clevi onnistui ensimmäisenä Etelä-Koreassa kouluttamaan erittäin suuren kielimallin, jossa on 1,4 biljoonaa (1.4 Trillion) parametria.

4. Miksi erilaisia malleja voidaan kehittää vähäisellä kehittäjäresurssilla

Useimmilla big tech -yrityksillä on myös teknologiat laajamittaisen infrastruktuurin hallintaan ja datan puhdistamiseen.

Niiden hallintaan tarvitaan satoja tai tuhansia tutkijoita.

Clevi kuitenkin kehittää ja ylläpitää erilaisia malleja vähäisellä tutkijamäärällä.

Miten se on mahdollista?

Clevi kehittää ja ylläpitää erilaisia malleja vähäisellä henkilöstömäärällä Teacher-Student Model (Knowledge Distilation) -teknologian avulla.

Tarkastellaan seuraavaksi Teacher-Student-teknologiaa.

Teacher-Student (tiedon tislaus)

Teacher-Student-teknologialla tarkoitetaan yksinkertaisesti teknologiaa, jossa erittäin suuri kielimalli (Teacher Model) arvioi ja antaa palautetta pienemmälle mallille (Student Model), jolloin satoja tutkijoita voidaan korvata pienellä henkilöstömäärällä ja erilaisia malleja kehittää nopeasti.

• Mother Model (erittäin suuri malli) arvioi eri alojen malleja ja antaa niistä palautetta korvaten satoja tutkijoita.
• Jos koulutus toteutetaan tällä tavalla Clevi-x-platformin kautta, korkean suorituskyvyn mallit, kuten Reasoning, VLM, Physical AI ja Coding Agent, voidaan kouluttaa ja ottaa käyttöön 10–15 päivässä.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Turvallisuusagentti

5. Clevi-x-platformin teknologian ja laadun erottautumistekijät

Mallien suorituskyky ja skaalautuvuus

• Päättely (CoT/Reasoning) -etu: cip-5-x:n suunnittelufilosofiaan sisältyvät vaiheittainen looginen päättely ja perustelujen esittäminen, ja se osoittaa korkean luotettavuuden laskenta- ja tulkintakykyä tieteen, matematiikan ja insinööritieteiden ongelmanratkaisussa. Sisäisten vertailuarvojen perusteella sitä suunnitellaan ja käytetään tavoitellen GPT-5-tasoista tai sitä parempaa suorituskykyä, ja saman kehotteen ehtojen toistettavuutta ja varmennettavuutta hallitaan keskeisinä laatumittareina.

• Koko multimodaalinen kirjo: tarkoitushakuinen VLM (cip-5-vision), suurikokoinen multimodaalinen käsittelymalli (ivy-4-mm) ja kevyt laitteessa toimiva malli (ivy-3-text) voidaan tuottaa ja yhdistää samalla alustalla, mikä mahdollistaa optimaalisen yhdistelmän tehtävän luonteen (haku/luokittelu/yhteenveto vs. päättely/selitys/suoritus) mukaan.

Yrityssoveltuvuus

• On-premise-tietoturva ja saatavuus: käyttö koko suljetun verkon alueella (syöttö–koulutus–palvelu–varmuuskopiointi), HA-suunnittelu, modulaarinen laajennettavuus sekä SVCE:n (eristetyn turvallisen suoritusympäristön) avulla toteutettu tietojen ja malliparametrien erillinen suojaus.
• Nopea käyttöönotto ja laajentaminen: Ivy Chat (työtehtäviin tarkoitettu multimodaalinen keskustelu/agentti) ja API Platform (globaali SaaS-standardi) tukevat nopeaa käyttöönottoa ja käyttöä.

Fyysisen tekoälyn (Physical AI) erottuvuustekijät

• NVIDIA Isaac -pohjaisen simuloinnin ja evoluutiopohjaisen vahvistusoppimisen (Evolutionary RL) yhdistäminen sekä Sim2Real-siirto ja synteettisen datan rinnakkainen oppiminen ovat parantaneet oppimistehokkuutta ja sopeutumiskykyä kentällä. Se, että ratkaisu kattaa digitaalisen ja robotiikan oppimisen aina käyttöönottoon asti, on harvinainen ominaisuus vaihtoehtoisissa ratkaisuissa.

Palvelun laatu ja hallintamalli

• Mallien, kehotteiden ja työkalujen versionhallintaa, arviointikokonaisuutta (korean- ja englanninkielinen tietämys, toimialakohtaiset tehtävät, hallusinaatio- ja turvallisuusmittarit), muutoksenhallintaa (SLO/SLA) sekä toiminnan seurattavuutta (viive, onnistumisaste, TCO) hallitaan yhden alustan prosessina.

Etelä-Koreassa on tällä hetkellä yli 300 tekoälymallipalveluyritystä, mutta

CLEVI on ainoa yritys, joka pystyy tarjoamaan samanaikaisesti on-premise- ja pilvipalveluja omien suorituskykyisten foundation-malliensa avulla.

6. Kielimallien hyödyntäminen teollisuudessa

Koska tekoälyn käyttöönotto edellyttää valtavia investointeja ja perusteellista validointia, on välttämätöntä vertailla ja kokeilla ratkaisuja itse sen varmistamiseksi, että ne todella hyödyttävät yritystä.

• CLEVI ei ainoastaan kehitä malleja, vaan tarjoaa AI-ratkaisuja, joita voidaan soveltaa käytännön teollisuusympäristöissä.
• Esimerkiksi se tarjoaa kattavat yrityskäyttöön tarkoitetut kanavat, kuten Ivy Chat Platformin, Clevi API Platformin, toimialakohtaisen räätälöinnin ja tietoturvavaatimuksiin vastaamisen.
• Sillä on teknologista osaamista fyysisen AI:n, robotiikan ja multimodaalisen datan käsittelyn aloilla – valmiuksia, joita on vaikea löytää kotimaasta tai ulkomailta.

CLEVI tarjoaa AI-ratkaisuja, joissa AI ei ole ”päämäärä” vaan ”keino” ja jotka edistävät konkreettisesti työn tehokkuutta ja teollisuuden innovaatioita. Koe aidon From-scratch Foundation -mallin ainutlaatuisuus itse.

Yhteydenotot ja demopyynnöt: [email protected]

Copyright© 2025 Clevi Inc. Kaikki oikeudet pidätetään.