Allikas: elektroonikaleht, reporter Lee Won-ji
Artikli „CLEVI, from scratch enda mudeliga GAIA-s 79,07%... 3090 mudeli seas 2,5% tipmise hulgas” täisteksti tsiteerimine
Avaldamiskuupäev: 2026-04-07
Link: https://www.etnews.com/20260407000203
cip-5.5-agent·cip-5.5-mm sõltumatu mudelivirn, kõik 5 agenti üle 70 punkti
Teabe kao arvesse võtmisel üle 98% täpsus, ületab inimesi (92%)
AI-idufirma „CLEVI” saavutas from scratch enda mudeli abil globaalses AI-agentide võrdlusuuringus „GAIA” täpsuseks 79,07% ning paiknes kõigi 3090 registreeritud mudeli seas 2,5% tipmise hulgas.
Valdkonna selgituste kohaselt hinnatakse GAIA-t AI-võrdlusuuringute turul kui võrdlusuuringut, mis kajastab täpselt „praktiliste AI-agentide” võimekust. Meta AI, HuggingFace ja Paris-Saclay ülikooli ühiselt välja töötatud võrdlusuuring avalikustati esimest korda 2023. aasta novembris.
GAIA eristub teistest võrdlusuuringutest kolme põhijoone poolest. Esiteks on õiged vastused mitteavalikud, mistõttu pole üleõppimine võimalik. Teiseks nõuab see mitmeastmelist ja multimodaalset kompleksset arutlust, mistõttu ei ole lihtsa mustrite sobitamise abil võimalik kõrget tulemust saavutada. Kolmandaks võistlevad HuggingFace'i ametliku edetabeli kaudu üle maailma rohkem kui 3090 mudelit samadel tingimustel.
Testikomplekt koosneb kokku 301 küsimusest. Level 1 hõlmab ühe tööriista kasutamist ja lihtsat arutlust, Level 2 mitme tööriista kombineerimist ja keskmise taseme arutlust ning Level 3 on kõrgeima raskusastmega küsimuste tase, mis nõuab agendilt vähemalt viieastmelist planeerimist ja täitmist. Võrdlusuuringu avaldamise ajal jäi GPT mudelite (koos pluginate kasutamisega) tulemus umbes 15% juurde, kuid praeguseks on tipptasemel meeskonnad selle tõstnud 70–80% tasemele.
Nende tulemuste puhul rõhutas CLEVI, et tehniliselt on kõige tähelepanuväärsem asjaolu see, et GPT, Claude'i, Gemini ega teiste väliste LLM API-de kasutamisest hoiduti täielikult. CLEVI eripära seisneb selles, et kasutati kaht from scratch sõltumatult välja töötatud mudelit.
cip-5.5-agent on agentne tehisintellektimudel, mis toimib keerukaid ülesandeid autonoomselt planeeriva (planning), täitva (execution) ja kontrolliva (verification) agentide torujuhtme keskse ajuna. cip-5.5-mm on suure jõudlusega üldotstarbeline multimodaalne mudel, mis mõistab ja analüüsib erinevaid failivorminguid, sealhulgas heli, pilte ja videot. Kuna märkimisväärne osa GAIA ülesannetest sisaldab tekstiväliseid sisendeid, nagu PDF-id, pildid ja helifailid, sai see multimodaalne võimekus kõrge tulemuse saavutamisel võtmeteguriks.
Nende kahe enda väljatöötatud mudeli põhjal osales CLEVI GAIA-l viie erineva agendikonfiguratsiooniga ning kõik saavutasid tulemuse üle 70 punkti.
Ettevõtte selgituse kohaselt tuvastati CLEVI sisemises järelanalüüsis huvitav tulemus. Kokku 301 küsimusest olid mõne puhul veebis avalikult kättesaadavad õigete vastuste alused kadunud. Tegemist on juhtudega, kus varem veebis või otsingumootorite kaudu kontrollitav teave oli kustutatud või muudetud ning sellele ei olnud enam võimalik juurde pääseda. Kui tulemusi hinnati uuesti selle teabe põhjal, mida inimesed saavad praegu avalikult kontrollida, osutus CLEVI õigete vastuste määraks üle 98%. See ületab juba inimeste keskmist tulemust, milleks on 92%.
CLEVI esindaja selgitas: „CLEVI saavutas viie agendi puhul kõigil tulemuse 70+ ning jõudis avalikul võrdlusalusel 2,5% tipptulemuste hulka, kasutades ilma väliste mudelite segamiseta üksnes enda from scratch loodud mudeleid ja enda AI-agendilahendusi. Eeldatavasti on ametlikku tulemust võimalik tulevikus enda mudelite ja agendilahenduste täiustamise kaudu veelgi parandada. Selle saavutuse tähendus seisneb selles, et seda mõõdeti ülemaailmsel avalikul võrdlusalusel, mis näitab „tõestatud usaldusväärsust”; tegemist on Korea AI-arendusettevõtte from scratch loodud enda mudelitel põhineva tulemusega; see on sõltumatu mudelivirna tulemus, mitte väliste mudelite segu; ning arvestades mõne küsimuse puhul teabe kadumist, on selle tõlgendusväärtus suurem kui pelgalt punktisumma.”