Izvor: elektroničke novine, novinar Lee Won-ji
Cijeli članak „CLEVI s vlastitim modelom razvijenim from scratch postiže 79,07% na GAIA-i... među 3.090 modela uvršten je među 2,5% najboljih”
Datum objave: 2026-04-07
Poveznica: https://www.etnews.com/20260407000203
cip-5.5-agent·cip-5.5-mm neovisni skup modela, svih 5 agenata iznad 70 bodova
Uzimajući u obzir gubitak informacija, točnost odgovora od 98%+, iznad ljudske (92%)
AI startup 'CLEVI' zabilježio je točnost odgovora od 79,07% na globalnom mjerilu AI agenata 'GAIA' koristeći vlastiti model razvijen from scratch, čime se svrstao među 2,5% najboljih od ukupno 3.090 registriranih modela.
Prema objašnjenju industrije, GAIA se na tržištu AI mjerila smatra mjerilom koje vjerno odražava sposobnosti 'praktičnih AI agenata'. Ovo mjerilo, koje su zajednički razvili Meta AI, HuggingFace i Sveučilište Paris-Saclay, prvi je put objavljeno u studenome 2023.
GAIA se od drugih mjerila razlikuje po tri ključne značajke. Prvo, budući da su točni odgovori privatni, pretjerano prilagođavanje nije moguće. Drugo, budući da zahtijeva višekoračno i multimodalno složeno zaključivanje, visoki rezultat nije moguće postići jednostavnim podudaranjem uzoraka. Treće, više od 3.090 modela iz cijelog svijeta natječe se pod istim uvjetima putem službene ljestvice na HuggingFaceu.
Skup za testiranje sastoji se od ukupno 301 pitanja. Level 1 obuhvaća korištenje jednog alata i jednostavno zaključivanje, Level 2 kombinaciju više alata i zaključivanje srednje razine, a Level 3 pitanja najviše težine koja zahtijevaju planiranje i izvršavanje agenata u najmanje 5 koraka. U vrijeme objave mjerila rezultat je iznosio približno 15% za GPT modele (s dodacima), a vodeći timovi trenutačno su ga podigli na 70–80%.
CLEVI je pritom naglasio da je tehnički najvažniji aspekt ovog postignuća činjenica da uopće nije koristio vanjske LLM API-je, poput GPT-a, Claudea i Geminija. Posebnost je u tome što je koristio dva neovisna modela razvijena vlastitim snagama from scratch.
cip-5.5-agent je agentički AI model koji služi kao središnji mozak agentnog procesa koji autonomno planira (planning), izvršava (execution) i provjerava (verification) složene zadatke. cip-5.5-mm je visokoučinkoviti opći multimodalni model koji razumije i zaključuje na temelju različitih formata datoteka, uključujući glas, slike i videozapise. Budući da znatan dio pitanja u skupu GAIA uključuje netekstualne ulazne podatke poput PDF-ova, slika i audiodatoteka, ta je multimodalna sposobnost bila ključni čimbenik za ostvarivanje visokog rezultata.
CLEVI je na natjecanju GAIA, na temelju ta dva vlastita modela, predstavio 5 različitih konfiguracija agenata, pri čemu su svi ostvarili rezultat iznad 70 bodova.
Prema objašnjenju tvrtke, interna naknadna provjera koju je proveo CLEVI otkrila je zanimljive rezultate. Za neka od ukupno 301 pitanja trenutačno više ne postoje javno dostupni dokazi odgovora na webu. Riječ je o slučajevima u kojima su informacije koje su se ranije mogle provjeriti na internetu ili putem tražilica izbrisane ili izmijenjene te im više nije moguće pristupiti. Pri ponovnoj procjeni u okviru informacija koje ljudi trenutačno mogu javno provjeriti, stopa točnih odgovora CLEVI-ja iznosila je više od 98%. To je rezultat koji već premašuje ljudski prosjek od 92%.
Predstavnik CLEVI-ja objasnio je: “CLEVI je, bez miješanja vanjskih modela i isključivo koristeći vlastite modele razvijene from scratch te vlastita AI agentska rješenja, sa svih 5 agenata ostvario rezultat 70+ i ušao među najboljih 2,5% na javno dostupnom benchmarku. Očekuje se da će daljnjim poboljšanjem vlastitih modela i agentskih rješenja biti moguće dodatno povećati i službeni rezultat. Ovo postignuće ima veliku važnost jer je 'dokazano povjerenje' izmjereno na globalnom javnom benchmarku, predstavlja rezultat domaće AI razvojne tvrtke temeljen na vlastitim modelima razvijenima from scratch, rezultat je neovisnog skupa modela, a ne miješanja vanjskih modela, te ima interpretativnu vrijednost veću od samog rezultata, uzimajući u obzir gubitak informacija u nekim pitanjima.”