Sursa: Lee Won-ji, Electronic Times
Citare integrală a articolului „CLEVI, cu un model propriu dezvoltat from scratch, 79,07% pe GAIA... în top 2,5% dintre cele 3.090 de modele”
Data publicării: 2026-04-07
Link: https://www.etnews.com/20260407000203
Stiva de modele proprii cip-5.5-agent·cip-5.5-mm, toți cei 5 agenți obținând peste 70 de puncte
Rată de răspunsuri corecte de peste 98% luând în considerare pierderea de informații, depășind nivelul uman (92%)
Startup-ul AI „CLEVI” a înregistrat o rată de răspunsuri corecte de 79,07% în cadrul benchmarkului global pentru agenți AI „GAIA”, utilizând un model propriu dezvoltat from scratch, și s-a clasat în top 2,5% dintre cele 3.090 de modele înregistrate în total.
Potrivit explicațiilor din industrie, pe piața benchmarkurilor AI, GAIA este apreciat pentru faptul că reflectă fidel capacitățile „agenților AI practici”. Dezvoltat în comun de Meta AI, HuggingFace și Universitatea Paris-Saclay, printre alții, acest benchmark a fost publicat pentru prima dată în noiembrie 2023.
GAIA se distinge de alte benchmarkuri prin trei aspecte esențiale. În primul rând, supraînvățarea este imposibilă deoarece răspunsurile corecte nu sunt publice. În al doilea rând, deoarece necesită raționament complex, multi-etapă și multimodal, nu se poate obține un punctaj ridicat prin simpla potrivire a tiparelor. În al treilea rând, peste 3.090 de modele din întreaga lume concurează în aceleași condiții prin intermediul clasamentului oficial HuggingFace.
Setul de testare este alcătuit dintr-un total de 301 de întrebări. Level 1 implică utilizarea unui singur instrument și raționament simplu, Level 2 combinarea mai multor instrumente și raționament de nivel mediu, iar Level 3 cuprinde întrebări de cea mai mare dificultate, care necesită planificarea și executarea de către agent a cel puțin 5 pași. La momentul publicării benchmarkului, nivelul era de aproximativ 15% pentru modelele GPT (cu pluginuri), iar în prezent echipele de top l-au ridicat la 70–80%.
În acest context, CLEVI a subliniat că aspectul cel mai important din punct de vedere tehnic al acestei performanțe este faptul că nu au fost utilizate deloc API-uri LLM externe, precum GPT, Claude sau Gemini. Caracteristica distinctivă este utilizarea a două modele dezvoltate independent de CLEVI prin metoda from scratch.
cip-5.5-agent este un model de inteligență artificială agentică și servește drept creier central al unei infrastructuri de agenți care planifică (planning), execută (execution) și verifică (verification) în mod autonom sarcini complexe. cip-5.5-mm este un model multimodal general de înaltă performanță, capabil să înțeleagă și să raționeze pe baza diverselor formate de fișiere, precum voce, imagini și videoclipuri. Deoarece o mare parte dintre întrebările GAIA includ intrări non-text, precum fișiere PDF, imagini și fișiere audio, această capacitate multimodală a devenit un factor esențial pentru obținerea unui scor ridicat.
Pe baza acestor două modele dezvoltate intern, CLEVI a înscris în competiția GAIA 5 configurații diferite de agenți, toate obținând scoruri de peste 70 de puncte.
Potrivit explicațiilor companiei, în urma unei analize interne ulterioare efectuate de CLEVI au fost identificate rezultate interesante. Pentru unele dintre cele 301 de întrebări în total, sursele care susțineau răspunsurile corecte dispăruseră de pe web-ul public disponibil în prezent. Este vorba despre cazuri în care informații care puteau fi verificate anterior online sau prin motoare de căutare au fost șterse sau modificate și nu mai sunt accesibile. La reevaluarea în limitele informațiilor pe care oamenii le pot verifica public în prezent, rata de răspunsuri corecte a CLEVI s-a dovedit a fi de peste 98%. Această valoare depășește deja media umană de 92%.
Un reprezentant CLEVI a explicat: „Fără a combina modele externe, CLEVI a obținut peste 70 de puncte cu toate cele 5 configurații de agenți, folosind exclusiv modele dezvoltate intern from scratch și soluții proprii de agenți AI, intrând în top 2,5% al benchmarkurilor publice. Se estimează că scorul oficial poate fi îmbunătățit suplimentar prin dezvoltarea viitoare a modelelor și soluțiilor proprii de agenți. Această realizare este semnificativă deoarece demonstrează «încredere verificată», măsurată într-un benchmark global public, reprezintă o performanță bazată pe modele proprii dezvoltate from scratch de o companie coreeană de dezvoltare AI, este rezultatul unui stack de modele propriu și nu al combinării unor modele externe și are o valoare interpretativă mai mare decât scorul în sine, având în vedere pierderea informațiilor pentru unele întrebări.”