Mənbə: Elektron qəzet, müxbir Li Vonci
“Clevi, sıfırdan hazırlanmış öz modeli ilə GAIA-da 79.07%... 3,090 model arasında ən yaxşı 2.5%-lik qrupda” məqaləsinin tam mətni
Nəşr tarixi: 2026-04-07
Link: https://www.etnews.com/20260407000203
cip-5.5-agent·cip-5.5-mm eksklüziv model stakında 5 agentin hamısı 70-dən yuxarı nəticə göstərib
Məlumat itkisi nəzərə alındıqda 98%+ düzgün cavab nisbəti, insanları (92%) üstələyir
Süni intellekt startapı “Clevi” sıfırdan hazırlanmış öz modelindən istifadə edərək qlobal süni intellekt agenti benchmarkı “GAIA”da 79.07% düzgün cavab nisbəti göstərib və ümumilikdə qeydiyyatdan keçmiş 3,090 model arasında ən yaxşı 2.5%-lik qrupa daxil olub.
Sektorun izahına görə, süni intellekt benchmarkı bazarında GAIA “praktik süni intellekt agentləri”nin bacarıqlarını dəqiq əks etdirməsi ilə qiymətləndirilir. Meta AI, HuggingFace və Paris-Sakle Universiteti tərəfindən birgə hazırlanmış bu benchmark ilk dəfə 2023-cü ilin noyabrında təqdim edilib.
GAIA-nı digər benchmarklardan fərqləndirən üç əsas məqam var. Birincisi, düzgün cavablar açıqlanmadığı üçün həddən artıq uyğunlaşdırma mümkün deyil. İkincisi, çoxaddımlı və multimodal kompleks mühakimə tələb edildiyindən sadə nümunə uyğunlaşdırması ilə yüksək nəticə əldə etmək mümkün deyil. Üçüncüsü, HuggingFace-in rəsmi lider cədvəli vasitəsilə dünya üzrə 3,090-dan çox model eyni şərtlər altında yarışır.
Test dəsti ümumilikdə 301 sualdan ibarətdir. Level 1 tək alətdən istifadə və sadə mühakiməni, Level 2 çoxsaylı alətlərin kombinasiyası və orta səviyyəli mühakiməni, Level 3 isə 5 və ya daha çox mərhələdən ibarət agent planlaşdırması və icrasını tələb edən ən yüksək çətinlikli sualları əhatə edir. Benchmarkın təqdim edildiyi vaxt GPT modelləri (plaginlərlə təchiz olunmuş) təxminən 15% nəticə göstərirdi, hazırda isə lider komandalar bu göstəricini 70–80%-ə çatdırıblar.
Bu kontekstdə Clevi vurğulayıb ki, əldə olunan nəticədə texniki baxımdan ən diqqətçəkən məqam GPT, Claude, Gemini və digər xarici LLM API-lərindən ümumiyyətlə istifadə edilməməsidir. Clevi sıfırdan hazırlanmış və müstəqil şəkildə inkişaf etdirilmiş iki modeldən istifadə edib.
cip-5.5-agent mürəkkəb tapşırıqları müstəqil şəkildə planlaşdıran (planning), icra edən (execution) və yoxlayan (verification) agent boru kəmərinin əsas beyni rolunu oynayan agentik AI modelidir. cip-5.5-mm səs, şəkil, video və digər müxtəlif fayl formatlarını anlayan və onlar üzərində nəticə çıxaran yüksək performanslı universal multimodal modeldir. GAIA suallarının əhəmiyyətli hissəsinə PDF, şəkil, audio faylları kimi qeyri-mətn girişləri daxil olduğuna görə, bu multimodal qabiliyyət yüksək nəticənin əsas amilinə çevrilib.
Clevi bu iki xüsusi model əsasında 5 fərqli agent konfiqurasiyasını GAIA-da təqdim edib və onların hamısı 70-dən yuxarı nəticə göstərib.
Şirkətin açıqlamasına görə, Clevi daxilində aparılan sonrakı araşdırmada maraqlı nəticə aşkarlanıb. Ümumilikdə 301 sualdan bəziləri üzrə düzgün cavabın əsaslandırılması hazırda açıq internetdə mövcud deyil. Keçmişdə onlayn və ya axtarış sistemlərində yoxlanıla bilən məlumatların silindiyi və ya dəyişdirildiyi üçün artıq onlara çıxış mümkün deyil. Hazırda insanların açıq şəkildə yoxlaya bildiyi məlumatlar çərçivəsində yenidən qiymətləndirildikdə, Clevi-nin düzgün cavab faizi 98%-dən yuxarı olub. Bu göstərici artıq insan orta göstəricisi olan 92%-i üstələyir.
Clevi nümayəndəsi belə izah edib: “Clevi xarici modelləri qarışdırmadan, from scratch hazırlanmış xüsusi modelləri və öz AI agent həlləri ilə 5 agentin hamısında 70+ nəticə göstərərək açıq benchmarkda ilk 2,5%-ə daxil olub. Gələcəkdə xüsusi modellərin və agent həllərinin təkmilləşdirilməsi ilə rəsmi balın da daha da yaxşılaşdırılması mümkün görünür. Bu nailiyyət qlobal açıq benchmarkda faktiki ölçülərək ‘təsdiqlənmiş etimadı’ nümayiş etdirməsi, yerli AI inkişaf etdiricisinin from scratch xüsusi model əsaslı nəticəsi olması, xarici modellərin qarışığı deyil, müstəqil model stekinin nəticəsi olması və bəzi suallar üzrə məlumat itkisini nəzərə aldıqda, baldan daha böyük interpretasiya dəyərinə malik olması baxımından böyük əhəmiyyət daşıyır”.