Kaynak: Elektronik Gazete, muhabir Lee Won-ji
“CLEVI, from scratch kendi modeliyle GAIA’da %79,07... 3.090 model arasında ilk %2,5” başlıklı haberin tamamından alıntı
Yayın tarihi: 2026-04-07
Bağlantı: https://www.etnews.com/20260407000203
cip-5.5-agent·cip-5.5-mm bağımsız model yığını, 5 ajanın tamamı 70 puanın üzerinde
Bilgi kaybı hesaba katıldığında %98’in üzerinde doğruluk oranı; insanları (%92) geride bırakıyor
AI girişimi 'CLEVI', from scratch kendi modelini kullanarak küresel AI ajanı karşılaştırması 'GAIA'da %79,07 doğruluk oranına ulaştı ve kayıtlı toplam 3.090 model arasında ilk %2,5 içinde yer aldı.
Sektör açıklamalarına göre GAIA, AI karşılaştırma pazarında 'pratik AI ajanlarının' yeteneklerini sadık biçimde yansıtmasıyla değerlendiriliyor. Meta AI, HuggingFace ve Paris-Saclay Üniversitesi tarafından ortaklaşa geliştirilen bu karşılaştırma ilk kez Kasım 2023’te yayımlandı.
GAIA’yı diğer karşılaştırmalardan ayıran üç temel özellik vardır. Birincisi, doğru yanıtlar gizli olduğundan aşırı uyum mümkün değildir. İkincisi, çok adımlı ve çok modlu karmaşık akıl yürütme gerektirdiğinden yalnızca basit örüntü eşleştirmeyle yüksek puan almak mümkün değildir. Üçüncüsü, HuggingFace’in resmî liderlik tablosu aracılığıyla dünya genelindeki 3.090’dan fazla model aynı koşullarda yarışır.
Test seti toplam 301 sorudan oluşur. Level 1’de tek araç kullanımı ve basit akıl yürütme, Level 2’de birden fazla aracın birleştirilmesi ve orta düzey akıl yürütme, Level 3’te ise beş veya daha fazla aşamalı ajan planlaması ve yürütmesi gerektiren en yüksek zorluktaki sorular yer alır. Karşılaştırmanın yayımlandığı dönemde GPT modelleri (eklenti destekli) temelinde oran yaklaşık %15 seviyesindeyken, günümüzde üst sıralardaki ekipler bunu %70-80 seviyelerine yükseltmiş durumdadır.
Bununla birlikte CLEVI, söz konusu başarıda teknik açıdan en çok dikkat edilmesi gereken noktanın GPT, Claude ve Gemini gibi harici LLM API’lerinin hiç kullanılmamış olması olduğunu vurguladı. CLEVI’nin from scratch yöntemiyle bağımsız olarak geliştirdiği iki modeli kullanması, bu çalışmanın ayırt edici özelliğidir.
cip-5.5-agent, karmaşık görevleri otonom olarak planlayan (planning), gerçekleştiren (execution) ve doğrulayan (verification) ajan işlem hatlarının temel beyni rolünü üstlenen, ajanik bir yapay zekâ modelidir. cip-5.5-mm ise ses, görüntü ve video gibi çeşitli dosya formatlarını anlayıp çıkarım yapabilen yüksek performanslı, genel amaçlı bir multimodal modeldir. GAIA sorularının önemli bir bölümü PDF, görüntü ve ses dosyaları gibi metin dışı girdiler içerdiğinden, bu multimodal yetenek yüksek puanın temel etkeni olmuştur.
CLEVI, bu iki kendi modelini temel alarak GAIA'ya 5 farklı ajan yapılandırmasıyla katılmış ve tümü 70'in üzerinde puan almıştır.
Şirketin açıklamasına göre, CLEVI'nin kurum içi son incelemesinde ilginç sonuçlar ortaya çıkmıştır. Toplam 301 sorunun bir bölümünde, doğru yanıtı destekleyen kanıtlar günümüzde açık web'de artık mevcut değildir. Geçmişte çevrimiçi olarak veya arama motorlarında doğrulanabilen bilgilerin silinmesi ya da değiştirilmesi nedeniyle bunlara artık erişilememektedir. Günümüzde insanların herkese açık olarak doğrulayabildiği bilgiler kapsamında yeniden değerlendirildiğinde, CLEVI'nin doğruluk oranı %98'in üzerinde bulunmuştur. Bu oran, insan ortalaması olan %92'yi şimdiden aşmaktadır.
CLEVI yetkilisi, “CLEVI, harici model karışımı olmadan, from scratch kendi modelleri ve kendi yapay zekâ ajanı çözümleriyle 5 ajanın tamamında 70+ puan alarak herkese açık benchmark'ta ilk %2,5'lik dilime girdi. Gelecekte kendi modellerinin ve ajan çözümlerinin geliştirilmesiyle resmî puanın da daha fazla artırılabileceği görülüyor. Bu başarı; küresel, herkese açık benchmark'ta fiilen ölçülerek 'kanıtlanmış güven' göstermesi, yerli bir yapay zekâ geliştiricisinin from scratch kendi modellerine dayalı başarısı olması, harici model karışımı yerine özgün bir model yığını sonucunda elde edilmesi ve bazı sorulardaki bilgi kaybı dikkate alındığında puanın ötesinde yorum değerine sahip olması açısından büyük önem taşıyor” açıklamasında bulundu.