Källa: Electronic Times, journalisten Lee Won-ji
Fullständig artikelcitering: ”CLEVI, 79,07 % med en egen modell utvecklad from scratch... bland de 2,5 % främsta av 3 090 modeller”
Publiceringsdatum: 2026-04-07
Länk: https://www.etnews.com/20260407000203
cip-5.5-agent·cip-5.5-mm:s egen modellstack med fem agenter, samtliga över 70 poäng
98 %+ korrekthet med hänsyn till informationsförlust, högre än människors (92 %)
AI-startupen ’CLEVI’ uppnådde en korrekthet på 79,07 % i den globala AI-agentbenchmarken ’GAIA’ genom att använda en egen modell utvecklad from scratch och placerade sig bland de 2,5 % främsta baserat på totalt 3 090 registrerade modeller.
Enligt branschens bedömning anses GAIA på AI-benchmarkmarknaden troget återspegla förmågan hos ’praktiska AI-agenter’. Denna benchmark utvecklades gemensamt av Meta AI, HuggingFace och Paris-Saclay-universitetet och offentliggjordes första gången i november 2023.
Det finns tre centrala faktorer som skiljer GAIA från andra benchmarktester. För det första är de korrekta svaren inte offentliga, vilket gör överanpassning omöjlig. För det andra krävs flerstegs- och multimodala komplexa resonemang, vilket gör höga poäng omöjliga att uppnå genom enkel mönstermatchning. För det tredje tävlar över 3 090 modeller från hela världen på samma villkor via HuggingFaces officiella topplista.
Testuppsättningen består av totalt 301 frågor. Level 1 omfattar användning av ett enskilt verktyg och enkel slutledning, Level 2 kombinationer av flera verktyg och slutledning på mellannivå, medan Level 3 består av frågor på högsta svårighetsnivå som kräver agentplanering och utförande i fem eller fler steg. När benchmarken presenterades låg GPT-modeller (med plugin) på omkring 15 %, medan de ledande teamen nu har höjt resultaten till 70–80 %.
CLEVI betonade att den tekniskt mest uppmärksammade delen av resultatet är att inga externa LLM-API:er som GPT, Claude eller Gemini användes alls. Det utmärkande är att CLEVI använde två modeller som utvecklats internt from scratch.
cip-5.5-agent är en agentisk AI-modell och fungerar som den centrala hjärnan i agentpipelines som självständigt planerar (planning), genomför (execution) och verifierar (verification) komplexa uppgifter. cip-5.5-mm är en högpresterande generell multimodal modell som förstår och resonerar kring olika filformat, såsom röst, bilder och video. Eftersom en betydande andel av GAIA-frågorna innehåller icke-textbaserade indata, exempelvis PDF-filer, bilder och ljudfiler, blev denna multimodala förmåga en avgörande faktor för det höga resultatet.
CLEVI deltog i GAIA med fem olika agentkonfigurationer baserade på dessa två egenutvecklade modeller, och samtliga uppnådde över 70 poäng.
Enligt företaget framkom intressanta resultat i CLEVI:s interna efterhandsgranskning. För vissa av de totalt 301 frågorna har belägg för de korrekta svaren gått förlorade på den offentligt tillgängliga webben. Det gäller information som tidigare kunde verifieras online eller via sökmotorer men som har raderats eller ändrats och därför inte längre är åtkomlig. Vid en omvärdering utifrån den information som människor för närvarande kan verifiera offentligt uppgick CLEVI:s träffsäkerhet till över 98 %. Det är redan högre än genomsnittet för människor, som ligger på 92 %.
En företrädare för CLEVI förklarade: ”CLEVI placerade sig bland de 2,5 % bästa i ett offentligt benchmark genom att alla fem agenter uppnådde 70+ poäng, enbart med from scratch-egna modeller och egna AI-agentlösningar, utan att blanda externa modeller. Genom framtida förbättringar av de egna modellerna och agentlösningarna väntas även den officiella poängen kunna höjas ytterligare. Resultatet är betydelsefullt eftersom det visar ’verifierat förtroende’, uppmätt i ett globalt offentligt benchmark, eftersom det representerar en prestation baserad på en AI-utvecklares from scratch-egna modell, eftersom det är resultatet av en självständig modellstack snarare än en blandning av externa modeller, och eftersom vissa frågors informationsförlust ger resultatet ett tolkningsvärde som sträcker sig bortom själva poängen.”