Källa: Digital Times, reporter Gubon-gyu
Citat i sin helhet från artikeln ”AI-startupen Clevi går in bland de översta 2,5 procenten i GAIA … visar verifierad trovärdighet”
Publiceringsdatum 2026-04-08
Länk: https://n.news.naver.com/article/029/0003020511?sid=105
Den koreanska AI-startupen Clevi har byggt egna modeller och egna agentlösningar from scratch och meddelar att företaget som första aktör i Korea har placerat sig bland de översta 2,5 procenten i GAIA-benchmarken, baserat på samtliga 3 090 registrerade modeller.
Enligt branschens beskrivning testar GAIA, som har utformats av Meta AI och drivs av Hugging Face, inte AI:ns förmåga att ”vara bra på en enda sak”, utan dess förmåga att ”kombinera flera förmågor för att lösa verkliga problem”. Den måste hitta information på webben, läsa tabeller i PDF-filer, analysera bilder, köra kod för att göra beräkningar och sammanställa resultaten till ett enda korrekt svar. Strukturen, med 301 icke-offentliga frågor, tre svårighetsgrader och en princip om att inte offentliggöra svaren, gör överanpassning och fusk omöjliga.
För att få höga poäng på testet krävs två saker. Dels slutledningsförmågan hos den underliggande språkmodellen, dels en agentlösning som kopplar modellen till verktyg i den verkliga världen och låter den utföra uppgifter autonomt. Även om modellen är mycket bra kan den inte lösa Level 3 om agenten är svag, och även om agenten är mycket sofistikerad sprids felaktiga svar redan på mellannivåerna om modellens slutledningsförmåga är otillräcklig.
GAIA-resultattavlans nuvarande struktur visar ett intressant mönster. De flesta agenter i toppen har valt strategin ”multimodellsmix”, där flera modeller från stora teknikföretag som GPT, Claude och Gemini kombineras. Det är en rationell metod för att kombinera modellernas styrkor och motverka poängminskningar till följd av informationsförlust med mera.
Clevi anslöt sig däremot inte till denna grupp. cip-5.5-agent (agentisk AI), som utvecklats from scratch, utför autonomt planering, genomförande och verifiering av komplexa uppgifter, medan cip-5.5-mm (högpresterande generell multimodal modell) förstår och drar slutsatser från olika filformat, inklusive ljud, bilder och video. Båda modellerna har utvecklats självständigt internt hos Clevi, och inga externa LLM-API:er har använts över huvud taget.
Och genom att ställa upp med fem agenter på GAIA med denna egenutvecklade modellstack uppnådde samtliga över 70 poäng. Från som högst 79,07 % till 70,76 % bevisar detta stabiliteten i hela stacken, inte turen i ett enskilt resultat.
Enligt företaget finns det ytterligare en siffra bakom den officiella poängen på 79,07 %. CLEVI:s interna eftergranskning visade att ett betydande antal av de 301 frågorna nu saknar belägg för korrekta svar på den offentligt tillgängliga webben. Vid en omvärdering baserad enbart på frågor där det korrekta svaret fortfarande finns på webben uppgick CLEVI:s träffsäkerhet till över 98 %. Det är redan högre än det mänskliga genomsnittet på 92 %.
Det hade naturligtvis varit möjligt att höja den officiella poängen ytterligare genom att blanda in andra företags kraftfulla generalistmodeller. CLEVI valde dock medvetet att inte använda denna strategi. Målet med detta benchmark var nämligen inte att konkurrera om den högsta poängen, utan att verifiera om en egen modell byggd from scratch hade nått en nivå där den kunde konkurrera på den globala arenan.
Att få sitt namn på GAIA:s topplista innebär att man har en verifierad trovärdighet som tilldelats genom en oberoende tredjepartsutvärdering. Detta blir ett objektivt underlag som kan användas i alla skeden – från kapitalanskaffning och internationell expansion till B2B-försäljning.
En representant för CLEVI sade: ”Av de 63 officiellt felaktiga svaren berodde en betydande andel på avvikelser i utdataformatet, feltolkning av visuellt material samt frågor som inte kunde besvaras på grund av informationsförlust. Det handlar snarare om precisionen i efterbearbetningen och tillgången till extern information än om grundläggande begränsningar i logiskt resonemang. Eftersom det är vår egen modell kan CLEVI själv förbättra den. Det är just den strukturella fördelen med en egen modell byggd from scratch. CLEVI:s resultat den här gången ställer frågan till den koreanska AI-branschen: ’Hur länge ska vi vara beroende av lånade hjärnor?’ CLEVI har valt den svårare vägen med from scratch och vill bevisa svaret på den globala arenan.”