Chanzo: Mwandishi Lee Won-ji wa Electronic Times
Nukuu kamili ya makala “CLEVI, kwa kutumia modeli yake yenyewe iliyoundwa from scratch, GAIA 79.07%... iko katika asilimia 2.5 ya juu kati ya modeli 3,090”
Tarehe ya kuchapishwa: 2026-04-07
Kiungo: https://www.etnews.com/20260407000203
Stack ya modeli huru ya cip-5.5-agent·cip-5.5-mm, mawakala wote 5 wamepata zaidi ya alama 70
Usahihi wa majibu wa zaidi ya 98% ikizingatiwa upotevu wa taarifa, ukizidi ule wa binadamu (92%)
Kampuni changa ya AI 'CLEVI' ilirekodi usahihi wa majibu wa 79.07% katika 'GAIA', kipimo cha kimataifa cha mawakala wa AI, kwa kutumia modeli yake yenyewe iliyoundwa from scratch, na ikaingia katika asilimia 2.5 ya juu ikilinganishwa na modeli zote 3,090 zilizosajiliwa.
Kulingana na maelezo ya sekta, GAIA inatathminiwa kuwa inaakisi kwa uaminifu uwezo wa 'mawakala wa AI wa vitendo' katika soko la vipimo vya AI. Kipimo hiki, kilichotengenezwa kwa pamoja na Meta AI, HuggingFace na Chuo Kikuu cha Paris-Saclay, kilitolewa kwa mara ya kwanza mnamo Novemba 2023.
GAIA inatofautishwa na vipimo vingine kwa mambo matatu muhimu. Kwanza, kwa kuwa majibu sahihi hayajawekwa wazi, overfitting haiwezekani. Pili, kwa kuwa kinahitaji ufikiri changamano wa hatua nyingi na miundo mingi, haiwezekani kupata alama ya juu kwa kulinganisha ruwaza rahisi pekee. Tatu, zaidi ya modeli 3,090 kutoka kote ulimwenguni hushindana chini ya masharti sawa kupitia ubao rasmi wa wanaoongoza wa HuggingFace.
Seti ya majaribio ina jumla ya maswali 301. Level 1 inahusisha matumizi ya zana moja na ufikiri rahisi, Level 2 inahusisha mchanganyiko wa zana nyingi na ufikiri wa kiwango cha kati, huku Level 3 ikiwa na maswali yenye kiwango cha juu zaidi cha ugumu yanayohitaji kupanga na kutekeleza kwa wakala kwa hatua 5 au zaidi. Wakati wa kutangazwa kwa kipimo hicho, alama ilikuwa takriban 15% kwa modeli za GPT (zilizokuwa na programu-jalizi), lakini kwa sasa timu zinazoongoza zimeiinua hadi kiwango cha 70–80%.
Kati ya hayo, CLEVI ilisisitiza kwamba jambo la kiufundi linalopaswa kuzingatiwa zaidi katika mafanikio hayo ni kwamba haikutumia kabisa API za LLM za nje kama GPT, Claude na Gemini. Sifa kuu ni kwamba CLEVI ilitumia modeli mbili zilizotengenezwa kwa kujitegemea kwa njia ya from scratch.
cip-5.5-agent ni modeli ya AI ya kiagentiki inayotumika kama ubongo mkuu wa mpangilio wa mawakala unaopanga (planning), kutekeleza (execution) na kuthibitisha (verification) kazi changamano kwa uhuru. cip-5.5-mm ni modeli ya utendaji wa juu ya jumla ya multimodali inayoweza kuelewa na kufanya makisio kuhusu miundo mbalimbali ya faili, kama vile sauti, picha na video. Kwa kuwa idadi kubwa ya maswali ya GAIA inajumuisha maingizo yasiyo ya maandishi, kama faili za PDF, picha na sauti, uwezo huu wa multimodali ulikuwa sababu kuu ya kupata alama za juu.
CLEVI ilishiriki katika GAIA ikiwa na usanidi 5 tofauti wa mawakala uliotengenezwa kwa msingi wa modeli hizi mbili za ndani, na wote walipata alama za zaidi ya 70.
Kulingana na maelezo ya kampuni, matokeo ya kuvutia yalibainika katika ukaguzi wa baada ya tathmini uliofanywa ndani ya CLEVI. Kati ya maswali 301 kwa jumla, kwa baadhi yake ushahidi wa majibu sahihi ulikuwa umepotea kwenye wavuti ya umma inayopatikana sasa. Hizi ni hali ambapo taarifa zilizokuwa zikithibitishwa hapo awali mtandaoni au kupitia injini za utafutaji zilifutwa au kubadilishwa na hivyo haziwezi kufikiwa tena. Ilipofanyiwa tathmini upya kulingana na kiwango cha taarifa zinazoweza kuthibitishwa hadharani na binadamu kwa sasa, usahihi wa CLEVI ulionekana kuwa zaidi ya 98%. Hii ni idadi ambayo tayari imevuka wastani wa binadamu wa 92%.
Mwakilishi wa CLEVI alieleza: “CLEVI iliingia katika asilimia 2.5 za juu za kigezo cha wazi cha tathmini, huku mawakala wote 5 wakipata alama za 70+, kwa kutumia modeli zetu wenyewe zilizotengenezwa from scratch na suluhisho zetu wenyewe za mawakala wa AI, bila kuchanganya modeli za nje. Inaonekana kuwa uboreshaji zaidi wa modeli na suluhisho za mawakala zetu wenyewe utawezesha pia kuongeza alama rasmi siku zijazo. Mafanikio haya yana umuhimu mkubwa kwa sababu yanaonyesha ‘uaminifu uliothibitishwa’ uliopimwa katika kigezo cha kimataifa cha wazi cha tathmini, ni mafanikio yanayotokana na modeli yetu wenyewe iliyotengenezwa from scratch na kampuni ya ndani ya ukuzaji wa AI, ni matokeo ya msururu huru wa modeli badala ya mchanganyiko wa modeli za nje, na yana thamani ya kutafsiriwa inayozidi alama yenyewe ikizingatiwa upotevu wa taarifa katika baadhi ya maswali.”