Madogara: E-News, ɗan jarida Lee Won-ji
Cikakken ambaton labarin “CLEVI, da samfurin kansa da aka ƙera daga tushe, ya samu 79.07% a GAIA... yana cikin manyan 2.5% cikin samfura 3,090”
Ranar bugawa: 2026-04-07
Mahada: https://www.etnews.com/20260407000203
Tarin samfura na musamman na cip-5.5-agent·cip-5.5-mm, dukkan wakilai 5 sun samu sama da maki 70
Idan aka yi la’akari da asarar bayanai, daidaiton amsa ya haura 98%, sama da na mutane (92%)
Kamfanin AI mai tasowa 'CLEVI' ya yi amfani da samfurinsa da aka ƙera daga tushe, inda ya samu daidaiton amsa na 79.07% a 'GAIA', ma’aunin gwajin wakilan AI na duniya, kuma ya shiga cikin manyan 2.5% bisa samfura 3,090 da aka yi rajista gaba ɗaya.
A cewar bayanin masana’antar, ana ɗaukar GAIA a kasuwar ma’aunan gwajin AI a matsayin ma’aunin da ke nuna ƙwarewar ‘wakilin AI mai amfani’ yadda ya kamata. Meta AI, HuggingFace da Jami’ar Paris-Saclay ne suka haɓaka wannan ma’auni tare, kuma an fara bayyana shi a watan Nuwamba 2023.
Abubuwa uku ne suka bambanta GAIA da sauran ma’aunan gwaji. Na farko, saboda ba a bayyana amsoshin daidai ba, ba zai yiwu a yi overfitting ba. Na biyu, saboda yana buƙatar haɗaɗɗen tunani mai matakai da yawa da kuma nau’o’i da yawa, ba zai yiwu a samu maki mai yawa ta hanyar daidaita salo kawai ba. Na uku, sama da samfura 3,090 daga ko’ina cikin duniya suna fafatawa a ƙarƙashin yanayi iri ɗaya ta hanyar jadawalin matsayi na hukuma na HuggingFace.
Saitin gwajin ya ƙunshi tambayoyi 301 gaba ɗaya. Level 1 ya ƙunshi amfani da kayan aiki guda ɗaya da sauƙaƙan tunani, Level 2 ya ƙunshi haɗa kayan aiki da yawa da matsakaicin matakin tunani, yayin da Level 3 ya ƙunshi tambayoyi mafi wahala waɗanda ke buƙatar tsarawa da aiwatarwa ta wakili cikin matakai 5 ko fiye. A lokacin da aka sanar da ma’aunin gwajin, ya tsaya kusan 15% bisa samfuran GPT (waɗanda ke da plugins), amma a yanzu ƙungiyoyin da ke kan gaba sun ɗaga shi zuwa kashi 70–80%.
A cikin wannan sakamako, CLEVI ta jaddada cewa abin da ya fi dacewa a lura da shi a fasaha shi ne ba ta yi amfani ko kaɗan da API na LLM na waje kamar GPT, Claude da Gemini ba. Abin da ya bambanta CLEVI shi ne ta yi amfani da samfura biyu da ta haɓaka da kanta ta hanyar from scratch.
cip-5.5-agent samfurin AI ne mai aiki a matsayin wakili, kuma yana taka rawar kwakwalwa ta tsakiya a bututun wakili da ke tsarawa (planning), aiwatarwa (execution) da tabbatarwa (verification) ta atomatik a kan ayyuka masu rikitarwa. cip-5.5-mm samfurin multimodal ne mai ƙarfi kuma na gama-gari, wanda ke fahimta da yin tunani kan nau’ikan fayiloli daban-daban kamar murya, hotuna da bidiyo. Saboda yawancin tambayoyin GAIA sun ƙunshi bayanan da ba na rubutu ba, kamar fayilolin PDF, hotuna da fayilolin sauti, wannan ƙwarewar multimodal ta zama muhimmin abin da ya ba da damar samun babban maki.
CLEVI ta shigar da tsare-tsaren wakilai guda 5 daban-daban cikin GAIA bisa waɗannan samfuran nata guda biyu, kuma duk sun samu maki sama da 70.
A cewar bayanin kamfanin, an gano wani sakamako mai ban sha’awa a cikin bitar baya da CLEVI ta gudanar. Daga cikin jimillar tambayoyi 301, an gano cewa tushen wasu amsoshin daidai ya ɓace daga yanar gizon jama'a a halin yanzu. Wato, bayanan da a baya ake iya tabbatarwa a intanet ko ta injunan bincike an goge su ko an canza su, har ba a iya samun damar isa gare su. Lokacin da aka sake tantance su bisa iyakar bayanan da mutane za su iya tabbatarwa a bainar jama'a a halin yanzu, adadin amsoshin da CLEVI ta bayar daidai ya wuce 98%. Wannan adadi ya riga ya zarce matsakaicin na mutane, wanda yake 92%.
Wani jami’in CLEVI ya bayyana cewa, “CLEVI ta samu maki 70+ daga dukkan wakilai 5, ta shiga cikin kashi 2.5% na kan gaba a ma’aunin gwaji na jama'a, ba tare da haɗa samfuran waje ba, sai dai samfuran nata da aka gina daga tushe da kuma nata hanyoyin magance AI. Ana sa ran za a iya ƙara inganta maki na hukuma a nan gaba ta hanyar inganta samfuran nata da hanyoyin magance wakilai. Wannan nasara tana da muhimmanci saboda an auna ta a ma’aunin gwaji na jama'a na duniya, tana nuna ‘amincewar da aka tabbatar’; saboda ta samo asali ne daga nasarar wani kamfanin haɓaka AI na cikin gida da ya gina samfurinsa daga tushe; saboda sakamakon ya samo asali ne daga tarin samfuran kansa ba tare da haɗa samfuran waje ba; sannan kuma, idan aka yi la’akari da ɓacewar bayanai a wasu tambayoyi, tana da darajar fassara da ta wuce maki kawai.”