Kumu: Electronic Times, mea kākau ʻo Lee Won-ji
Kope piha o ka ʻatikala “CLEVI, me ke kumu hoʻohālike ponoʻī i kūkulu ʻia mai ka scratch, ua loaʻa ka 79.07% ma GAIA... ma waena o ka 2.5% kiʻekiʻe o nā kumu hoʻohālike 3,090”
Lā paʻi: 2026-04-07
Loulou: https://www.etnews.com/20260407000203
ʻO ka cip-5.5-agent·cip-5.5-mm independent model stack: ua ʻoi aku nā ʻelele 5 a pau ma mua o 70 mau helu
Ma ka noʻonoʻo ʻana i ka nalowale o ka ʻike, he 98%+ ka helu pololei, ʻoi aku ma mua o nā kānaka (92%)
Ua loaʻa i ka ʻoihana hoʻomaka AI ʻo 'CLEVI' ka helu pololei o 79.07% ma ka 'GAIA', ka benchmark honua no nā ʻelele AI, ma ka hoʻohana ʻana i kāna kumu hoʻohālike ponoʻī i kūkulu ʻia mai ka scratch, a ua komo i loko o ka 2.5% kiʻekiʻe ma muli o nā kumu hoʻohālike 3,090 i hoʻopaʻa inoa ʻia.
Wahi a nā wehewehe a ka ʻoihana, manaʻo ʻia ʻo GAIA ma ka mākeke benchmark AI he hōʻike pono ia i ka hiki o nā 'ʻelele AI hoʻohana maoli'. Ua hoʻomohala pū ʻia kēia benchmark e Meta AI, HuggingFace, ke Kulanui ʻo Paris-Saclay a me nā hui ʻē aʻe, a ua hōʻike mua ʻia i Nowemapa 2023.
ʻEkolu mau hiʻohiʻona nui e hoʻokaʻawale ai iā GAIA mai nā benchmark ʻē aʻe. ʻO ka mua, no ka mea ʻaʻole i hoʻolaha ʻia nā pane pololei, ʻaʻole hiki ke hana i ka overfitting. ʻO ka lua, no ka mea e koi ana i ka noʻonoʻo hoʻohui multistep a multimodal, ʻaʻole hiki ke loaʻa nā helu kiʻekiʻe ma ka pattern matching maʻalahi wale nō. ʻO ke kolu, ma o ka papa alakaʻi kūhelu o HuggingFace, hoʻokūkū nā kumu hoʻohālike ʻoi aku ma mua o 3,090 mai ka honua holoʻokoʻa ma lalo o nā kūlana like.
He 301 mau nīnau ka huina o ka test set. ʻO Level 1 ka hoʻohana ʻana i hoʻokahi mea hana a me ka noʻonoʻo maʻalahi; ʻo Level 2 ka hoʻohui ʻana i nā mea hana he nui a me ka noʻonoʻo pae waena; a ʻo Level 3 nā nīnau paʻakikī loa e koi ana i ka hoʻolālā a me ka hoʻokō ʻana a kekahi ʻelele ma nā ʻanuʻu ʻelima a ʻoi aku. I ka wā i hoʻolaha ʻia ai ka benchmark, ua kū ka helu ma kahi o 15% no nā kumu hoʻohālike GPT me nā plugin, a i kēia manawa ua hoʻokiʻekiʻe nā hui alakaʻi i ka pae 70–80%.
Ma kēia pōʻaiapili, ua koʻikoʻi ʻo CLEVI ʻo ka mea pono loa e nānā ʻenehana ai ma kēia hopena, ʻo ia ka hoʻohana ʻole ʻia ʻana o nā API LLM kūwaho e like me GPT, Claude a me Gemini. ʻO ka hiʻohiʻona kūikawā o CLEVI, ʻo ia ka hoʻohana ʻana i ʻelua mau kumu hoʻohālike i hoʻomohala kūʻokoʻa ʻia ma ke ʻano from scratch.
He kumu hoʻohālike AI agentic ʻo cip-5.5-agent, a he lolo koʻikoʻi ia no ka pipeline agent e hoʻolālā kūʻokoʻa ai (planning), hoʻokō ai (execution), a hōʻoia ai (verification) i nā hana paʻakikī. He kumu hoʻohālike multimodal laulā ikaika ʻo cip-5.5-mm, e hoʻomaopopo a e noʻonoʻo ana ma luna o nā ʻano faila like ʻole e like me ka leo, nā kiʻi, a me nā wikiō. No ka mea, he nui nā nīnau o GAIA i hoʻokomo i nā mea hoʻokomo ʻikepili ʻaʻole kikokiko, e like me nā faila PDF, nā kiʻi, a me nā faila leo, ua lilo kēia mākaukau multimodal i kumu koʻikoʻi no ka loaʻa ʻana o ka helu kiʻekiʻe.
Ma muli o kēia mau kumu hoʻohālike ponoʻī ʻelua, ua hoʻokūkū ʻo CLEVI ma GAIA me nā hoʻonohonoho agent ʻelima ʻokoʻa, a ua loaʻa i kēlā me kēia he helu ma luna o 70.
Wahi a ka wehewehe a ka hui, ua ʻike ʻia kekahi hopena hoihoi ma ka loiloi hope kūloko a CLEVI. Ma waena o nā nīnau he 301, ua nalowale kekahi mau kumu hōʻoia no nā pane pololei ma ka pūnaewele lehulehu i kēia manawa. ʻO ia hoʻi, ua holoi ʻia a ua hoʻololi ʻia kekahi ʻike i hiki ke hōʻoia ʻia ma ka pūnaewele a i ʻole ma nā ʻenekini huli i ka wā ma mua, a ʻaʻole hiki ke komo hou i ia ʻike. I ka loiloi hou ʻana ma muli o ka laulā o ka ʻike i hiki i nā kānaka ke hōʻoia ākea i kēia manawa, ua hōʻike ʻia ka pololei o nā pane a CLEVI ma luna o 98%. Ua ʻoi aku kēia ma mua o ka awelika kanaka he 92%.
Ua wehewehe kekahi luna o CLEVI: “Me ka hoʻohui ʻole ʻana i nā kumu hoʻohālike waho, ua loaʻa i nā agent ʻelima a CLEVI he 70+ ma ka hoʻohana wale ʻana i nā kumu hoʻohālike ponoʻī mai from scratch a me nā hopena AI agent ponoʻī, a ua komo i ka 2.5% kiʻekiʻe ma ka benchmark lehulehu. Ke hoʻomaikaʻi ʻia nā kumu hoʻohālike ponoʻī a me nā hopena agent i ka wā e hiki mai ana, manaʻo ʻia e hiki nō ke hoʻonui hou ʻia ka helu kūhelu. He mea koʻikoʻi kēia hopena no ka mea ua ana maoli ʻia ma kahi benchmark lehulehu honua a hōʻike i ka ‘hilinaʻi i hōʻoia ʻia’; no ka mea he hopena ia o kahi hui hoʻomohala AI kūloko i hoʻokumu ʻia ma nā kumu hoʻohālike ponoʻī mai from scratch; no ka mea he hopena ia o kahi model stack kūʻokoʻa, ʻaʻole o ka hoʻohui ʻana i nā kumu hoʻohālike waho; a no ka mea, ke noʻonoʻo ʻia ka nalowale ʻana o ka ʻike ma kekahi mau nīnau, he waiwai ka wehewehe ʻana ma mua o ka helu wale nō.”