Эх сурвалж: Электрон сонин, сэтгүүлч И Вонжи
“CLEVI, from scratch өөрийн загвараар GAIA-д 79.07%... 3,090 загвараас шилдэг 2.5%-д” нийтлэлийн бүрэн эхээс эшлэв
Нийтэлсэн огноо: 2026-04-07
Холбоос: https://www.etnews.com/20260407000203
cip-5.5-agent·cip-5.5-mm бие даасан загварын стек, 5 агент бүгд 70-аас дээш оноо
Мэдээллийн алдагдлыг тооцсон үед 98%+ зөв хариултын түвшинтэй, хүнээс (92%) давсан
AI стартап 'CLEVI' нь from scratch өөрийн загварыг ашиглан дэлхийн AI агентын жишиг үзүүлэлт болох 'GAIA'-д 79.07%-ийн зөв хариултын түвшин үзүүлж, нийт бүртгэлтэй 3,090 загварын дотор шилдэг 2.5%-д багтжээ.
Салбарын тайлбарласнаар AI жишиг үзүүлэлтийн зах зээлд GAIA нь 'практик AI агент'-ын чадварыг үнэн зөв тусгадаг гэж үнэлэгддэг. Meta AI, HuggingFace болон Парис-Сакле их сургууль хамтран боловсруулсан энэхүү жишиг үзүүлэлтийг 2023 оны 11 дүгээр сард анх нийтэлсэн.
GAIA-г бусад жишиг үзүүлэлтээс ялгах гол онцлог нь гурван зүйл юм. Нэгдүгээрт, зөв хариулт нь нууц тул хэт тохируулга хийх боломжгүй. Хоёрдугаарт, олон алхамт, олон модальт нийлмэл дүгнэлт шаарддаг тул энгийн хэв шинж тааруулалтаар өндөр оноо авах боломжгүй. Гуравдугаарт, HuggingFace-ийн албан ёсны тэргүүлэгчдийн жагсаалтаар дамжуулан дэлхийн 3,090 гаруй загвар ижил нөхцөлд өрсөлддөг.
Тестийн багц нийт 301 асуултаас бүрдэнэ. Level 1 нь нэг хэрэгсэл ашиглах болон энгийн дүгнэлт, Level 2 нь олон хэрэгслийн хослол болон дунд түвшний дүгнэлт, Level 3 нь 5-аас дээш алхамтай агентын төлөвлөлт, гүйцэтгэл шаарддаг хамгийн өндөр төвөгшилтэй асуултуудаас бүрдэнэ. Жишиг үзүүлэлтийг танилцуулах үеэр GPT загваруудын (плагин суурилуулсан) үзүүлэлт ойролцоогоор 15%-д хүрч байсан бол одоо тэргүүлэх багууд 70–80%-д хүргэсэн байна.
Үүний дундаас CLEVI энэхүү амжилтын техникийн хувьд хамгийн анхаарал татахуйц хэсэг нь GPT, Claude, Gemini зэрэг гадаад LLM API-г огт ашиглаагүй явдал гэдгийг онцолсон. CLEVI нь from scratch аргачлалаар бие даан хөгжүүлсэн хоёр төрлийн загвар ашигласан нь онцлог юм.
cip-5.5-agent нь агентлагт AI загвар бөгөөд нарийн төвөгтэй даалгаврыг бие даан төлөвлөх (planning), гүйцэтгэх (execution), баталгаажуулах (verification) агентын дамжуулах хоолойн гол тархи үүргийг гүйцэтгэдэг. cip-5.5-mm нь дуу хоолой, зураг, видео зэрэг төрөл бүрийн файлын форматыг ойлгож, дүгнэлт хийх өндөр гүйцэтгэлтэй ерөнхий зориулалтын мультимодал загвар юм. GAIA-ийн асуултуудын нэлээд хэсэг нь PDF, зураг, аудио файл зэрэг текстийн бус оролтыг агуулдаг тул энэхүү мультимодал чадвар нь өндөр оноо авах гол хүчин зүйл болсон.
CLEVI эдгээр хоёр өөрийн загварт тулгуурлан 5 өөр агентын тохиргоогоор GAIA-д оролцож, бүгд 70-аас дээш оноо авсан.
Компанийн тайлбарласнаар, CLEVI-ийн дотоодын дараах хяналтаар сонирхолтой үр дүн илэрсэн байна. Нийт 301 асуултын заримынх нь зөв хариултыг нотлох баримт одоогоор нийтэд нээлттэй вэб орчинд алга болсон байв. Өмнө нь онлайн орчинд эсвэл хайлтын системээр шалгах боломжтой байсан мэдээлэл устгагдсан, өөрчлөгдсөн зэргээс шалтгаалан цаашид хандах боломжгүй болсон тохиолдол юм. Одоогоор хүн нийтэд нээлттэйгээр шалгаж болох мэдээллийн хүрээнд дахин үнэлэхэд CLEVI-ийн зөв хариултын түвшин 98%-иас дээш гарсан. Энэ нь хүний дундаж болох 92%-ийг аль хэдийн давсан үзүүлэлт юм.
CLEVI-ийн төлөөлөгч “CLEVI нь гаднын загвар хольж ашиглалгүйгээр, from scratch өөрийн загвар болон өөрийн AI агентын шийдлүүдээрээ 5 агент бүгд 70+ оноо авч, нийтэд нээлттэй жишиг үнэлгээний дээд 2.5%-д багтсан. Цаашид өөрийн загвар болон агентын шийдлүүдийг сайжруулснаар албан ёсны оноог ч нэмэгдүүлэх боломжтой гэж үзэж байна. Энэхүү амжилт нь дэлхийн нийтэд нээлттэй жишиг үнэлгээгээр бодитоор хэмжигдэж, ‘баталгаажсан итгэлцэл’-ийг харуулсан; дотоодын AI хөгжүүлэгчийн from scratch өөрийн загварт суурилсан үр дүн болсон; гаднын загвар хольсон бус, бие даасан загварын стек ашигласны үр дүн болсон; мөн зарим асуултын мэдээлэл алдагдсаныг харгалзан үзвэл онооноос давсан тайлбарын үнэ цэнтэй гэдгээрээ онцгой ач холбогдолтой” хэмээн тайлбарлав.