మూలం: ఎలక్ట్రానిక్ న్యూస్, రిపోర్టర్ లీ వోన్-జీ
“క్లెవి, from scratch స్వీయ మోడల్‌తో GAIAలో 79.07%...3,090 మోడళ్లలో టాప్ 2.5%” అనే కథనం పూర్తి పాఠ్యానికి సూచన
ప్రచురణ తేదీ: 2026-04-07
లింక్: https://www.etnews.com/20260407000203
cip-5.5-agent·cip-5.5-mm స్వతంత్ర మోడల్ స్టాక్‌లోని 5 ఏజెంట్లూ 70కు పైగా స్కోరు సాధించారు
సమాచార నష్టాన్ని పరిగణనలోకి తీసుకున్నప్పుడు 98%+ ఖచ్చితత్వం, మనుషుల (92%) కంటే ఎక్కువ
AI స్టార్టప్ 'క్లెవి' from scratch స్వీయ మోడల్‌ను ఉపయోగించి గ్లోబల్ AI ఏజెంట్ బెంచ్‌మార్క్ 'GAIA'లో 79.07% ఖచ్చితత్వాన్ని నమోదు చేసి, మొత్తం 3,090 నమోదిత మోడళ్లలో టాప్ 2.5%లో స్థానం సంపాదించింది.
పరిశ్రమ వివరణల ప్రకారం, AI బెంచ్‌మార్క్ మార్కెట్‌లో GAIA 'ప్రాక్టికల్ AI ఏజెంట్ల' సామర్థ్యాన్ని విశ్వసనీయంగా ప్రతిబింబిస్తుందని評価 పొందింది. Meta AI, HuggingFace, పారిస్-సాక్లే విశ్వవిద్యాలయం తదితరాలు సంయుక్తంగా అభివృద్ధి చేసిన ఈ బెంచ్‌మార్క్‌ను తొలిసారిగా 2023 నవంబర్‌లో విడుదల చేశారు.
GAIAను ఇతర బెంచ్‌మార్క్‌ల నుంచి వేరు చేసే ప్రధాన అంశాలు మూడు. మొదటిది, సమాధానాలు బహిరంగంగా వెల్లడించబడకపోవడంతో ఓవర్‌ఫిట్టింగ్ సాధ్యం కాదు. రెండవది, మల్టీస్టెప్·మల్టీమోడల్ సంక్లిష్ట తర్కం అవసరమవడంతో సాధారణ ప్యాటర్న్ మ్యాచింగ్‌తో అధిక స్కోరు సాధించడం అసాధ్యం. మూడవది, HuggingFace అధికారిక లీడర్‌బోర్డ్ ద్వారా ప్రపంచవ్యాప్తంగా 3,090కు పైగా మోడళ్లు ఒకే పరిస్థితుల్లో పోటీపడతాయి.
టెస్ట్‌సెట్‌లో మొత్తం 301 ప్రశ్నలు ఉన్నాయి. Level 1లో ఒకే సాధనం వినియోగం మరియు సరళమైన తర్కం, Level 2లో బహుళ సాధనాల కలయిక మరియు మధ్యస్థాయి తర్కం, Level 3లో 5 దశలకు పైగా ఏజెంట్ ప్రణాళిక మరియు అమలు అవసరమయ్యే అత్యంత క్లిష్టమైన ప్రశ్నలు ఉంటాయి. బెంచ్‌మార్క్ ప్రకటించిన సమయంలో GPT మోడళ్ల (ప్లగిన్‌లతో) ఆధారంగా స్కోరు సుమారు 15%కే పరిమితమైంది; ప్రస్తుతం అగ్రశ్రేణి బృందాలు దాన్ని 70–80% స్థాయికి పెంచాయి.
ఇందులో, ఈ ఫలితాల్లో సాంకేతికంగా అత్యంత గమనించదగ్గ అంశం GPT, Claude, Gemini వంటి బాహ్య LLM APIలను అసలు ఉపయోగించకపోవడమేనని క్లెవి హైలైట్ చేసింది. from scratch పద్ధతిలో స్వతంత్రంగా అభివృద్ధి చేసిన రెండు మోడళ్లను ఉపయోగించడం క్లెవి ప్రత్యేకత.
cip-5.5-agent ఒక ఏజెంటిక్ AI మోడల్. ఇది క్లిష్టమైన పనులను స్వయంప్రతిపత్తితో ప్రణాళిక (planning) చేయడం, అమలు (execution) చేయడం, ధృవీకరించడం (verification) చేసే ఏజెంట్ పైప్‌లైన్‌కు ప్రధాన మెదడుగా పనిచేస్తుంది. cip-5.5-mm అనేది వాయిస్, చిత్రాలు, వీడియోలు వంటి వివిధ ఫైల్ ఫార్మాట్‌లను అర్థం చేసుకుని తర్కించగల అధిక పనితీరు గల సాధారణ-ప్రయోజన మల్టీమోడల్ మోడల్. GAIA ప్రశ్నల్లో గణనీయమైన భాగం PDFలు, చిత్రాలు, ఆడియో ఫైళ్లు వంటి పాఠ్యేతర ఇన్‌పుట్‌లను కలిగి ఉన్నందున, ఈ మల్టీమోడల్ సామర్థ్యం అధిక స్కోర్‌కు కీలక కారణమైంది.
CLEVI ఈ రెండు స్వంత మోడళ్ల ఆధారంగా 5 విభిన్న ఏజెంట్ కాన్ఫిగరేషన్‌లతో GAIAలో పాల్గొంది. వీటన్నింటి స్కోర్లు 70 పాయింట్లకు పైగా నమోదయ్యాయి.
సంస్థ వివరాల ప్రకారం, CLEVI నిర్వహించిన అంతర్గత అనంతర సమీక్షలో ఆసక్తికరమైన ఫలితం వెల్లడైంది. మొత్తం 301 ప్రశ్నల్లో కొన్ని ప్రశ్నలకు సంబంధించిన సరైన సమాధానాల ఆధారాలు ప్రస్తుతం పబ్లిక్ వెబ్‌లో అందుబాటులో లేవు. గతంలో ఆన్‌లైన్‌లో లేదా శోధన ఇంజిన్‌ల ద్వారా ధృవీకరించగలిగిన సమాచారం తొలగించబడటం లేదా మార్చబడటం వల్ల ఇకపై యాక్సెస్ చేయలేని సందర్భాలు ఇవి. ప్రస్తుతం మనుషులు బహిరంగంగా ధృవీకరించగలిగే సమాచార పరిధిలో పునర్మూల్యాంకనం చేసినప్పుడు, CLEVI యొక్క ఖచ్చితత్వం 98% కంటే ఎక్కువగా ఉన్నట్లు తేలింది. ఇది మానవుల సగటు 92%ను ఇప్పటికే అధిగమించిన సంఖ్య.