ਸਰੋਤ: ਇਲੈਕਟ੍ਰਾਨਿਕ ਨਿਊਜ਼, ਰਿਪੋਰਟਰ ਲੀ ਵੋਨ-ਜੀ
“CLEVI, from scratch ਆਪਣੇ ਮਾਡਲ ਨਾਲ GAIA ਵਿੱਚ 79.07%...3,090 ਮਾਡਲਾਂ ਵਿੱਚੋਂ ਸਿਖਰਲੇ 2.5%” ਲੇਖ ਦਾ ਪੂਰਾ ਹਵਾਲਾ
ਪ੍ਰਕਾਸ਼ਨ ਮਿਤੀ: 2026-04-07
ਲਿੰਕ: https://www.etnews.com/20260407000203
cip-5.5-agent·cip-5.5-mm ਦੇ ਵਿਸ਼ੇਸ਼ ਮਾਡਲ ਸਟੈਕ ਵਿੱਚ 5 ਏਜੰਟਾਂ ਨੇ ਸਾਰੇ 70 ਤੋਂ ਵੱਧ ਅੰਕ ਹਾਸਲ ਕੀਤੇ
ਜਾਣਕਾਰੀ ਦੇ ਨੁਕਸਾਨ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦਿਆਂ 98%+ ਸਹੀਪਨ, ਮਨੁੱਖਾਂ (92%) ਤੋਂ ਵੱਧ
AI ਸਟਾਰਟਅੱਪ 'CLEVI' ਨੇ from scratch ਆਪਣੇ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਗਲੋਬਲ AI ਏਜੰਟ ਬੈਂਚਮਾਰਕ 'GAIA' ਵਿੱਚ 79.07% ਸਹੀਪਨ ਦਰਜ ਕੀਤਾ ਅਤੇ ਕੁੱਲ 3,090 ਰਜਿਸਟਰਡ ਮਾਡਲਾਂ ਵਿੱਚੋਂ ਸਿਖਰਲੇ 2.5% ਦੇ ਅੰਦਰ ਸਥਾਨ ਬਣਾਇਆ।
ਉਦਯੋਗ ਦੀ ਵਿਆਖਿਆ ਅਨੁਸਾਰ, AI ਬੈਂਚਮਾਰਕ ਬਾਜ਼ਾਰ ਵਿੱਚ GAIA ਨੂੰ 'ਵਿਹਾਰਕ AI ਏਜੰਟਾਂ' ਦੀ ਸਮਰੱਥਾ ਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਦਰਸਾਉਣ ਵਾਲਾ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ। Meta AI, HuggingFace ਅਤੇ ਪੈਰਿਸ-ਸਾਕਲੇ ਯੂਨੀਵਰਸਿਟੀ ਆਦਿ ਵੱਲੋਂ ਸਾਂਝੇ ਤੌਰ 'ਤੇ ਵਿਕਸਿਤ ਇਹ ਬੈਂਚਮਾਰਕ ਪਹਿਲੀ ਵਾਰ ਨਵੰਬਰ 2023 ਵਿੱਚ ਜਾਰੀ ਕੀਤਾ ਗਿਆ ਸੀ।
GAIA ਨੂੰ ਹੋਰ ਬੈਂਚਮਾਰਕਾਂ ਤੋਂ ਵੱਖ ਕਰਨ ਵਾਲੀਆਂ ਤਿੰਨ ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਹਨ। ਪਹਿਲਾਂ, ਸਹੀ ਜਵਾਬ ਜਨਤਕ ਨਾ ਹੋਣ ਕਾਰਨ ਓਵਰਫਿਟਿੰਗ ਸੰਭਵ ਨਹੀਂ ਹੈ। ਦੂਜਾ, ਕਿਉਂਕਿ ਇਸ ਵਿੱਚ ਮਲਟੀਸਟੈਪ·ਮਲਟੀਮੋਡਲ ਜਟਿਲ ਤਰਕ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਇਸ ਲਈ ਸਿਰਫ਼ ਸਧਾਰਨ ਪੈਟਰਨ ਮੈਚਿੰਗ ਨਾਲ ਉੱਚ ਅੰਕ ਹਾਸਲ ਨਹੀਂ ਕੀਤੇ ਜਾ ਸਕਦੇ। ਤੀਜਾ, HuggingFace ਦੇ ਅਧਿਕਾਰਕ ਲੀਡਰਬੋਰਡ ਰਾਹੀਂ ਦੁਨੀਆ ਭਰ ਦੇ 3,090 ਤੋਂ ਵੱਧ ਮਾਡਲ ਇੱਕੋ ਜਿਹੀਆਂ ਸ਼ਰਤਾਂ ਹੇਠ ਮੁਕਾਬਲਾ ਕਰਦੇ ਹਨ।
ਟੈਸਟ ਸੈੱਟ ਵਿੱਚ ਕੁੱਲ 301 ਪ੍ਰਸ਼ਨ ਹਨ। Level 1 ਵਿੱਚ ਇੱਕੋ ਟੂਲ ਦੀ ਵਰਤੋਂ ਅਤੇ ਸਧਾਰਨ ਤਰਕ, Level 2 ਵਿੱਚ ਕਈ ਟੂਲਾਂ ਦਾ ਸੰਯੋਜਨ ਅਤੇ ਮੱਧਮ ਪੱਧਰ ਦਾ ਤਰਕ, ਜਦਕਿ Level 3 ਵਿੱਚ 5 ਜਾਂ ਇਸ ਤੋਂ ਵੱਧ ਪੜਾਵਾਂ ਵਾਲੀ ਏਜੰਟ ਯੋਜਨਾ ਅਤੇ ਕਾਰਜਾਨਵੈਨ ਦੀ ਲੋੜ ਵਾਲੇ ਸਭ ਤੋਂ ਮੁਸ਼ਕਲ ਪ੍ਰਸ਼ਨ ਸ਼ਾਮਲ ਹਨ। ਬੈਂਚਮਾਰਕ ਜਾਰੀ ਹੋਣ ਵੇਲੇ GPT ਮਾਡਲਾਂ (ਪਲੱਗਇਨ ਸਮੇਤ) ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਲਗਭਗ 15% ਤੱਕ ਸੀ, ਪਰ ਇਸ ਵੇਲੇ ਅਗਵਾਈ ਕਰਨ ਵਾਲੀਆਂ ਟੀਮਾਂ ਨੇ ਇਸ ਨੂੰ 70–80% ਤੱਕ ਪਹੁੰਚਾ ਦਿੱਤਾ ਹੈ।
ਇਸ ਪ੍ਰਾਪਤੀ ਵਿੱਚ CLEVI ਨੇ ਜ਼ੋਰ ਦੇ ਕੇ ਕਿਹਾ ਕਿ ਤਕਨੀਕੀ ਤੌਰ 'ਤੇ ਸਭ ਤੋਂ ਧਿਆਨਯੋਗ ਗੱਲ ਇਹ ਹੈ ਕਿ GPT, Claude, Gemini ਆਦਿ ਕਿਸੇ ਵੀ ਬਾਹਰੀ LLM API ਦੀ ਵਰਤੋਂ ਬਿਲਕੁਲ ਨਹੀਂ ਕੀਤੀ ਗਈ। CLEVI ਦੀ ਵਿਸ਼ੇਸ਼ਤਾ ਇਹ ਹੈ ਕਿ ਇਸ ਨੇ from scratch ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ ਵਿਕਸਿਤ ਕੀਤੇ ਦੋ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ।
cip-5.5-agent ਇੱਕ ਏਜੈਂਟਿਕ AI ਮਾਡਲ ਹੈ, ਜੋ ਜਟਿਲ ਕੰਮਾਂ ਦੀ ਖੁਦਮੁਖਤਿਆਰ ਯੋਜਨਾ (planning)·ਕਾਰਜਾਨਵਿਨ (execution)·ਤਸਦੀਕ (verification) ਕਰਨ ਵਾਲੀ ਏਜੈਂਟ ਪਾਈਪਲਾਈਨ ਦੇ ਮੁੱਖ ਦਿਮਾਗ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ। cip-5.5-mm ਇੱਕ ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਵਾਲਾ ਸਾਰਵਭੌਮ ਮਲਟੀਮੋਡਲ ਮਾਡਲ ਹੈ, ਜੋ ਆਵਾਜ਼·ਚਿੱਤਰ·ਵੀਡੀਓ ਆਦਿ ਵੱਖ-ਵੱਖ ਫ਼ਾਈਲ ਫਾਰਮੈਟਾਂ ਨੂੰ ਸਮਝਦਾ ਅਤੇ ਉਨ੍ਹਾਂ ਬਾਰੇ ਤਰਕ ਕਰਦਾ ਹੈ। GAIA ਦੇ ਕਾਫ਼ੀ ਸਾਰੇ ਪ੍ਰਸ਼ਨਾਂ ਵਿੱਚ PDF, ਚਿੱਤਰ, ਆਡੀਓ ਫ਼ਾਈਲਾਂ ਆਦਿ ਗੈਰ-ਟੈਕਸਟ ਇਨਪੁੱਟ ਸ਼ਾਮਲ ਹੋਣ ਕਰਕੇ, ਇਹ ਮਲਟੀਮੋਡਲ ਸਮਰੱਥਾ ਉੱਚ ਸਕੋਰ ਦਾ ਮੁੱਖ ਕਾਰਕ ਬਣੀ।
CLEVI ਨੇ ਇਨ੍ਹਾਂ ਦੋਵਾਂ ਆਪਣੇ ਮਾਡਲਾਂ ਦੇ ਆਧਾਰ ’ਤੇ 5 ਵੱਖ-ਵੱਖ ਏਜੈਂਟ ਸੰਰਚਨਾਵਾਂ ਨਾਲ GAIA ਵਿੱਚ ਹਿੱਸਾ ਲਿਆ, ਅਤੇ ਸਾਰਿਆਂ ਨੇ 70 ਤੋਂ ਵੱਧ ਅੰਕ ਹਾਸਲ ਕੀਤੇ।
ਕੰਪਨੀ ਦੇ ਵੇਰਵੇ ਅਨੁਸਾਰ, CLEVI ਦੀ ਅੰਦਰੂਨੀ ਪੋਸਟ-ਰਿਵਿਊ ਵਿੱਚ ਦਿਲਚਸਪ ਨਤੀਜੇ ਸਾਹਮਣੇ ਆਏ। ਕੁੱਲ 301 ਪ੍ਰਸ਼ਨਾਂ ਵਿੱਚੋਂ ਕੁਝ ਦੇ ਸਹੀ ਉੱਤਰਾਂ ਦੇ ਸਬੂਤ ਇਸ ਵੇਲੇ ਜਨਤਕ ਵੈੱਬ ’ਤੇ ਗਾਇਬ ਹੋ ਚੁੱਕੇ ਸਨ। ਇਹ ਉਹ ਮਾਮਲੇ ਹਨ ਜਿੱਥੇ ਪਹਿਲਾਂ ਆਨਲਾਈਨ ਜਾਂ ਸਰਚ ਇੰਜਣਾਂ ਰਾਹੀਂ ਮਿਲਣ ਵਾਲੀ ਜਾਣਕਾਰੀ ਮਿਟਾ ਦਿੱਤੀ ਗਈ ਜਾਂ ਬਦਲ ਦਿੱਤੀ ਗਈ ਅਤੇ ਹੁਣ ਇਸ ਤੱਕ ਪਹੁੰਚ ਸੰਭਵ ਨਹੀਂ ਰਹੀ। ਇਸ ਵੇਲੇ ਮਨੁੱਖਾਂ ਲਈ ਜਨਤਕ ਤੌਰ ’ਤੇ ਉਪਲਬਧ ਜਾਣਕਾਰੀ ਦੀ ਸੀਮਾ ਅੰਦਰ ਮੁੜ ਮੁਲਾਂਕਣ ਕਰਨ ’ਤੇ, CLEVI ਦੀ ਸਹੀ ਉੱਤਰ ਦਰ 98% ਤੋਂ ਵੱਧ ਪਾਈ ਗਈ। ਇਹ ਮਨੁੱਖੀ ਔਸਤ 92% ਤੋਂ ਪਹਿਲਾਂ ਹੀ ਵੱਧ ਹੈ।
CLEVI ਦੇ ਇੱਕ ਅਧਿਕਾਰੀ ਨੇ ਦੱਸਿਆ, “CLEVI ਨੇ ਬਾਹਰੀ ਮਾਡਲਾਂ ਦੇ ਮਿਸ਼ਰਣ ਤੋਂ ਬਿਨਾਂ, from scratch ਆਪਣੇ ਮਾਡਲਾਂ ਅਤੇ ਆਪਣੇ AI ਏਜੈਂਟ ਹੱਲਾਂ ਨਾਲ ਹੀ 5ੋਂ ਏਜੈਂਟਾਂ ਵਿੱਚ 70+ ਅੰਕ ਹਾਸਲ ਕਰਦੇ ਹੋਏ ਜਨਤਕ ਬੈਂਚਮਾਰਕ ਵਿੱਚ ਸਿਖਰਲੇ 2.5% ਵਿੱਚ ਦਾਖਲਾ ਕੀਤਾ। ਭਵਿੱਖ ਵਿੱਚ ਆਪਣੇ ਮਾਡਲਾਂ ਅਤੇ ਏਜੈਂਟ ਹੱਲਾਂ ਵਿੱਚ ਸੁਧਾਰ ਰਾਹੀਂ ਅਧਿਕਾਰਤ ਸਕੋਰ ਵਿੱਚ ਵੀ ਹੋਰ ਵਾਧਾ ਸੰਭਵ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ। ਇਹ ਉਪਲਬਧੀ ਇਸ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿ ਇਸ ਨੇ ਗਲੋਬਲ ਜਨਤਕ ਬੈਂਚਮਾਰਕ ਵਿੱਚ ਵਾਸਤਵਿਕ ਮਾਪ ਰਾਹੀਂ ‘ਪ੍ਰਮਾਣਿਤ ਭਰੋਸੇਯੋਗਤਾ’ ਦਰਸਾਈ ਹੈ; ਇਹ ਘਰੇਲੂ AI ਵਿਕਾਸ ਕੰਪਨੀ ਦੇ from scratch ਆਪਣੇ ਮਾਡਲ ’ਤੇ ਆਧਾਰਿਤ ਨਤੀਜਾ ਹੈ; ਇਹ ਬਾਹਰੀ ਮਾਡਲਾਂ ਦੇ ਮਿਸ਼ਰਣ ਦੀ ਬਜਾਏ ਸੁਤੰਤਰ ਮਾਡਲ ਸਟੈਕ ਦਾ ਨਤੀਜਾ ਹੈ; ਅਤੇ ਕੁਝ ਪ੍ਰਸ਼ਨਾਂ ਵਿੱਚ ਜਾਣਕਾਰੀ ਦੇ ਲੁਪਤ ਹੋਣ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਣ ’ਤੇ, ਇਸ ਦਾ ਵਿਆਖਿਆਤਮਕ ਮੁੱਲ ਸਕੋਰ ਤੋਂ ਵੀ ਵੱਧ ਹੈ।”