ماخذ: الیکٹرانک ٹائمز، رپورٹر لی وون جی
“کلیوی، from scratch اپنے ماڈل کے ساتھ GAIA میں 79.07%...3,090 ماڈلز میں ٹاپ 2.5%” مضمون کا مکمل اقتباس
اشاعت کی تاریخ: 2026-04-07
لنک: https://www.etnews.com/20260407000203
cip-5.5-agent·cip-5.5-mm کے خصوصی ماڈل اسٹیک کے 5 ایجنٹس، سبھی نے 70 سے زیادہ اسکور حاصل کیے
معلومات کے ضائع ہونے کو مدنظر رکھتے ہوئے 98%+ درستگی، انسانوں (92%) سے زیادہ
AI اسٹارٹ اپ 'کلیوی' نے from scratch اپنے ماڈل کا استعمال کرتے ہوئے عالمی AI ایجنٹ بینچ مارک 'GAIA' میں 79.07% درستگی حاصل کی، اور مجموعی طور پر رجسٹرڈ 3,090 ماڈلز میں ٹاپ 2.5% کے اندر جگہ بنائی۔
صنعتی ماہرین کے مطابق، AI بینچ مارک مارکیٹ میں GAIA کو 'عملی AI ایجنٹس' کی صلاحیتوں کی بھرپور عکاسی کرنے والا سمجھا جاتا ہے۔ Meta AI، HuggingFace اور یونیورسٹی آف پیرس-ساکلے نے مشترکہ طور پر تیار کیا گیا یہ بینچ مارک پہلی بار نومبر 2023 میں جاری کیا گیا تھا۔
GAIA کو دیگر بینچ مارکس سے ممتاز کرنے والی تین بنیادی خصوصیات ہیں۔ اول، چونکہ درست جوابات خفیہ رکھے جاتے ہیں، اس لیے اوورفٹنگ ممکن نہیں۔ دوم، چونکہ یہ ملٹی اسٹیپ·ملٹی موڈل پیچیدہ استدلال کا تقاضا کرتا ہے، اس لیے سادہ پیٹرن میچنگ کے ذریعے اعلیٰ اسکور حاصل کرنا ممکن نہیں۔ سوم، HuggingFace کے سرکاری لیڈر بورڈ کے ذریعے دنیا بھر کے 3,090 سے زیادہ ماڈلز یکساں شرائط پر مقابلہ کرتے ہیں۔
ٹیسٹ سیٹ کل 301 سوالات پر مشتمل ہے۔ Level 1 میں ایک واحد ٹول کا استعمال اور سادہ استدلال، Level 2 میں متعدد ٹولز کا امتزاج اور درمیانے درجے کا استدلال، جبکہ Level 3 میں 5 یا اس سے زیادہ مراحل پر مشتمل ایجنٹ کی منصوبہ بندی اور عمل درآمد درکار ہوتا ہے، جو سب سے زیادہ مشکل سوالات پر مشتمل ہے۔ بینچ مارک کے اجرا کے وقت GPT ماڈلز (پلگ انز سے لیس) کے لیے یہ شرح تقریباً 15% تھی، جبکہ اس وقت سرکردہ ٹیمیں اسے 70 سے 80% کی حد تک لے آئی ہیں۔
ان میں کلیوی نے زور دیا کہ اس کامیابی میں تکنیکی طور پر سب سے قابلِ توجہ پہلو یہ ہے کہ GPT، Claude، Gemini وغیرہ کے بیرونی LLM API بالکل استعمال نہیں کیے گئے۔ کلیوی کی خصوصیت یہ ہے کہ اس نے from scratch آزادانہ طور پر تیار کیے گئے دو ماڈلز استعمال کیے۔
cip-5.5-agent ایک ایجنٹک AI ماڈل ہے، جو پیچیدہ کاموں کی خودمختار منصوبہ بندی (planning)، انجام دہی (execution) اور تصدیق (verification) کرنے والی ایجنٹ پائپ لائن کے مرکزی دماغ کا کردار ادا کرتا ہے۔ cip-5.5-mm ایک اعلیٰ کارکردگی کا حامل عمومی ملٹی موڈل ماڈل ہے جو آواز، تصاویر اور ویڈیو سمیت مختلف فائل فارمیٹس کو سمجھ کر استدلال کرتا ہے۔ چونکہ GAIA کے متعدد سوالات میں PDF، تصویری اور آڈیو فائلوں جیسے غیر متنی ان پٹس شامل ہیں، اس لیے یہ ملٹی موڈل صلاحیت اعلیٰ اسکور حاصل کرنے کا اہم عامل بنی۔
CLEVI نے ان دونوں اپنے تیار کردہ ماڈلز کی بنیاد پر 5 مختلف ایجنٹ کنفیگریشنز کے ساتھ GAIA میں حصہ لیا، اور سب نے 70 سے زائد اسکور حاصل کیے۔
کمپنی کی وضاحت کے مطابق، CLEVI کے اندرونی بعد از جائزہ عمل میں ایک دلچسپ نتیجہ سامنے آیا۔ مجموعی طور پر 301 سوالات میں سے کچھ کے درست جوابات کے شواہد اس وقت عوامی ویب پر دستیاب نہیں رہے تھے۔ ایسے معاملات میں وہ معلومات، جو ماضی میں آن لائن یا سرچ انجنوں پر دستیاب تھیں، حذف یا تبدیل ہو چکی تھیں اور اب مزید قابلِ رسائی نہیں تھیں۔ اس وقت انسانوں کے لیے عوامی طور پر قابلِ تصدیق معلومات کی حد کے اندر دوبارہ جائزہ لینے پر، CLEVI کی درست جوابات کی شرح 98% سے زیادہ ظاہر ہوئی۔ یہ انسانی اوسط، یعنی 92%، سے پہلے ہی زیادہ ہے۔
CLEVI کے نمائندے نے وضاحت کی، “CLEVI نے بیرونی ماڈلز کے امتزاج کے بغیر، from scratch اپنے تیار کردہ ماڈلز اور اپنے AI ایجنٹ سلوشنز کے ذریعے، 5 ایجنٹس میں سے ہر ایک کے لیے 70+ اسکور حاصل کرتے ہوئے عوامی بینچ مارک میں سرفہرست 2.5% میں جگہ بنائی۔ توقع ہے کہ مستقبل میں اپنے ماڈلز اور ایجنٹ سلوشنز کو بہتر بنا کر سرکاری اسکور میں بھی مزید اضافہ ممکن ہوگا۔ یہ کامیابی اس لحاظ سے بہت اہم ہے کہ اسے عالمی عوامی بینچ مارک میں حقیقی پیمائش کے ذریعے 'ثابت شدہ اعتماد' کا مظہر قرار دیا جا سکتا ہے؛ یہ مقامی AI ڈیولپر کی from scratch اپنے تیار کردہ ماڈل پر مبنی کامیابی ہے؛ یہ بیرونی ماڈلز کے امتزاج کے بجائے آزاد ماڈل اسٹیک کا نتیجہ ہے؛ اور بعض سوالات سے متعلق معلومات کے ضائع ہو جانے کو مدنظر رکھتے ہوئے، اس کی تشریحی قدر اسکور سے بھی زیادہ ہے۔”