مدل بنیادی از صفر کلوی AI(ivy)

«چگونه یک شرکت کوچک توانست یک مدل زبانی هوش مصنوعی عظیم در سطح بهترین‌های جهان بسازد؟»

چگونه یک استارتاپ کوچک یک مدل زبانی عظیم ساخت؟

این پرسشی است که پس از انتشار مدل بنیادی ۱.۴ تریلیون پارامتری توسط کلوی، بیش از همه مطرح شد.

برخلاف بسیاری از شرکت‌ها که مدل‌های متن‌باز را صرفاً فاین‌تیون می‌کنند، کلوی تمام فرایندها، از جمع‌آوری داده و طراحی مدل گرفته تا آموزش توزیع‌شده در مقیاس بزرگ و اعتبارسنجی کیفیت، را به‌صورت مستقل انجام داده است.

در ادامه، راز این موفقیت و مزیت رقابتی آن را به‌تفصیل معرفی می‌کنیم.

۱. آیا یک شرکت کوچک می‌تواند یک مدل زبانی عظیم بسازد؟

در ژوئیه ۲۰۲۵، هنگامی که کلوی مدل زبانی عظیم توسعه‌یافته توسط خود را به بازار عرضه کرد، مشتریان (کاربران) بسیاری با شگفتی و تردید واکنش نشان دادند. «آیا واقعاً خودشان آن را توسعه داده‌اند؟» «نکند فقط کمی یک مدل متن‌باز را تغییر داده‌اند؟»

در واقع، بسیاری از شرکت‌های داخلی و خارجی تنها مدل‌های متن‌باز را فاین‌تیون می‌کنند و آن‌ها را به‌عنوان مدل اختصاصی خود تبلیغ می‌کنند.

اما کلوی بر **«مدل بنیادی از صفر»** تأکید کرد.

به عبارت دیگر، کلوی تمام فرایندها، از جمع‌آوری داده و طراحی مدل گرفته تا آموزش توزیع‌شده در مقیاس بزرگ و اعتبارسنجی کیفیت، را مستقیماً طراحی و اجرا کرده است.

۲. چرا توسعه مدل‌های زبانی عظیم دشوار است؟

برای آموزش یک مدل بنیادی از صفر، باید همه موارد زیر را آموزش داد.

به مجموعه‌داده‌ای عظیم و باکیفیت نیاز است

• تنوع: تضمین تنوع در زبان، حوزه و قالب (متن، تصویر و غیره)
• پاک‌سازی: حذف نویز، مدیریت کیفیت و فیلتر کردن داده‌های تکراری/مضر
• مجوزها: شفاف‌سازی حق‌نشر و حقوق استفاده از داده

زیرساخت محاسباتی در مقیاس بزرگ

• خوشه‌های GPU/TPU با عملکرد بالا: یکپارچه‌سازی تجهیزات در هزاران تا ده‌ها هزار گره برای پشتیبانی از آموزش توزیع‌شده حجم عظیم داده
• چارچوب آموزش توزیع‌شده کارآمد: DeepSpeed، Megatron-LM، Ray و غیره
• ذخیره‌سازی/شبکه: ورودی و خروجی داده‌های حجیم و محیط شبکه سریع

طراحی معماری مدل

• بازتاب ساختارهای جدید: Transformer، MoE(Mixture of Experts)، چندوجهی و غیره
• مقیاس‌پذیری: در نظر گرفتن قابلیت گسترش تعداد پارامترها، تعداد لایه‌ها، طول ورودی و غیره
• بهره‌وری: بهینه‌سازی سرعت آموزش/استنتاج و مصرف حافظه

استراتژی‌ها و الگوریتم‌های آموزش

• هدف پیش‌آموزش: مدل زبانی (برای مثال next token prediction)، چندوجهی (برای مثال contrastive learning) و غیره
• روش‌های بهینه‌سازی: mixed precision، gradient accumulation، learning rate schedule و غیره
• نرمال‌سازی/پایدارسازی: dropout، layer norm، weight decay و غیره

چارچوب ارزیابی و اعتبارسنجی

• مجموعه‌های معیار: استفاده از مجموعه‌داده‌های استاندارد (Benchmarks)
• ارزیابی داخلی: ارزیابی مبتنی بر سناریوهای واقعی استفاده
• پایش مستمر: بررسی کیفیت، سوگیری و ایمنی در حین و پس از آموزش

توانمندی‌های نیروی انسانی و سازمانی

• پژوهشگران AI/ML: طراحی مدل و توسعه الگوریتم
• مهندسان داده: جمع‌آوری، پالایش و مدیریت داده
• مهندسان زیرساخت: مدیریت سیستم‌های توزیع‌شده و زیرساخت‌های ابری/درون‌سازمانی
• مدیر پروژه: مدیریت زمان‌بندی، بودجه و کیفیت

ملاحظات اخلاقی، حقوقی و امنیتی

• اخلاق AI: سوگیری، ایمنی، شفافیت و پاسخ‌گویی
• انطباق قانونی: حریم خصوصی، حق نشر و حاکمیت داده
• امنیت: جلوگیری از افشای داده/مدل و کنترل دسترسی

در حال حاضر، تعداد نیروهای پژوهشی AI در سراسر جهان حدود ۲٬۰۰۰ نفر است و حتی همین تعداد نیز عمدتاً در شرکت‌های بزرگ فناوری مانند META، Google و XAI متمرکز هستند. در داخل کشور، تیم‌هایی که بتوانند از جمع‌آوری داده تا زیرساخت آموزش در مقیاس بزرگ را مستقیماً طراحی کرده و یک مدل Foundation بسازند، بسیار نادر هستند.

۳. ساختن یک مدل زبانی اَبَربزرگ با نیروی انسانی اندک.

مدیرعامل لی هوان‌هو با تکیه بر بیش از ۱۰ سال تجربه پژوهش در زمینه یادگیری عمیق و یادگیری ماشین، سه سال پیش شرکت «CLEVI» را با هدف «ساختن بهترین AI جهان» تأسیس کرد.

او با طراحی مستقیم تمامی فرایندها، از ایجاد خط لوله داده اختصاصی شرکت و طراحی زیرساخت یادگیری عمیق توزیع‌شده در مقیاس بزرگ گرفته تا توسعه معماری مدل و اعتبارسنجی کیفیت، توانمندی‌های لازم برای توسعه Foundation Model را به دست آورد.

د څو ځله موډل روزنې په پایله کې، اوس موږ د Clevi-5-x موډل لرو چې د نړۍ له غوره‌کچې موډلونو سره سیالي کولی شي.

د لویې ژبې موډلونو د اغېزمنې روزنې لپاره، داسې زېربنا ته اړتیا ده چې له څو سوو څخه تر څو زرو پورې GPU ګانې په کلسټر کې سره ونښلوي او په یوه ثانیه کې د لسګونو کوادریلیونو په کچه محاسبې په‌مهال ترسره کړي. په دې بهیر کې، په لویه کچه وېشل شوي چاپېریال کې د محاسبو همغږي کول او د اړیکو ځنډ تر ټولو کمول ډېر مهم دي. تر اوسه پورې، په کور دننه د «دقیق کنټرول الګوریتم» د نشتوالي له امله، ډېرو شرکتونو ونه شو کولی موډلونه په سمه توګه وروزي. د Clevi اجرایوي رئیس لی هوان‌هو د داسې خپلواک وېشل شوي محاسبوي کنټرول الګوریتم په خپله پراختیا سره، په کور دننه د لومړي ځل لپاره د 1.4 ټریلیون (1.4 Trillion) پارامیټرونو په کچه د لویې ژبې موډل په روزنه کې بریالی شو.

4. هغه دلیل چې ولې د لږ شمېر پراختیاکوونکو په مرسته بېلابېل موډلونه جوړېدای شول

حتی ډېری لویو ټکنالوژۍ شرکتونو کې هم د لویې کچې زېربنا د کنټرول او د معلوماتو د پاکولو ټکنالوژي شته.

د دې د مدیریت لپاره له څو سوو څخه تر څو زرو پورې څېړونکو ته اړتیا ده.

خو Clevi د لږ شمېر څېړونکو په مرسته بېلابېل موډلونه جوړوي او لري یې.

دا څنګه ممکنه شوه؟

Clevi د Teacher-Student Model(Knowledge Distilation) ټکنالوژۍ له لارې د لږ شمېر کارکوونکو په مرسته بېلابېل موډلونه جوړوي او لري یې.

نو راځئ چې د Teacher-Student ټکنالوژۍ ته وګورو.

Teacher-Student(د پوهې تقطیر)

Teacher-Student ټکنالوژي په ساده ډول هغه ټکنالوژي ده چې د لویې ژبې موډل (Teacher Model) له لارې فرعي موډل (Student Model) ارزوي او نظر ورکوي، او په دې توګه د لږ شمېر کارکوونکو په مرسته د سلګونو څېړونکو ځای نیسي او بېلابېل موډلونه په چټکۍ سره جوړوي.

• Mother Model(لوی موډل) د بېلابېلو برخو موډلونه ارزوي او نظر ورکوي، او د سلګونو څېړونکو ځای نیسي.
• که د Clevi-x-platform له لارې په دې طریقه روزنه ترسره شي، نو د Reasoning، VLM، Physical AI، Coding Agent او نورو په څېر د لوړ فعالیت موډلونه په 10~15 ورځو کې روزل او خپرېدای شي.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-د لید ژبې ماډل

امنیتي اجنټ

5. د Clevi-x-platform د ټکنالوژۍ او کیفیت توپیرونه

د ماډل فعالیت او پراخېدنه

• په استدلال (CoT/Reasoning) کې برتري: cip-5-x مرحله‌وار منطقي پراختیا او د شواهدو وړاندې کول د خپل ډیزاین په فلسفه کې شاملوي، او د علمي، ریاضيکي او انجینري ستونزو په حل کې د محاسبې او تفسیر لوړه باوري وړتیا ښيي. د داخلي بنچمارک پر بنسټ، دا د GPT-5 کچې یا تر هغې لوړې فعالیت وړتیا لپاره ډیزاین او عملیاتي کېږي، او د ورته پرامپټ شرایطو لاندې تکرارېدنه او د تایید وړتیا د کیفیت د مهمو شاخصونو په توګه اداره کوي.

• د څو-موډاله وړتیاوو بشپړ طیف: هدف‌محور VLM(cip-5-vision)، د لویې کچې څو-موډاله پروسس ماډل (ivy-4-mm)، او سپک آن‌ډیوایس (ivy-3-text) په یوه پلاتفورم کې تولید او ترکیبوي، نو د دندې د ځانګړتیاوو (لټون/طبقه‌بندي/لنډیز vs. استدلال/تشریح/اجرا) له مخې غوره ترکیب ممکن دی.

د تصدۍ د پلي کولو وړتیا

• د ان‌پریمیس امنیت او شتون: په ټوله تړلې شبکه کې (داخلول-روزنه-خدمت-بیک‌اپ) عملیات، د HA ډیزاین، ماډیولي پراختیا، او SVCE(د جلا خوندي اجرا چاپېریال) له لارې ډاټا او د ماډل پارامترونه په جلا ډول خوندي کوي.
• چټک پلي کول او پراختیا: د Ivy Chat(د کاري موخو لپاره څو-موډاله خبرې/اجنټ) او API Platform(نړیوال معیاري SaaS) له لارې چټک پلي کول او عملیات ملاتړ کوي.

د فزیکي AI (Physical AI) توپیر

• د NVIDIA Isaac پر بنسټ شبیه‌سازۍ او تکاملي بنسټ لرونکي تقویتي زده‌کړې (Evolutionary RL) ترکیب، د Sim2Real انتقال او د مصنوعي ډاټا موازي زده‌کړې له لارې یې د زده‌کړې موثریت او په ساحه کې د تطبیق وړتیا لوړه کړې ده. دا چې له ډیجیټل او روبوټیک زده‌کړې څخه تر پلي کولو پورې بشپړ پوښښ لري، بدیلونه یې کم دي.

د خدمت کیفیت او حاکمیت

• د ماډل/پرامپټ/وسیلو د نسخو مدیریت، د ارزونې سوټ (په کورنیو او انګلیسي ژبو پوهه، د صنعت له مخې دندې، د هذیان او خوندیتوب شاخصونه)، د بدلون مدیریت (SLO/SLA)، او عملیاتي څارنه (ځنډ، د بریالیتوب کچه، TCO) د یوه واحد پلاتفورمي کړنلارې له مخې اداره کوي.

اوس مهال په کوریا کې له 300 څخه ډېر د AI ماډل خدمتونو شرکتونه شته، خو

د خپلواک لوړ فعالیت بنسټیز ماډل له لارې په یو وخت کې د ان‌پریمیس او کلاوډ خدمتونه وړاندې کولی شي، چې کلېوي پکې یوازینی شرکت دی.

6. په صنعت کې د ژبې ماډل د کارولو لارې

از آنجا که پذیرش هوش مصنوعی به سرمایه‌گذاری هنگفت و اعتبارسنجی دقیق نیاز دارد، مقایسه و تجربه مستقیم راهکارها برای اطمینان از اینکه واقعاً برای کسب‌وکار مفید هستند، ضروری است.

• CLEVI تنها به ساخت مدل‌ها بسنده نمی‌کند، بلکه راهکارهای هوش مصنوعی قابل‌اجرا در محیط‌های صنعتی واقعی ارائه می‌دهد.
• برای مثال، این شرکت کانال‌های سازمانی کاملی از جمله Ivy Chat Platform، Clevi API Platform، سفارشی‌سازی برای هر صنعت و پاسخ‌گویی به الزامات امنیتی فراهم کرده است.
• CLEVI از قابلیت‌های فنی نادری در داخل و خارج از کشور، از جمله هوش مصنوعی فیزیکی، رباتیک و پردازش داده‌های چندوجهی، برخوردار است.

CLEVI هوش مصنوعی را نه به‌عنوان «هدف»، بلکه به‌عنوان «ابزار» به کار می‌گیرد و راهکارهای واقعی هوش مصنوعی ارائه می‌دهد که به بهره‌وری عملیاتی و نوآوری صنعتی کمک می‌کنند. تفاوت مدل بنیادین واقعی From-scratch را مستقیماً تجربه کنید.

درخواست اطلاعات و دمو: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.