From-scratch Foundation Model Clevi AI(ivy)

「小型公司是如何打造出世界頂尖水準的超大型 AI 語言模型的？」

小型新創公司是如何打造超大型語言模型的？

這是 Clevi 公開了規模達 1.4 兆參數的 Foundation 模型後，最常被問到的問題。

不同於許多企業只是對開源模型進行簡單微調，Clevi 從資料蒐集、模型設計、大規模分散式訓練到品質驗證，獨立完成了所有流程。

以下將詳細介紹其中的秘訣與競爭力。

1. 小型公司也能打造超大型語言模型？

2025 年 7 月，當 Clevi 將自行開發的超大型語言模型公開於市場時，眾多客戶（使用者）因驚訝與疑惑而議論紛紛。「真的是自行開發的嗎？」「難道不是稍微修改了開源模型嗎？」

實際上，國內外許多企業只對開源模型進行簡單的遷移學習（fine-tuning），卻將其宣傳為自有模型。

但 Clevi 打出了 **‘From-scratch Foundation Model’** 的旗號。

也就是說，從資料蒐集、模型設計、大規模分散式訓練到品質驗證，所有流程都由 Clevi 親自設計並執行。

2. 開發超大型語言模型之所以困難的原因

若要訓練 From-Scratch Foundation Model，必須完成以下所有項目的訓練。

需要大規模的高品質資料集

• 多樣性：確保語言、領域、格式（文字、圖片等）的多樣性
• 資料整理：移除雜訊、品質管理、重複／有害資料篩選
• 授權：明確釐清著作權及資料使用權

大規模運算基礎設施

• 高效能 GPU／TPU 叢集：整合數千至數萬個節點的設備，支援大容量分散式訓練的技術
• 高效的分散式訓練框架：DeepSpeed、Megatron-LM、Ray 等
• 儲存／網路：大容量資料輸入輸出、高速網路環境

模型架構設計

• نوێترین پێکهاتەکان: Transformer، MoE (Mixture of Experts)، فرە-مۆدال و هتد
• توانای گەورەبوون: لەبەرچاوگرتنی توانای فراوانبوون لە ژمارەی پارامەتەرەکان، ژمارەی چینەکان، درێژیی ورودی و هتد
• کارامەیی: خێرایی فێرکردن/پێشبینیکردن و باشترکردنی بەکارهێنانی بیرگە

ستراتیژی و ئەلگۆریتمەکانی فێرکردن

• ئامانجی پێش‌فێرکردن: مۆدێلی زمان (بۆ نموونە next token prediction)، فرە-مۆدال (بۆ نموونە contrastive learning) و هتد
• تەکنیکەکانی باشترکردن: mixed precision، gradient accumulation، learning rate schedule و هتد
• ڕێکخستن/جێگیری: dropout، layer norm، weight decay و هتد

سیستەمی هەڵسەنگاندن و پشتڕاستکردنەوە

• کۆمەڵەی بنچینەیی: بەکارهێنانی کۆمەڵەدراوە ستانداردەکان (Benchmarks)
• هەڵسەنگاندنی ناوخۆیی: هەڵسەنگاندن لەسەر بنەمای سیناریۆکانی بەکارهێنانی ڕاستەقینە
• چاودێریکردنی بەردەوام: پشکنینی کوالێتی، لادان و سەلامەتی لە کاتی فێرکردن/دوای فێرکردن

توانای مرۆیی و ڕێکخراوەیی

• توێژەرانی AI/ML: دیزاینی مۆدێل و پەرەپێدانی ئەلگۆریتم
• ئەندازیارانی داتا: کۆکردنەوە/پاککردنەوە/بەڕێوەبردنی داتا
• ئەندازیارانی ژێرخانە: سیستەمە پەخشکراوەکان و بەڕێوەبردنی کلاود/ئۆن‌پرێمایس
• بەڕێوەبەری پڕۆژە: بەڕێوەبردنی کات‌بەندی، بودجە و کوالێتی

بیرکردنەوەکانی ئەخلاقی·یاسایی·ئاسایشی

• ئەخلاقی AI: لادان، سەلامەتی، شەفافیت و بەرپرسیارێتی
• پابەندبوونی یاسایی: کەسی، مافی لەبەرگرتنەوە و سەروەریی داتا
• ئاسایش: پاراستن لە دزەپێکردنی داتا/مۆدێل و کۆنترۆڵی دەستگەیشتن

لە ئێستادا ژمارەی هێزی کاری توێژینەوەی AI لە سەرانسەری جیهاندا نزیکەی ٢,٠٠٠ کەسە، کە زۆربەیان لە کۆمپانیا تەکنەلۆژییە گەورەکان وەک META، Google و XAI کۆکراونەتەوە. لە ناوخۆی وڵاتدا تیمەکانی کە بتوانن لە کۆکردنەوەی داتا تا ژێرخانی فێرکردنی بەرفراوان بە ڕاستەوخۆ دیزاین بکەن و مۆدێلی Foundation دروست بکەن، زۆر دەگمەنن.

٣. دروستکردنی مۆدێلی زمانی زۆر گەورە بە هێزی کاری کەم.

بەڕێوەبەر ئی هوان‌هۆ، بە پشتبەستن بە ئەزموونی زیاتر لە ١٠ ساڵ توێژینەوە لە بواری deep learning و machine learning، سێ ساڵ لەمەوبەر کۆمپانیاکەی (کلێڤی) بە ئامانجی «دروستکردنی باشترین AI لە جیهان» دامەزراند.

هەموو پرۆسەکانی پەیوەندیدار بە پەرەپێدانی Foundation Model، لە دامەزراندنی ڕەوشتی داتای تایبەتی کۆمپانیا و دیزاینی ژێرخانی deep learningی پەخشکراوی بەرفراوان تا پەرەپێدانی ئەندازەی مۆدێل و پشتڕاستکردنەوەی کوالێتی، بە ڕاستەوخۆ دیزاین کراون و تواناکانی پێویست بەدەستهێنراون.

لە ئەنجامی فێرکردنی مۆدێلەکە لە چەندین جاردا، ئێستا خاوەنی مۆدێلی Clevi-5-x بووین کە دەتوانێت لەگەڵ مۆدێلە ئاست‌جیهانییە باشەکاندا پێشبڕکێ بکات.

بۆ فێرکردنی کاریگەری مۆدێلی زمانی زەبەلاح، پێویستە لە سەدان تا هەزاران GPU بە شێوەی کڵەستەر بەیەکەوە ببەسترێن، تاکو بتوانرێت لە هەمان کاتدا ژمارەیەکی زۆر لە هەژمارکردنەکان، کە لە چرکەیەکدا دەگاتە چەندین کوادریلیۆن، جێبەجێ بکرێت. لەم پرۆسەیەدا، تەکنەلۆژیای کەمکردنەوەی هاوکاتکردنی هەژمارکردنەکان و دواخستنی پەیوەندی لە ژینگەی دابەشکراوی گەورەدا گرنگترینە. تاکو ئێستا لە ناوخۆدا، بەهۆی نەبوونی «ئەڵگۆریتمی کۆنترۆڵی ورد»، زۆربەی کۆمپانیاکان نەیانتوانیوە مۆدێلەکانیان بە دروستی فێر بکەن. بەڕێز لی هوان-هۆ، نوێنەری کلێڤی، بە گەشەپێدانی خۆماڵی ئەم ئەڵگۆریتمە سەربەخۆیەی کۆنترۆڵی هەژمارکردنی دابەشکراو، یەکەمین کەسی ناوخۆ بوو کە سەرکەوتوو بوو لە فێرکردنی مۆدێلی زمانی زەبەلاح بە قەبارەی 1.4 تریلیۆن (1.4 Trillion) پارامیتەر.

4. هۆکاری ئەوەی کە بە ژمارەیەکی کەم لە گەشەپێدەران توانرا مۆدێلی جۆراوجۆر گەشە پێ بدرێت

زۆربەی کۆمپانیا تەکنەلۆژیاییە گەورەکانیش تەکنەلۆژیای کۆنترۆڵکردنی ژێرخانی گەورە و پاککردنەوەی داتا هەیە.

بۆ بەڕێوەبردنی ئەمە، پێویستی بە سەدان تا هەزاران توێژەر هەیە.

بەڵام، کلێڤی بە ژمارەیەکی کەم لە توێژەران مۆدێلی جۆراوجۆر گەشە پێ دەدات و هەڵیاندەگرێت.

چۆن ئەمە کراوە؟

کلێڤی بە بەکارهێنانی تەکنەلۆژیای Teacher-Student Model (Knowledge Distilation)، بە ژمارەیەکی کەم لە توێژەران مۆدێلی جۆراوجۆر گەشە پێ دەدات و هەڵیاندەگرێت.

کەواتە با سەیری تەکنەلۆژیای Teacher-Student بکەین.

Teacher-Student (پڕۆسەی زانست)

تەکنەلۆژیای Teacher-Student بە زمانی ئاسان واتە بە بەکارهێنانی مۆدێلی زمانی زەبەلاح (Teacher Model) بۆ هەڵسەنگاندن و پێدانی فیدباک بە مۆدێلی منداڵ (Student Model)، بە جێگرتنەوەی سەدان توێژەر بە ژمارەیەکی کەم لە کارمەندان، مۆدێلی جۆراوجۆر بە خێرایی گەشە پێ دەدات.

• مۆدێلی دایک (مۆدێلی زەبەلاح) مۆدێلەکانی بوارە جۆراوجۆرەکان هەڵدەسەنگێنێت و فیدباکیان پێدەدات، و جێگای سەدان توێژەر دەگرێتەوە.
• ئەگەر بەو شێوازە لە ڕێگەی Clevi-x-platformەوە فێرکردن ئەنجام بدرێت، دەتوانرێت مۆدێلی بەرزئاستی وەک Reasoning، VLM، Physical AI و Coding Agent لە ماوەی 10~15 ڕۆژدا فێر بکرێت و بڵاو بکرێتەوە.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

ئەجێنتی ئاسایش

5. جیاوازییەکانی تەکنەلۆژیا و کوالێتی Clevi-x-platform

کارایی و فراوانبوونەوەی مۆدێل

• پێشەنگی لە لێکدانەوە (CoT/Reasoning): cip-5-x گەشەپێدانی هەنگاو‌بەهەنگاوی لۆژیکی و پێشکەشکردنی بەڵگەی کردووەتە بەشێک لە فەلسەفەی دیزاینەکەی، و لە چارەسەرکردنی کێشە زانستی، بیرکاری و ئەندازیارییەکاندا توانای حیسابکردن و لێکدانەوەی بەرزدڵنیایی پیشان دەدات. لەسەر بنەمای بنچینەکانی ناوخۆیی، بە ئامانجی گەیشتن بە توانایییەکی هاوشێوە یان بەرزتر لە GPT-5 دیزاین و بەڕێوەدەبرێت، و دووبارەبەرهەمهێنان و پشتڕاستکردنەوەی مەرجی پرۆمپتی یەکسان وەک نیشاندەری سەرەکیی کوالێتی بەڕێوەدەبات.

• تەواوی مەودای فرە-مۆدال: VLM ـی ئامانج‌ئاڕاستەکراو (cip-5-vision) و مۆدێلی پرۆسەکردنی فرە-مۆدالی قەبارەگەورە (ivy-4-mm)، لەگەڵ مۆدێلی سووکی سەر ئامێر (ivy-3-text)، لە یەک پلاتفۆرمدا بەرهەم دەهێنرێن و پێکەوە بەکاردەهێنرێن، بۆ ئەوەی بەپێی تایبەتمەندی ئەرکەکە (گەڕان/پۆلێنکردن/پوختەکردنەوە بەرامبەر لێکدانەوە/ڕوونکردنەوە/جێبەجێکردن) باشترین تێکەڵە هەڵبژێردرێت.

گونجانی بۆ بەکارهێنانی دامەزراوەیی

• ئاسایش و بەردەستبوونی ئۆن-پریمەس: بەڕێوەبردن لە سەرانسەری ژینگەی داخراو (وەرگرتن-فێرکردن-خزمەتگوزاری-پاشەکەوت)، دیزاینی HA، فراوانکردنی مۆدیولار، و جیاکردنەوە و پاراستنی داتا و پارامەتەرەکانی مۆدێل بەهۆی SVCE (ژینگەی جێبەجێکردنی سەلامەتیی جیاکراوە).
• هێنان و فراوانکردنی خێرا: بە Ivy Chat (گفتوگۆ/ئەجێنتی فرە-مۆدالی جۆری کار) و API Platform (SaaS ـی ستانداردی جیهانی)، پشتگیریی جێبەجێکردن و بەڕێوەبردنی خێرا دەکرێت.

جیاوازییەکانی زیرەکیی فیزیکی (Physical AI)

• کۆکردنەوەی سیمولەیشنی بنەما-گرتوو لەسەر NVIDIA Isaac و فێربوونی بەهێزکردنەوەی بنەما-گۆڕاو (Evolutionary RL)، لەگەڵ گواستنەوەی Sim2Real و فێربوونی هاوتەریب بە داتای دەستکرد، کارایی فێربوون و توانای گونجان لە مەیدان بەرزکراوەتەوە. ئەوەی لە فێربوونی دیجیتاڵ-ڕۆبۆتیکەوە تا بڵاوکردنەوە دەگرێتەوە، جێگرەوەی کەمە.

کوالێتیی خزمەتگوزاری و حوکمڕانی

• بەڕێوەبردنی وەشانی مۆدێل/پرۆمپت/ئامراز، سەتی هەڵسەنگاندن (زانستیی نیشتیمانی و ئینگلیزی، ئەرکەکانی بوارە جیاوازەکان، پێوەرەکانی هەڵە-دروستکردن و سەلامەتی)، بەڕێوەبردنی گۆڕانکاری (SLO/SLA)، و چاودێریکردنی کارپێکردن (دواکەوتن، ڕێژەی سەرکەوتن، TCO) لە ڕێگەی ڕێکاری یەک پلاتفۆرم بەڕێوەدەبرێن.

لە ئێستادا لە ناوخۆی وڵاتدا زیاتر لە نزیکەی ٣٠٠ کۆمپانیای خزمەتگوزاریی مۆدێلی زیرەکی دەستکرد هەیە، بەڵام

تەنها کلێڤیە کە دەتوانێت بەهۆی مۆدێلی بنەڕەتیی بەرزکارایی و سەربەخۆی خۆیەوە، هەردوو خزمەتگوزاریی ئۆن-پریمەس و کلاود لە یەک کاتدا پێشکەش بکات.

٦. شێوازەکانی بەکارهێنانی مۆدێلی زمان لە پیشەسازی

لەبەر ئەوەی هێنانی AI پێویستی بە وەبەرهێنانی زۆر و پشتڕاستکردنەوەی وردە، پرۆسەی بەراوردکردن و تاقیکردنەوەی ڕاستەوخۆی ئەوەی چارەسەرەکە بەکردار سوود بە کۆمپانیا دەگەیەنێت، زۆر پێویستە.

• کڵێڤی تەنها بە دروستکردنی مۆدێل سنووردار نابێت، بەڵکوو چارەسەری زیرەکی دەستکرد پێشکەش دەکات کە دەتوانرێت لە بواری پیشەسازیی ڕاستەقینەدا جێبەجێ بکرێت.
• بۆ نموونە، کەناڵی کارگێڕی تەواو بۆ Ivy Chat Platform، Clevi API Platform، بەشخستنەوەی تایبەت بەپێی پیشەسازی و وەڵامدانەوەی پێداویستییەکانی ئاسایش، هەیە.
• توانایییە تەکنیکییەکانی وەک زیرەکی دەستکردی جەستەیی، ڕۆبۆتیک و پرۆسەکردنی داتای فرەشێوەیی هەیە؛ توانایییەکانی کە بە دەگمەن لە ناوخۆ و دەرەوەی وڵات دەبینرێن.

کڵێڤی زیرەکی دەستکرد وەک «ئامانج» بەڵکوو وەک «ئامراز» بەکاردەهێنێت و چارەسەری ڕاستەقینەی زیرەکی دەستکرد پێشکەش دەکات کە بە کاراییی ڕاستەقینەی کار و نوێکاریی پیشەسازی بەشداری دەکات. جیاوازیی مۆدێلی بنەڕەتی From-scratch Foundation بە ڕاستەوخۆ تاقی بکەرەوە.

پەیوەندی و داواکاریی دیمۆ: [email protected]

Copyright© 2025 Clevi Inc. هەموو مافەکان پارێزراون.