शून्यापासून तयार केलेले Foundation Model क्लेवी AI(ivy)

“लहान कंपनी जागतिक दर्जाचे अतिविशाल AI भाषिक मॉडेल कसे तयार करू शकते?”

लहान स्टार्टअपने अतिविशाल भाषिक मॉडेल कसे तयार केले?

क्लेवीने 1.4 ट्रिलियन पॅरामीटर आकाराचे Foundation मॉडेल सार्वजनिक केल्यानंतर, हा सर्वाधिक विचारला गेलेला प्रश्न आहे.

अनेक कंपन्या ओपन-सोर्स मॉडेलचे केवळ साधे फाइन-ट्युनिंग करतात; त्याउलट, क्लेवीने डेटा संकलनापासून मॉडेल डिझाइन, मोठ्या प्रमाणावरील वितरित प्रशिक्षण आणि गुणवत्ता पडताळणीपर्यंतची सर्व प्रक्रिया स्वतंत्रपणे पार पाडली.

या यशाचे रहस्य आणि स्पर्धात्मक सामर्थ्य खाली सविस्तरपणे मांडले आहे.

1. लहान कंपनी अतिविशाल भाषिक मॉडेल तयार करते?

जुलै 2025 मध्ये क्लेवीने स्वतः विकसित केलेले अतिविशाल भाषिक मॉडेल बाजारात आणताच, असंख्य ग्राहक (वापरकर्ते) आश्चर्य आणि संशयाने चर्चेत आले. “हे खरोखरच स्वतः विकसित केलेले आहे का?” “ओपन-सोर्स मॉडेलमध्ये थोडेफार बदल केलेले नाहीत ना?”

प्रत्यक्षात, देशांतर्गत आणि परदेशातील अनेक कंपन्या ओपन-सोर्स मॉडेलवर केवळ ट्रान्सफर लर्निंग (fine-tuning) करून त्याचा स्वतःचे मॉडेल म्हणून प्रचार करतात.

परंतु क्लेवीने **‘From-scratch Foundation Model’** हे उद्दिष्ट समोर ठेवले.

म्हणजेच, डेटा संकलनापासून मॉडेल डिझाइन, मोठ्या प्रमाणावरील वितरित प्रशिक्षण आणि गुणवत्ता पडताळणीपर्यंतची सर्व प्रक्रिया स्वतः डिझाइन करून राबवली.

2. अतिविशाल भाषिक मॉडेल विकसित करणे कठीण का आहे

From-Scratch Foundation Model प्रशिक्षित करण्यासाठी खालील सर्व घटक शिकवणे आवश्यक आहे.

मोठ्या प्रमाणावरील उच्च-गुणवत्तेचा डेटासेट आवश्यक

• विविधता: भाषा, डोमेन आणि स्वरूप (मजकूर, प्रतिमा इत्यादी) यांमध्ये विविधता सुनिश्चित करणे
• शुद्धीकरण: नॉइज काढून टाकणे, गुणवत्ता व्यवस्थापन आणि डुप्लिकेट/हानिकारक डेटाचे फिल्टरिंग
• परवाना: कॉपीराइट आणि डेटा वापराचे अधिकार स्पष्ट करणे

मोठ्या प्रमाणावरील संगणकीय पायाभूत सुविधा

• उच्च-कार्यक्षमता GPU/TPU क्लस्टर: हजारो ते दहा हजारो नोड्सची उपकरणे एकत्रित करून मोठ्या प्रमाणावरील वितरित प्रशिक्षणासाठी समर्थन तंत्रज्ञान
• कार्यक्षम वितरित प्रशिक्षण फ्रेमवर्क: DeepSpeed, Megatron-LM, Ray इत्यादी
• स्टोरेज/नेटवर्क: मोठ्या प्रमाणावरील डेटा इनपुट-आउटपुट आणि उच्च-गती नेटवर्क वातावरण

मॉडेल आर्किटेक्चर डिझाइन

• नवीनतम संरचनेचा समावेश: Transformer, MoE(Mixture of Experts), मल्टीमोडल इत्यादी
• स्केलेबिलिटी: पॅरामीटर्सची संख्या, लेअर्सची संख्या, इनपुटची लांबी इत्यादींच्या विस्तारक्षमतेचा विचार
• कार्यक्षमता: प्रशिक्षण/अनुमानाचा वेग आणि मेमरी वापराचे ऑप्टिमायझेशन

प्रशिक्षण धोरणे आणि अल्गोरिदम

• प्रीट्रेनिंग उद्दिष्टे: भाषा मॉडेल (उदा. next token prediction), मल्टीमोडल (उदा. contrastive learning) इत्यादी
• ऑप्टिमायझेशन तंत्रे: mixed precision, gradient accumulation, learning rate schedule इत्यादी
• नॉर्मलायझेशन/स्थिरीकरण: dropout, layer norm, weight decay इत्यादी

मूल्यांकन आणि प्रमाणीकरण प्रणाली

• बेंचमार्क संच: मानक डेटासेटचा (Benchmarks) वापर
• अंतर्गत मूल्यांकन: प्रत्यक्ष वापराच्या परिस्थितींवर आधारित मूल्यांकन
• सतत देखरेख: प्रशिक्षणादरम्यान/नंतर गुणवत्ता, पूर्वग्रह आणि सुरक्षिततेची तपासणी

मनुष्यबळ आणि संस्थात्मक क्षमता

• AI/ML संशोधक: मॉडेल डिझाइन, अल्गोरिदम विकास
• डेटा अभियंता: डेटा संकलन/शुद्धीकरण/व्यवस्थापन
• इन्फ्रास्ट्रक्चर अभियंता: वितरित प्रणाली, क्लाउड/ऑन-प्रिमाइसेस व्यवस्थापन
• प्रकल्प व्यवस्थापक: वेळापत्रक, बजेट आणि गुणवत्ता व्यवस्थापन

नैतिकता·कायदा·सुरक्षा विचार

• AI नैतिकता: पूर्वग्रह, सुरक्षितता, पारदर्शकता आणि उत्तरदायित्व
• कायदेशीर अनुपालन: वैयक्तिक माहिती, कॉपीराइट आणि डेटा सार्वभौमत्व
• सुरक्षा: डेटा/मॉडेल गळती प्रतिबंध, प्रवेश नियंत्रण

सध्या जगभरातील AI संशोधन मनुष्यबळाची संख्या सुमारे 2,000 इतकी आहे आणि त्यातील बहुतांश META, Google, XAI यांसारख्या बिग टेक कंपन्यांमध्ये केंद्रित आहे. देशांतर्गत पातळीवर डेटा संकलनापासून मोठ्या प्रमाणातील प्रशिक्षणाच्या इन्फ्रास्ट्रक्चरपर्यंत सर्व काही थेट डिझाइन करून Foundation मॉडेल तयार करू शकणारे संघ अत्यंत दुर्मिळ आहेत.

3. कमी मनुष्यबळाच्या साहाय्याने अतिविशाल भाषा मॉडेल तयार करणे.

प्रतिनिधी इ ह्वानहो यांनी 10 वर्षांहून अधिक काळ डीप लर्निंग आणि मशीन लर्निंगचे संशोधन केल्याच्या अनुभवाच्या आधारे, 3 वर्षांपूर्वी “जगातील सर्वोत्तम AI तयार करायचा” या उद्दिष्टाने कंपनी (CLEVI) स्थापन केली.

कंपनीची स्वतःची डेटा पाइपलाइन उभारणी, मोठ्या प्रमाणातील वितरित डीप लर्निंग इन्फ्रास्ट्रक्चरचे डिझाइन, मॉडेल आर्किटेक्चरचा विकास आणि गुणवत्तेचे प्रमाणीकरण यांसह सर्व प्रक्रिया थेट डिझाइन करून Foundation Model विकासासाठी आवश्यक क्षमता संपादन केली.

अनेक वेळा मॉडेलचे प्रशिक्षण दिल्यानंतर, आता आमच्याकडे जगातील सर्वोच्च दर्जाच्या मॉडेल्सशी स्पर्धा करू शकणारे Clevi-5-x मॉडेल आहे.

अतिविशाल भाषा मॉडेलचे प्रभावीपणे प्रशिक्षण देण्यासाठी शेकडो ते हजारो GPU क्लस्टरशी जोडून, प्रति सेकंद दहापट क्वाड्रिलियन इतकी गणना एकाच वेळी प्रक्रिया करू शकणाऱ्या पायाभूत सुविधांची आवश्यकता असते. या प्रक्रियेत, मोठ्या प्रमाणातील वितरित वातावरणात गणनांचे समक्रमण आणि संप्रेषणातील विलंब कमीत कमी करणारे तंत्रज्ञान अत्यंत महत्त्वाचे असते. आतापर्यंत देशांतर्गत “अचूक नियंत्रण अल्गोरिदम” उपलब्ध नसल्यामुळे, बहुतेक कंपन्यांना मॉडेलचे योग्य प्रशिक्षण देता आले नाही. Clevi चे CEO Lee Hwan-ho यांनी असा स्वतंत्र वितरित गणना नियंत्रण अल्गोरिदम स्वतः विकसित करून, देशात प्रथमच 1.4 ट्रिलियन (1.4 Trillion) पॅरामीटर आकाराच्या अतिविशाल भाषा मॉडेलचे प्रशिक्षण यशस्वीपणे पूर्ण केले.

4. मोजक्या विकासकांच्या मदतीने विविध मॉडेल्स विकसित करणे शक्य होण्याचे कारण

बहुतेक बिग टेक कंपन्यांकडेही मोठ्या प्रमाणातील पायाभूत सुविधा नियंत्रण आणि डेटा परिष्करण तंत्रज्ञान असते.

ते व्यवस्थापित करण्यासाठी शेकडो ते हजारो संशोधकांची आवश्यकता असते.

मात्र, Clevi ने मोजक्या संशोधकांच्या मदतीने विविध मॉडेल्स विकसित करून ती उपलब्ध करून दिली आहेत.

हे कसे शक्य झाले?

Clevi Teacher-Student Model(Knowledge Distilation) तंत्रज्ञानाद्वारे मोजक्या कर्मचाऱ्यांच्या मदतीने विविध मॉडेल्स विकसित करून उपलब्ध करून देत आहे.

तर, Teacher-Student तंत्रज्ञानाचा आढावा घेऊया.

Teacher-Student(ज्ञान आसवन)

Teacher-Student तंत्रज्ञान म्हणजे, सोप्या शब्दांत सांगायचे तर, अतिविशाल भाषा मॉडेलच्या (Teacher Model) माध्यमातून चाइल्ड मॉडेलचे (Student Model) मूल्यांकन व अभिप्राय देऊन, मोजक्या कर्मचाऱ्यांच्या मदतीने शेकडो संशोधकांची जागा घेत विविध मॉडेल्स वेगाने विकसित करण्याचे तंत्रज्ञान होय.

• Mother Model(अतिविशाल मॉडेल) विविध क्षेत्रांतील मॉडेल्सचे मूल्यांकन व अभिप्राय देऊन शेकडो संशोधकांची जागा घेते.
• या पद्धतीने Clevi-x-platform द्वारे प्रशिक्षण घेतल्यास, Reasoning, VLM, Physical AI, Coding Agent इत्यादी उच्च-कार्यक्षमता असलेल्या मॉडेल्सचे प्रशिक्षण व वितरण 10~15 दिवसांत करता येते.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-व्हिजन लँग्वेज मॉडेल

सुरक्षा एजंट

5. Clevi-x-platform चे तंत्रज्ञान·गुणवत्तेतील वेगळेपण

मॉडेल कार्यक्षमता·स्केलेबिलिटी

• अनुमान (CoT/Reasoning) मधील आघाडी: cip-5-x मध्ये टप्प्याटप्प्याने तार्किक मांडणी आणि आधार सादरीकरण यांचा डिझाइन तत्त्वज्ञानात समावेश आहे; त्यामुळे विज्ञान, गणित आणि अभियांत्रिकी समस्यांचे निराकरण करताना उच्च विश्वासार्हतेची गणना व विश्लेषण क्षमता दिसून येते. अंतर्गत बेंचमार्कच्या आधारे GPT-5 स्तरापेक्षा अधिक कार्यक्षमता साध्य करण्याच्या उद्देशाने याची रचना व कार्यान्वयन सुरू आहे आणि समान प्रॉम्प्ट परिस्थितीत पुनरुत्पादकता/पडताळणीक्षमता हे मुख्य गुणवत्ता निर्देशक म्हणून व्यवस्थापित केले जातात.

• मल्टीमोडल क्षमतेचा संपूर्ण स्पेक्ट्रम: उद्देश-केंद्रित VLM(cip-5-vision), मोठ्या प्रमाणातील मल्टीमोडल प्रक्रिया मॉडेल(ivy-4-mm) आणि हलके ऑन-डिव्हाइस मॉडेल(ivy-3-text) एकाच प्लॅटफॉर्मवर तयार करून संयोजित करता येतात, ज्यामुळे कार्याच्या स्वरूपानुसार (शोध/वर्गीकरण/सारांश विरुद्ध अनुमान/स्पष्टीकरण/अंमलबजावणी) सर्वोत्तम संयोजन शक्य होते.

एंटरप्राइझ अनुप्रयोगक्षमता

• ऑन-प्रिमाइसेस सुरक्षा·उपलब्धता: बंद नेटवर्कच्या संपूर्ण टप्प्यात (इनपुट-प्रशिक्षण-सेवा-बॅकअप) कार्यान्वयन, HA डिझाइन, मॉड्युलर विस्तार आणि SVCE(पृथक् सुरक्षित कार्यान्वयन वातावरण) यांच्या मदतीने डेटा व मॉडेल पॅरामीटर्सचे स्वतंत्र संरक्षण केले जाते.
• जलद अंमलबजावणी·विस्तार: Ivy Chat(व्यावसायिक मल्टीमोडल संवाद/एजंट) आणि API Platform(जागतिक मानक SaaS) द्वारे जलद अनुप्रयोग व संचालनाला समर्थन दिले जाते.

भौतिक AI(Physical AI) मधील वेगळेपण

• NVIDIA Isaac-आधारित सिम्युलेशन आणि उत्क्रांती-आधारित रीइन्फोर्समेंट लर्निंग(Evolutionary RL) यांचे संयोजन, Sim2Real ट्रान्सफर आणि सिंथेटिक डेटाद्वारे समांतर प्रशिक्षण यांच्या मदतीने प्रशिक्षणाची कार्यक्षमता व प्रत्यक्ष क्षेत्रातील अनुकूलनक्षमता वाढवली आहे. डिजिटल-रोबोटिक्स प्रशिक्षणापासून ते तैनातीपर्यंतचे सर्व टप्पे समाविष्ट करणारे समाधान दुर्मिळ आहे.

सेवा गुणवत्ता·गव्हर्नन्स

• मॉडेल/प्रॉम्प्ट/साधनांची आवृत्ती व्यवस्थापन, मूल्यमापन संच(कोरियन·इंग्रजी ज्ञान, उद्योगनिहाय कार्ये, भ्रम·सुरक्षा निर्देशक), बदल व्यवस्थापन(SLO/SLA) आणि संचालन निरीक्षण(लेटन्सी·यशदर·TCO) या सर्वांचे एकाच प्लॅटफॉर्मवरील प्रक्रियेद्वारे व्यवस्थापन केले जाते.

सध्या दक्षिण कोरियात सुमारे 300 हून अधिक AI मॉडेल सेवा कंपन्या अस्तित्वात आहेत, परंतु

उच्च-कार्यक्षमतेचे स्वतंत्र फाउंडेशन मॉडेल वापरून ऑन-प्रिमाइसेस आणि क्लाउड सेवा एकाच वेळी पुरवू शकणारी एकमेव कंपनी क्लेवी आहे.

6. भाषा मॉडेलचा उद्योगात वापर करण्याचे मार्ग

AI स्वीकारण्यासाठी मोठी गुंतवणूक आणि काटेकोर पडताळणी आवश्यक असल्याने, हे प्रत्यक्षात आपल्या कंपनीसाठी उपयुक्त समाधान आहे की नाही, याची थेट तुलना करून अनुभव घेण्याची प्रक्रिया अत्यावश्यक आहे.

• क्लेव्ही केवळ मॉडेल तयार करण्यापुरती मर्यादित नसून, प्रत्यक्ष औद्योगिक क्षेत्रात लागू करता येतील अशी AI समाधाने प्रदान करते.
• उदाहरणार्थ, Ivy Chat Platform, Clevi API Platform, उद्योगनिहाय कस्टमायझेशन, सुरक्षा आवश्यकतांना अनुरूपता इत्यादींसह एंटरप्राइझ चॅनेलची संपूर्ण व्यवस्था उपलब्ध आहे.
• भौतिक AI, रोबोटिक्स, मल्टीमोडल डेटा प्रक्रिया यांसारख्या देशांतर्गत आणि आंतरराष्ट्रीय स्तरावर क्वचितच आढळणाऱ्या तांत्रिक क्षमता आमच्याकडे आहेत.

क्लेव्ही AI ला ‘उद्दिष्ट’ म्हणून नव्हे, तर ‘साधन’ म्हणून पाहते आणि प्रत्यक्ष कार्यक्षमता तसेच औद्योगिक नवोन्मेषात योगदान देणारी ठोस AI समाधाने प्रदान करते.खऱ्या From-scratch Foundation मॉडेलची वेगळी वैशिष्ट्ये स्वतः अनुभवून पहा.

चौकशी आणि डेमो विनंती: [email protected]

Copyright© 2025 Clevi Inc. सर्व हक्क राखीव.