From-scratch Foundation Model CLEVI AI(ivy)

“एक छोटी कंपनी विश्व-स्तरीय विशाल AI भाषा मॉडल कैसे बना सकती है?”

एक छोटे स्टार्टअप ने विशाल भाषा मॉडल कैसे बनाया?

यह वह प्रश्न है जो CLEVI द्वारा 1.4 ट्रिलियन पैरामीटर 규모 के Foundation मॉडल को सार्वजनिक करने के बाद सबसे अधिक पूछा गया।

जहाँ कई कंपनियाँ ओपन-सोर्स मॉडल को केवल फाइन-ट्यून करती हैं, वहीं CLEVI ने डेटा संग्रह से लेकर मॉडल डिज़ाइन, बड़े पैमाने पर वितरित प्रशिक्षण और गुणवत्ता सत्यापन तक सभी प्रक्रियाएँ स्वतंत्र रूप से पूरी कीं।

नीचे हम इस रहस्य और प्रतिस्पर्धात्मक क्षमता का विस्तार से परिचय देते हैं।

1. क्या एक छोटी कंपनी एक विशाल भाषा मॉडल बना सकती है?

जुलाई 2025 में, जब CLEVI ने स्वयं विकसित किए गए विशाल भाषा मॉडल को बाज़ार में जारी किया, तो अनगिनत ग्राहक (उपयोगकर्ता) आश्चर्य और संदेह से भर गए। “क्या यह वास्तव में स्वयं विकसित किया गया है?” “क्या यह ओपन-सोर्स मॉडल में थोड़ा-सा बदलाव भर नहीं है?”

वास्तव में, देश-विदेश की कई कंपनियाँ केवल ओपन-सोर्स मॉडल पर ट्रांसफर लर्निंग (fine-tuning) करती हैं और उसे अपने स्वयं के मॉडल के रूप में प्रचारित करती हैं।

लेकिन CLEVI ने **‘From-scratch Foundation Model’** को अपनी विशेषता के रूप में प्रस्तुत किया।

अर्थात, डेटा संग्रह से लेकर मॉडल डिज़ाइन, बड़े पैमाने पर वितरित प्रशिक्षण और गुणवत्ता सत्यापन तक सभी प्रक्रियाओं को सीधे डिज़ाइन और निष्पादित किया।

2. विशाल भाषा मॉडल का विकास कठिन क्यों है

From-Scratch Foundation Model को प्रशिक्षित करने के लिए नीचे दिए गए सभी घटकों का प्रशिक्षण आवश्यक है।

बड़े पैमाने के उच्च-गुणवत्ता वाले डेटासेट की आवश्यकता

• विविधता: भाषा, डोमेन और प्रारूप (टेक्स्ट, छवि आदि) में विविधता सुनिश्चित करना
• शोधन: शोर हटाना, गुणवत्ता प्रबंधन, डुप्लिकेट/हानिकारक डेटा को फ़िल्टर करना
• लाइसेंस: कॉपीराइट और डेटा उपयोग अधिकारों को स्पष्ट करना

बड़े पैमाने का कंप्यूटिंग इन्फ्रास्ट्रक्चर

• उच्च-प्रदर्शन GPU/TPU क्लस्टर: हजारों से लेकर दसियों हजार नोड वाले उपकरणों को एकीकृत करके बड़े पैमाने पर वितरित प्रशिक्षण का समर्थन करने वाली तकनीक
• कुशल वितरित प्रशिक्षण फ़्रेमवर्क: DeepSpeed, Megatron-LM, Ray आदि
• स्टोरेज/नेटवर्क: बड़े पैमाने पर डेटा इनपुट-आउटपुट और तेज़ नेटवर्क वातावरण

मॉडल आर्किटेक्चर डिज़ाइन

• नवीनतम आर्किटेक्चर को अपनाना: Transformer, MoE(Mixture of Experts), मल्टीमॉडल आदि
• स्केलेबिलिटी: पैरामीटर की संख्या, लेयर की संख्या, इनपुट लंबाई आदि की विस्तार क्षमता पर विचार
• दक्षता: प्रशिक्षण/अनुमान की गति और मेमोरी उपयोग का अनुकूलन

प्रशिक्षण रणनीति और एल्गोरिदम

• प्रीट्रेनिंग उद्देश्य: भाषा मॉडल (उदाहरण: next token prediction), मल्टीमॉडल (उदाहरण: contrastive learning) आदि
• ऑप्टिमाइज़ेशन तकनीकें: mixed precision, gradient accumulation, learning rate schedule आदि
• नॉर्मलाइज़ेशन/स्थिरीकरण: dropout, layer norm, weight decay आदि

मूल्यांकन और सत्यापन प्रणाली

• बेंचमार्क सेट: मानक डेटासेट (Benchmarks) का उपयोग
• आंतरिक मूल्यांकन: वास्तविक उपयोग परिदृश्यों पर आधारित मूल्यांकन
• निरंतर निगरानी: प्रशिक्षण के दौरान/बाद गुणवत्ता, पक्षपात और सुरक्षा की जाँच

मानव संसाधन और संगठनात्मक क्षमता

• AI/ML शोधकर्ता: मॉडल डिज़ाइन, एल्गोरिदम विकास
• डेटा इंजीनियर: डेटा संग्रह/शोधन/प्रबंधन
• इन्फ्रास्ट्रक्चर इंजीनियर: वितरित प्रणालियाँ, क्लाउड/ऑन-प्रिमाइसेस प्रबंधन
• प्रोजेक्ट मैनेजर: समय-सारणी, बजट और गुणवत्ता प्रबंधन

नैतिकता·कानून·सुरक्षा संबंधी विचार

• AI नैतिकता: पक्षपात, सुरक्षा, पारदर्शिता और जवाबदेही
• कानूनी अनुपालन: व्यक्तिगत जानकारी, कॉपीराइट और डेटा संप्रभुता
• सुरक्षा: डेटा/मॉडल लीक की रोकथाम और एक्सेस नियंत्रण

वर्तमान में दुनिया भर में AI शोधकर्ताओं की संख्या लगभग 2,000 है, और इनमें से अधिकांश META, Google, XAI जैसी बड़ी टेक कंपनियों में केंद्रित हैं। देश के भीतर डेटा संग्रह से लेकर बड़े पैमाने के प्रशिक्षण इन्फ्रास्ट्रक्चर तक स्वयं डिज़ाइन करके Foundation मॉडल बनाने वाली टीमें अत्यंत दुर्लभ हैं।

3. कम मानव संसाधनों के साथ एक विशाल भाषा मॉडल बनाना।

CEO ली ह्वान-हो ने 10 वर्षों से अधिक समय तक डीप लर्निंग और मशीन लर्निंग पर शोध करने के अनुभव के आधार पर, 3 वर्ष पहले “दुनिया का सर्वश्रेष्ठ AI बनाएँगे” के लक्ष्य के साथ कंपनी (CLEVI) की स्थापना की।

कंपनी की अपनी डेटा पाइपलाइन का निर्माण, बड़े पैमाने के वितरित डीप लर्निंग इन्फ्रास्ट्रक्चर का डिज़ाइन, मॉडल आर्किटेक्चर का विकास और गुणवत्ता सत्यापन सहित सभी प्रक्रियाओं को स्वयं डिज़ाइन करके, हमने Foundation Model के विकास के लिए आवश्यक क्षमताएँ हासिल कीं।

कई बार मॉडल का प्रशिक्षण करने के परिणामस्वरूप, अब हमारे पास Clevi-5-x मॉडल है, जिसकी तुलना दुनिया के सर्वोच्च स्तर के मॉडलों से की जा सकती है।

बड़े भाषा मॉडल को प्रभावी ढंग से प्रशिक्षित करने के लिए सैकड़ों से लेकर हजारों तक GPU को क्लस्टर में जोड़कर ऐसे इंफ्रास्ट्रक्चर की आवश्यकता होती है, जो प्रति सेकंड कई क्वाड्रिलियन के बराबर गणनाओं को एक साथ संसाधित कर सके। इस प्रक्रिया में, बड़े पैमाने के वितरित वातावरण में गणनाओं के समन्वयन और संचार विलंब को न्यूनतम करने वाली तकनीक महत्वपूर्ण है। अब तक, घरेलू स्तर पर “सटीक नियंत्रण एल्गोरिदम” के अभाव में अधिकांश कंपनियां मॉडलों को ठीक से प्रशिक्षित नहीं कर पाई थीं। CLEVI के CEO Lee Hwan-ho ने इस स्वतंत्र वितरित गणना नियंत्रण एल्गोरिदम को स्वयं विकसित करके, देश में पहली बार 1.4 ट्रिलियन (1.4 Trillion) पैरामीटर वाले बड़े भाषा मॉडल के प्रशिक्षण में सफलता प्राप्त की।

4. कम संख्या में डेवलपर्स के साथ विभिन्न मॉडल विकसित कर पाने का कारण

अधिकांश बिग टेक कंपनियों के पास भी बड़े पैमाने के इंफ्रास्ट्रक्चर नियंत्रण और डेटा परिष्करण की तकनीकें हैं।

इन्हें प्रबंधित करने के लिए सैकड़ों से हजारों शोधकर्ताओं की आवश्यकता होती है।

हालांकि, CLEVI ने कम संख्या में शोधकर्ताओं के साथ विभिन्न मॉडल विकसित और अपने पास रखे हैं।

यह कैसे संभव हुआ?

CLEVI Teacher-Student Model(Knowledge Distilation) तकनीक के माध्यम से कम संख्या में कर्मचारियों के साथ विभिन्न मॉडल विकसित और अपने पास रखता है।

तो आइए Teacher-Student तकनीक पर एक नज़र डालते हैं।

Teacher-Student(ज्ञान आसवन)

Teacher-Student तकनीक, सरल शब्दों में, बड़े भाषा मॉडल (Teacher Model) के माध्यम से चाइल्ड मॉडल (Student Model) का मूल्यांकन और फीडबैक करके, कम संख्या में कर्मचारियों के साथ सैकड़ों शोधकर्ताओं की जगह लेते हुए विभिन्न मॉडल तेजी से विकसित करने की तकनीक है।

• Mother Model(बड़ा मॉडल) विभिन्न क्षेत्रों के मॉडलों का मूल्यांकन और फीडबैक करता है तथा सैकड़ों शोधकर्ताओं की जगह लेता है।
• यदि इस तरीके से Clevi-x-platform के माध्यम से प्रशिक्षण किया जाए, तो Reasoning, VLM, Physical AI, Coding Agent आदि उच्च-प्रदर्शन वाले मॉडलों को 10–15 दिनों में प्रशिक्षित और तैनात किया जा सकता है।

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

सुरक्षा एजेंट

5. Clevi-x-platform तकनीक और गुणवत्ता की विशिष्टता

मॉडल का प्रदर्शन और विस्तारशीलता

• तर्क (CoT/Reasoning) में बढ़त: cip-5-x को चरणबद्ध तार्किक विकास और आधार प्रस्तुत करने को अपने डिज़ाइन दर्शन में शामिल करते हुए विकसित किया गया है, और यह विज्ञान, गणित तथा इंजीनियरिंग की समस्याओं के समाधान में उच्च विश्वसनीयता वाली गणना और व्याख्या क्षमता प्रदर्शित करता है। आंतरिक बेंचमार्क के आधार पर इसे GPT-5-स्तर या उससे बेहतर प्रदर्शन क्षमता के लक्ष्य के साथ डिज़ाइन और संचालित किया जा रहा है, जबकि समान प्रॉम्प्ट स्थितियों में पुनरुत्पादकता और सत्यापनयोग्यता को मुख्य गुणवत्ता संकेतकों के रूप में प्रबंधित किया जाता है।

• मल्टीमॉडल क्षमताओं का पूर्ण स्पेक्ट्रम: उद्देश्य-उन्मुख VLM (cip-5-vision), बड़े पैमाने का मल्टीमॉडल प्रोसेसिंग मॉडल (ivy-4-mm) और हल्का ऑन-डिवाइस मॉडल (ivy-3-text) एक ही प्लेटफ़ॉर्म पर तैयार और संयोजित किए जा सकते हैं, जिससे कार्य की विशेषताओं (खोज/वर्गीकरण/सारांश बनाम तर्क/व्याख्या/क्रियान्वयन) के अनुरूप सर्वोत्तम संयोजन संभव होता है।

एंटरप्राइज़ अनुप्रयोग क्षमता

• ऑन-प्रिमाइसेस सुरक्षा और उपलब्धता: बंद नेटवर्क के पूरे चरण (इनपुट-प्रशिक्षण-सेवा-बैकअप) में संचालन, HA डिज़ाइन, मॉड्यूलर विस्तार और SVCE (पृथक सुरक्षित निष्पादन वातावरण) के माध्यम से डेटा और मॉडल पैरामीटर को अलग-अलग सुरक्षित रखा जाता है।
• त्वरित कार्यान्वयन और विस्तार: Ivy Chat (कार्य-केंद्रित मल्टीमॉडल संवाद/एजेंट) और API Platform (वैश्विक मानक SaaS) के माध्यम से तेज़ी से लागू करने और संचालित करने में सहायता मिलती है।

भौतिक AI (Physical AI) की विशिष्टता

• NVIDIA Isaac-आधारित सिमुलेशन और विकास-आधारित सुदृढ़ीकरण शिक्षण (Evolutionary RL) के संयोजन, Sim2Real ट्रांसफ़र और सिंथेटिक डेटा के समानांतर प्रशिक्षण के माध्यम से प्रशिक्षण दक्षता और वास्तविक क्षेत्र में अनुकूलन क्षमता बढ़ाई गई है। डिजिटल से रोबोटिक्स तक प्रशिक्षण और परिनियोजन को कवर करने वाला विकल्प दुर्लभ है।

सेवा गुणवत्ता और गवर्नेंस

• मॉडल/प्रॉम्प्ट/टूल संस्करण प्रबंधन, मूल्यांकन सुइट (कोरियाई और अंग्रेज़ी ज्ञान, उद्योग-विशिष्ट कार्य, भ्रम और सुरक्षा संकेतक), परिवर्तन प्रबंधन (SLO/SLA) तथा संचालन निगरानी (लेटेंसी, सफलता दर, TCO) को एकल प्लेटफ़ॉर्म प्रक्रिया के माध्यम से प्रबंधित किया जाता है।

वर्तमान में दक्षिण कोरिया में 300 से अधिक AI मॉडल सेवा कंपनियाँ मौजूद हैं, लेकिन

उच्च-प्रदर्शन वाले स्वामित्वाधीन फ़ाउंडेशन मॉडल के माध्यम से ऑन-प्रिमाइसेस और क्लाउड सेवाएँ एक साथ प्रदान करने वाली एकमात्र कंपनी CLEVI है।

6. भाषा मॉडलों का उद्योग में उपयोग करने के तरीके

AI अपनाने के लिए बड़े निवेश और कठोर सत्यापन की आवश्यकता होती है, इसलिए यह सीधे तुलना और अनुभव करना आवश्यक है कि समाधान वास्तव में उद्यम के लिए उपयोगी है या नहीं।

• CLEVI केवल मॉडल बनाने तक सीमित नहीं है, बल्कि वास्तविक औद्योगिक क्षेत्रों में लागू किए जा सकने वाले AI समाधान प्रदान करता है।
• उदाहरण के लिए, Ivy Chat Platform, Clevi API Platform, उद्योग-विशिष्ट कस्टमाइज़ेशन और सुरक्षा आवश्यकताओं के अनुरूप समाधान सहित एंटरप्राइज़ चैनलों की पूरी श्रृंखला उपलब्ध है।
• हमारे पास Physical AI, रोबोटिक्स और मल्टीमॉडल डेटा प्रोसेसिंग जैसी तकनीकी क्षमताएँ हैं, जिन्हें देश-विदेश में खोजना कठिन है।

CLEVI AI को ‘उद्देश्य’ नहीं बल्कि ‘साधन’ मानते हुए, वास्तविक कार्यक्षमता और औद्योगिक नवाचार में योगदान देने वाले ठोस AI समाधान प्रदान करता है। वास्तविक From-scratch Foundation मॉडल की विशिष्टता का प्रत्यक्ष अनुभव करें।

पूछताछ और डेमो अनुरोध: [email protected]

कॉपीराइट© 2025 Clevi Inc. सर्वाधिकार सुरक्षित।