From-scratch Foundation Model ક્લેવી AI(ivy)

“એક નાની કંપની વિશ્વસ્તરીય વિશાળ AI ભાષા મોડેલ કેવી રીતે બનાવી શકી?”

નાની સ્ટાર્ટઅપ કંપનીએ વિશાળ ભાષા મોડેલ કેવી રીતે બનાવ્યું?

ક્લેવી દ્વારા 1.4 ટ્રિલિયન પેરામીટર કદનું Foundation મોડેલ જાહેર કર્યા પછી, આ સૌથી વધુ પૂછાયેલા પ્રશ્નોમાંનો એક છે.

ઘણી કંપનીઓ ઓપન-સોર્સ મોડેલને માત્ર ફાઇન-ટ્યુનિંગ કરતી હોવા છતાં, ક્લેવી દ્વારા ડેટા સંગ્રહથી લઈને મોડેલ ડિઝાઇન, મોટા પાયે વિતરિત તાલીમ અને ગુણવત્તા ચકાસણી સુધીની તમામ પ્રક્રિયાઓ સ્વતંત્ર રીતે હાથ ધરવામાં આવી હતી.

તેનું રહસ્ય અને સ્પર્ધાત્મક શક્તિ નીચે વિગતવાર રજૂ કરવામાં આવી છે.

1. શું નાની કંપની વિશાળ ભાષા મોડેલ બનાવી શકે?

જુલાઈ 2025માં, જ્યારે ક્લેવીએ પોતે વિકસાવેલું વિશાળ ભાષા મોડેલ બજારમાં જાહેર કર્યું, ત્યારે અસંખ્ય ગ્રાહકો (વપરાશકર્તાઓ) આશ્ચર્ય અને શંકા સાથે ચર્ચામાં આવી ગયા. “શું આ ખરેખર સ્વતંત્ર રીતે વિકસાવેલું છે?” “શું આ માત્ર ઓપન-સોર્સ મોડેલમાં થોડો ફેરફાર નથી?”

હકીકતમાં, દેશ-વિદેશની ઘણી કંપનીઓ માત્ર ઓપન-સોર્સ મોડેલનું ટ્રાન્સફર લર્નિંગ (fine-tuning) કરીને તેને પોતાના મોડેલ તરીકે પ્રચાર કરતી હતી.

પરંતુ ક્લેવીએ **‘From-scratch Foundation Model’**ને પોતાની મુખ્ય વિશેષતા તરીકે રજૂ કર્યું.

એટલે કે, ડેટા સંગ્રહથી લઈને મોડેલ ડિઝાઇન, મોટા પાયે વિતરિત તાલીમ અને ગુણવત્તા ચકાસણી સુધીની તમામ પ્રક્રિયાઓ સીધી રીતે ડિઝાઇન અને અમલમાં મૂકી.

2. વિશાળ ભાષા મોડેલ વિકસાવવું મુશ્કેલ કેમ છે

From-Scratch Foundation Modelને તાલીમ આપવા માટે નીચેના તમામ મુદ્દાઓ પર તાલીમ આપવી આવશ્યક છે.

મોટા પાયાના ઉચ્ચ-ગુણવત્તાવાળા ડેટાસેટની જરૂરિયાત

• વૈવિધ્ય: ભાષા, ડોમેન અને ફોર્મેટ (ટેક્સ્ટ, છબીઓ વગેરે)માં વૈવિધ્ય સુનિશ્ચિત કરવું
• શુદ્ધિકરણ: નોઈઝ દૂર કરવો, ગુણવત્તા નિયંત્રણ અને ડુપ્લિકેટ/હાનિકારક ડેટાનું ફિલ્ટરિંગ
• લાઇસન્સ: કૉપિરાઇટ અને ડેટા ઉપયોગ અધિકારો સ્પષ્ટ કરવા

મોટા પાયાનું કમ્પ્યુટિંગ ઇન્ફ્રાસ્ટ્રક્ચર

• ઉચ્ચ-પ્રદર્શન GPU/TPU ક્લસ્ટર: હજારો થી લઈને દસેક હજાર નોડ્સનાં ઉપકરણોને એકીકૃત કરીને મોટા પાયે વિતરિત તાલીમને સહાય કરતી ટેકનોલોજી
• કાર્યક્ષમ વિતરિત તાલીમ ફ્રેમવર્ક: DeepSpeed, Megatron-LM, Ray વગેરે
• સ્ટોરેજ/નેટવર્ક: મોટા પાયે ડેટા ઇનપુટ-આઉટપુટ અને ઝડપી નેટવર્ક વાતાવરણ

મોડેલ આર્કિટેક્ચર ડિઝાઇન

• નવીનતમ આર્કિટેક્ચરનો સમાવેશ: Transformer, MoE(Mixture of Experts), મલ્ટીમોડલ વગેરે
• સ્કેલેબિલિટી: પેરામીટરોની સંખ્યા, લેયરોની સંખ્યા, ઇનપુટ લંબાઈ વગેરેની વિસ્તરણક્ષમતાને ધ્યાનમાં લેવી
• કાર્યક્ષમતા: તાલીમ/અનુમાનની ઝડપ અને મેમરી વપરાશનું ઑપ્ટિમાઇઝેશન

તાલીમ વ્યૂહરચના અને અલ્ગોરિધમ

• પ્રીટ્રેનિંગ લક્ષ્ય: ભાષા મોડેલ (દા.ત., next token prediction), મલ્ટીમોડલ (દા.ત., contrastive learning) વગેરે
• ઑપ્ટિમાઇઝેશન તકનીકો: mixed precision, gradient accumulation, learning rate schedule વગેરે
• નૉર્મલાઇઝેશન/સ્થિરીકરણ: dropout, layer norm, weight decay વગેરે

મૂલ્યાંકન અને ચકાસણી પ્રણાલી

• બેન્ચમાર્ક સેટ: પ્રમાણભૂત ડેટાસેટ્સ (Benchmarks)નો ઉપયોગ
• આંતરિક મૂલ્યાંકન: વાસ્તવિક ઉપયોગના પરિદૃશ્યો પર આધારિત મૂલ્યાંકન
• સતત મોનિટરિંગ: તાલીમ દરમિયાન/પછી ગુણવત્તા, પૂર્વગ્રહ અને સુરક્ષાની ચકાસણી

માનવબળ અને સંગઠનાત્મક ક્ષમતા

• AI/ML સંશોધક: મોડેલ ડિઝાઇન, અલ્ગોરિધમ વિકાસ
• ડેટા એન્જિનિયર: ડેટા સંગ્રહ/શુદ્ધિકરણ/વ્યવસ્થાપન
• ઇન્ફ્રાસ્ટ્રક્ચર એન્જિનિયર: વિતરિત સિસ્ટમ્સ, ક્લાઉડ/ઓન-પ્રિમાઇસ વ્યવસ્થાપન
• પ્રોજેક્ટ મેનેજર: સમયપત્રક, બજેટ અને ગુણવત્તા વ્યવસ્થાપન

નૈતિકતા·કાયદા·સુરક્ષા અંગેના વિચાર

• AI નૈતિકતા: પૂર્વગ્રહ, સુરક્ષા, પારદર્શિતા અને જવાબદારી
• કાયદાકીય પાલન: વ્યક્તિગત માહિતી, કૉપિરાઇટ અને ડેટા સાર્વભૌમત્વ
• સુરક્ષા: ડેટા/મોડેલ લીકેજ અટકાવવું અને ઍક્સેસ નિયંત્રણ

હાલમાં વિશ્વભરમાં AI સંશોધન ક્ષેત્રે કાર્યરત લોકોની સંખ્યા આશરે 2,000 જેટલી છે, અને તેમાંના મોટાભાગના META, Google, XAI જેવી બિગ ટેક કંપનીઓમાં કેન્દ્રિત છે. દેશમાં ડેટા સંગ્રહથી લઈને મોટા પાયાની તાલીમ માટેના ઇન્ફ્રાસ્ટ્રક્ચર સુધી બધું જાતે ડિઝાઇન કરીને Foundation મોડેલ બનાવી શકે તેવી ટીમો અત્યંત દુર્લભ છે.

3. ઓછા માનવબળ સાથે અતિ વિશાળ ભાષા મોડેલ બનાવવું.

CEO ઇહવાનહોએ 10 વર્ષથી વધુ સમય સુધી ડીપ લર્નિંગ અને મશીન લર્નિંગ પર સંશોધન કરવાના અનુભવના આધારે, ત્રણ વર્ષ પહેલાં “વિશ્વનું શ્રેષ્ઠ AI બનાવીશું” એવા ધ્યેય સાથે કંપની (CLEVI)ની સ્થાપના કરી.

કંપનીની પોતાની ડેટા પાઇપલાઇનનું નિર્માણ, મોટા પાયાના વિતરિત ડીપ લર્નિંગ ઇન્ફ્રાસ્ટ્રક્ચરની ડિઝાઇન, મોડેલ આર્કિટેક્ચરનો વિકાસ અને ગુણવત્તા ચકાસણી સહિતની તમામ પ્રક્રિયાઓ જાતે ડિઝાઇન કરીને Foundation Modelના વિકાસ માટે જરૂરી ક્ષમતાઓ પ્રાપ્ત કરી.

મોડેલને અનેક વખત તાલીમ આપવાના પરિણામે, હવે અમારી પાસે વિશ્વસ્તરીય મોડેલો સાથે સ્પર્ધા કરી શકે તેવું Clevi-5-x મોડેલ છે.

વિશાળ ભાષા મોડલને અસરકારક રીતે તાલીમ આપવા માટે સૈંકડોથી હજારો સુધીના GPUને ક્લસ્ટર તરીકે જોડતી અને પ્રતિ સેકન્ડ ક્વાડ્રિલિયન જેટલી ગણતરીઓ એકસાથે પ્રક્રિયા કરી શકે તેવી ઇન્ફ્રાસ્ટ્રક્ચરની જરૂર પડે છે. આ પ્રક્રિયામાં, મોટા પાયે વિતરિત વાતાવરણમાં ગણતરીનું સિંક્રનાઇઝેશન અને સંચાર વિલંબને ઓછું કરતી ટેક્નોલોજી મહત્વપૂર્ણ છે. અત્યાર સુધી દેશમાં “ચોકસાઇ નિયંત્રણ અલ્ગોરિધમ”ના અભાવને કારણે મોટાભાગની કંપનીઓ મોડલને યોગ્ય રીતે તાલીમ આપી શકતી નહોતી. CLEVIના CEO Lee Hwan-hoએ આવા સ્વતંત્ર વિતરિત ગણતરી નિયંત્રણ અલ્ગોરિધમને આંતરિક રીતે વિકસાવીને, દેશમાં પ્રથમ વખત 1.4 ટ્રિલિયન (1.4 Trillion) પેરામીટર કદના વિશાળ ભાષા મોડલની તાલીમ સફળતાપૂર્વક પૂર્ણ કરી.

4. થોડા વિકાસકર્મીઓ સાથે વિવિધ મોડલ વિકસાવવાનું શક્ય કેમ બન્યું

મોટાભાગની મોટી ટેક કંપનીઓ પાસે પણ મોટા પાયાની ઇન્ફ્રાસ્ટ્રક્ચર નિયંત્રણ અને ડેટા શુદ્ધિકરણની ટેક્નોલોજી છે.

તેનું સંચાલન કરવા માટે સૈંકડોથી હજારો સંશોધનકર્મીઓની જરૂર પડે છે.

પરંતુ, CLEVI પાસે ઓછા સંશોધનકર્મીઓ હોવા છતાં વિવિધ મોડલ વિકસિત અને ઉપલબ્ધ છે.

આ કેવી રીતે શક્ય બન્યું?

CLEVI Teacher-Student Model(Knowledge Distilation) ટેક્નોલોજી દ્વારા ઓછા કર્મચારીઓ સાથે વિવિધ મોડલ વિકસાવી અને ઉપલબ્ધ કરાવે છે.

તો ચાલો Teacher-Student ટેક્નોલોજી વિશે જાણીએ.

Teacher-Student(જ્ઞાન નિસ્યંદન)

Teacher-Student ટેક્નોલોજી સરળ શબ્દોમાં કહીએ તો, વિશાળ ભાષા મોડલ (Teacher Model) દ્વારા ચાઇલ્ડ મોડલ (Student Model)નું મૂલ્યાંકન અને પ્રતિસાદ આપીને, ઓછા કર્મચારીઓ સાથે સૈંકડો સંશોધનકર્મીઓનું સ્થાન લઈ વિવિધ મોડલ ઝડપથી વિકસાવવાની ટેક્નોલોજી છે.

• Mother Model(વિશાળ મોડલ) વિવિધ ક્ષેત્રોના મોડલનું મૂલ્યાંકન અને પ્રતિસાદ આપે છે અને સૈંકડો સંશોધનકર્મીઓનું સ્થાન લે છે.
• આ રીતે Clevi-x-platform દ્વારા તાલીમ હાથ ધરવામાં આવે તો Reasoning, VLM, Physical AI, Coding Agent વગેરે ઉચ્ચ-પ્રદર્શનવાળા મોડલને 10~15 દિવસમાં તાલીમ આપી અને ડિપ્લોય કરી શકાય છે.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

સુરક્ષા એજન્ટ

5. Clevi-x-platform ટેક્નોલોજી અને ગુણવત્તાની વિશિષ્ટતા

મોડલનું પ્રદર્શન અને વિસ્તરણક્ષમતા

• રીઝનિંગ (CoT/Reasoning)માં શ્રેષ્ઠતા: cip-5-x ને તેની ડિઝાઇન ફિલસૂફીમાં તબક્કાવાર તાર્કિક વિકાસ અને આધાર રજૂઆતનો સમાવેશ થાય તે રીતે તૈયાર કરવામાં આવ્યું છે, અને તે વિજ્ઞાન, ગણિત તથા એન્જિનિયરિંગની સમસ્યા ઉકેલવામાં ઉચ્ચ વિશ્વસનીયતાની ગણતરી અને અર્થઘટન ક્ષમતા દર્શાવે છે. આંતરિક બેન્ચમાર્કના આધારે GPT-5 સ્તર અથવા તેનાથી વધુ પ્રદર્શનક્ષમતાના લક્ષ્ય સાથે તેનું ડિઝાઇન અને સંચાલન કરવામાં આવી રહ્યું છે, જ્યારે સમાન પ્રોમ્પ્ટ પરિસ્થિતિઓમાં પુનઃઉત્પાદનક્ષમતા અને ચકાસણીયોગ્યતાને મુખ્ય ગુણવત્તા સૂચકાંકો તરીકે સંચાલિત કરવામાં આવે છે.

• મલ્ટિમોડલ ક્ષમતાઓનો સંપૂર્ણ સ્પેક્ટ્રમ: હેતુલક્ષી VLM(cip-5-vision), મોટા પાયે મલ્ટિમોડલ પ્રોસેસિંગ મોડલ(ivy-4-mm) અને હળવા ઑન-ડિવાઇસ મોડલ(ivy-3-text)ને એક જ પ્લેટફોર્મ પર તૈયાર કરી સંયોજિત કરી શકાય છે, જેથી કાર્યની વિશેષતાઓ (શોધ/વર્ગીકરણ/સારાંશ વિરુદ્ધ રીઝનિંગ/સમજૂતી/અમલીકરણ) અનુસાર શ્રેષ્ઠ સંયોજન શક્ય બને છે.

એન્ટરપ્રાઇઝ ઉપયોગક્ષમતા

• ઑન-પ્રિમાઇસ સુરક્ષા અને ઉપલબ્ધતા: બંધ નેટવર્કના સમગ્ર ક્ષેત્રમાં (ઇનપુટ-ટ્રેનિંગ-સેવા-બેકઅપ) સંચાલન, HA ડિઝાઇન, મોડ્યુલર વિસ્તરણ અને SVCE(અલગ કરાયેલ સુરક્ષિત એક્ઝિક્યુશન પર્યાવરણ) દ્વારા ડેટા અને મોડલ પેરામીટર્સને અલગ રાખીને સુરક્ષિત કરવામાં આવે છે.
• ઝડપી અમલીકરણ અને વિસ્તરણ: Ivy Chat(કાર્યલક્ષી મલ્ટિમોડલ સંવાદ/એજન્ટ) અને API Platform(વૈશ્વિક ધોરણનું SaaS) દ્વારા ઝડપી અમલીકરણ અને સંચાલનને સમર્થન આપવામાં આવે છે.

ભૌતિક AI(Physical AI)ની વિશિષ્ટતા

• NVIDIA Isaac આધારિત સિમ્યુલેશન અને ઉત્ક્રાંતિ આધારિત રીઇન્ફોર્સમેન્ટ લર્નિંગ(Evolutionary RL)નું સંયોજન, Sim2Real ટ્રાન્સફર અને સિન્થેટિક ડેટા પર સમાંતર તાલીમ દ્વારા તાલીમ કાર્યક્ષમતા અને વાસ્તવિક ક્ષેત્રમાં અનુકૂલનક્ષમતા વધારવામાં આવી છે. ડિજિટલથી રોબોટિક્સ તાલીમ અને ડિપ્લોયમેન્ટ સુધીનું આવરણ પ્રદાન કરતી સેવાઓના વિકલ્પો અત્યંત દુર્લભ છે.

સેવા ગુણવત્તા અને ગવર્નન્સ

• મોડલ/પ્રોમ્પ્ટ/ટૂલ વર્ઝન મેનેજમેન્ટ, મૂલ્યાંકન સ્યુટ(કોરિયન અને અંગ્રેજી જ્ઞાન, ઉદ્યોગવાર કાર્યો, હેલ્યુસિનેશન અને સુરક્ષા સૂચકાંકો), ફેરફાર વ્યવસ્થાપન(SLO/SLA) તથા સંચાલન અવલોકનક્ષમતા(લેટન્સી, સફળતા દર અને TCO)નું સંચાલન એક જ પ્લેટફોર્મ પ્રક્રિયા દ્વારા કરવામાં આવે છે.

હાલમાં દક્ષિણ કોરિયામાં આશરે 300થી વધુ AI મોડલ સેવા કંપનીઓ અસ્તિત્વમાં છે, પરંતુ

ઉચ્ચ પ્રદર્શન ધરાવતા સ્વતંત્ર ફાઉન્ડેશન મોડલ દ્વારા ઑન-પ્રિમાઇસ અને ક્લાઉડ સેવાઓ એકસાથે પૂરી પાડી શકે તેવી એકમાત્ર કંપની CLEVI છે.

6. ભાષા મોડલનો ઉદ્યોગમાં ઉપયોગ કરવાની રીતો

AI અપનાવા માટે મોટા પાયે રોકાણ અને કડક ચકાસણી જરૂરી હોવાથી, કોઈ ઉકેલ ખરેખર કંપની માટે ઉપયોગી છે કે નહીં તેની સીધી તુલના અને અનુભવ કરવાની પ્રક્રિયા અનિવાર્ય છે.

• CLEVI માત્ર મોડેલ બનાવવામાં જ સીમિત નથી, પરંતુ વાસ્તવિક ઔદ્યોગિક ક્ષેત્રોમાં લાગુ કરી શકાય તેવા AI ઉકેલો પ્રદાન કરે છે.
• ઉદાહરણ તરીકે, Ivy Chat Platform, Clevi API Platform, ઉદ્યોગ-વિશિષ્ટ કસ્ટમાઇઝેશન, સુરક્ષા આવશ્યકતાઓનું પાલન વગેરે સહિતના એન્ટરપ્રાઇઝ ચેનલ્સથી સજ્જ છે.
• Physical AI, રોબોટિક્સ અને મલ્ટિમોડલ ડેટા પ્રોસેસિંગ જેવી દેશ-વિદેશમાં દુર્લભ તકનીકી ક્ષમતાઓ ધરાવે છે.

CLEVI AIને ‘ઉદ્દેશ્ય’ તરીકે નહીં, પરંતુ ‘સાધન’ તરીકે માનીને, વાસ્તવિક કાર્યક્ષમતા અને ઔદ્યોગિક નવીનતામાં યોગદાન આપતા મૂર્ત AI ઉકેલો પ્રદાન કરે છે. સાચા From-scratch Foundation મોડેલની વિશિષ્ટતા જાતે અનુભવો.

પૂછપરછ અને ડેમો માટે વિનંતી: [email protected]

Copyright© 2025 Clevi Inc. સર્વાધિકારો સુરક્ષિત.