From-scratch Foundation Model CLEVI AI(ivy)

“តើក្រុមហ៊ុនតូចមួយអាចបង្កើតគំរូភាសា AI ខ្នាតធំលំដាប់កំពូលរបស់ពិភពលោកបានយ៉ាងដូចម្តេច?”

តើក្រុមហ៊ុនស្តាតអាប់ខ្នាតតូចមួយអាចបង្កើតគំរូភាសាខ្នាតធំបានយ៉ាងដូចម្តេច?

នេះគឺជាសំណួរដែល CLEVI ទទួលបានច្រើនបំផុត បន្ទាប់ពីបានប្រកាសបង្ហាញ Foundation Model ដែលមានប៉ារ៉ាម៉ែត្រ 1.4 ទ្រីលាន។

ខុសពីក្រុមហ៊ុនជាច្រើនដែលគ្រាន់តែធ្វើ fine-tuning លើគំរូប្រភពបើកចំហ CLEVI បានអនុវត្តដោយឯករាជ្យនូវដំណើរការទាំងអស់ ចាប់ពីការប្រមូលទិន្នន័យ ការរចនាគំរូ ការរៀនសូត្របែបចែកចាយទ្រង់ទ្រាយធំ រហូតដល់ការផ្ទៀងផ្ទាត់គុណភាព។

ខាងក្រោមនេះ យើងនឹងណែនាំយ៉ាងលម្អិតអំពីអាថ៌កំបាំង និងភាពប្រកួតប្រជែងរបស់ CLEVI។

1. តើក្រុមហ៊ុនតូចមួយអាចបង្កើតគំរូភាសាខ្នាតធំបានមែនឬ?

នៅខែកក្កដា ឆ្នាំ 2025 នៅពេលដែល CLEVI បានប្រកាសបង្ហាញគំរូភាសាខ្នាតធំដែលបានអភិវឌ្ឍដោយខ្លួនឯងទៅកាន់ទីផ្សារ អតិថិជន (អ្នកប្រើប្រាស់) ជាច្រើនមានការភ្ញាក់ផ្អើល និងមន្ទិលសង្ស័យ។ “តើពិតជាអភិវឌ្ឍដោយខ្លួនឯងមែនឬ?” “តើមិនមែនគ្រាន់តែកែប្រែគំរូប្រភពបើកចំហបន្តិចបន្តួចទេឬ?”

ជាក់ស្តែង ក្រុមហ៊ុនជាច្រើនទាំងក្នុងស្រុក និងអន្តរជាតិ គ្រាន់តែធ្វើ transfer learning (fine-tuning) លើគំរូប្រភពបើកចំហ ហើយផ្សព្វផ្សាយវាថាជាគំរូរបស់ខ្លួន។

ប៉ុន្តែ CLEVI បានលើកយក **‘From-scratch Foundation Model’** ជាចំណុចសំខាន់។

មានន័យថា CLEVI បានរចនា និងអនុវត្តដោយផ្ទាល់នូវដំណើរការទាំងអស់ ចាប់ពីការប្រមូលទិន្នន័យ ការរចនាគំរូ ការរៀនសូត្របែបចែកចាយទ្រង់ទ្រាយធំ រហូតដល់ការផ្ទៀងផ្ទាត់គុណភាព។

2. មូលហេតុដែលការអភិវឌ្ឍគំរូភាសាខ្នាតធំមានភាពលំបាក

ដើម្បីបណ្តុះបណ្តាល From-Scratch Foundation Model ត្រូវបំពេញការងារទាំងអស់ខាងក្រោម។

ត្រូវការសំណុំទិន្នន័យគុណភាពខ្ពស់ទ្រង់ទ្រាយធំ

• ភាពចម្រុះ៖ ធានាភាពចម្រុះនៃភាសា ដែន និងទម្រង់ (អត្ថបទ រូបភាព ជាដើម)
• ការចម្រាញ់៖ លុបសំឡេងរំខាន គ្រប់គ្រងគុណភាព និងត្រងទិន្នន័យស្ទួន/គ្រោះថ្នាក់
• អាជ្ញាបណ្ណ៖ បញ្ជាក់ឱ្យច្បាស់អំពីកម្មសិទ្ធិបញ្ញា និងសិទ្ធិប្រើប្រាស់ទិន្នន័យ

ហេដ្ឋារចនាសម្ព័ន្ធកុំព្យូទ័រទ្រង់ទ្រាយធំ

• ក្លាស្ទ័រ GPU/TPU ប្រសិទ្ធភាពខ្ពស់៖ បញ្ចូលឧបករណ៍រាប់ពាន់ដល់រាប់ម៉ឺនណូដ ដើម្បីគាំទ្របច្ចេកវិទ្យារៀនសូត្របែបចែកចាយលើទិន្នន័យទ្រង់ទ្រាយធំ
• ក្របខណ្ឌរៀនសូត្របែបចែកចាយប្រកបដោយប្រសិទ្ធភាព៖ DeepSpeed, Megatron-LM, Ray ជាដើម
• ឧបករណ៍ផ្ទុក/បណ្តាញ៖ បរិស្ថានដែលគាំទ្រការបញ្ចូល និងបញ្ចេញទិន្នន័យទ្រង់ទ្រាយធំ និងបណ្តាញល្បឿនលឿន

ការរចនាស្ថាបត្យកម្មគំរូ

• ការឆ្លុះបញ្ចាំងពីរចនាសម្ព័ន្ធទំនើប៖ Transformer, MoE(Mixture of Experts), ពហុម៉ូឌែល ជាដើម
• សមត្ថភាពពង្រីក៖ ពិចារណាលើការពង្រីកចំនួនប៉ារ៉ាម៉ែត្រ ចំនួនឡេយ័រ ប្រវែងធាតុបញ្ចូល ជាដើម
• ប្រសិទ្ធភាព៖ បង្កើនប្រសិទ្ធភាពល្បឿនបណ្តុះបណ្តាល/ការសន្និដ្ឋាន និងការប្រើប្រាស់អង្គចងចាំ

យុទ្ធសាស្ត្រ និងក្បួនដោះស្រាយបណ្តុះបណ្តាល

• គោលដៅ Pretraining៖ ម៉ូឌែលភាសា (ឧទាហរណ៍ next token prediction), ពហុម៉ូឌែល (ឧទាហរណ៍ contrastive learning) ជាដើម
• បច្ចេកទេសបង្កើនប្រសិទ្ធភាព៖ mixed precision, gradient accumulation, learning rate schedule ជាដើម
• ការធ្វើន័រម៉ាល់ឡាយស៍/ការរក្សាស្ថិរភាព៖ dropout, layer norm, weight decay ជាដើម

ប្រព័ន្ធវាយតម្លៃ និងផ្ទៀងផ្ទាត់

• សំណុំ Benchmark៖ ប្រើប្រាស់សំណុំទិន្នន័យស្តង់ដារ (Benchmarks)
• ការវាយតម្លៃផ្ទៃក្នុង៖ វាយតម្លៃដោយផ្អែកលើសេណារីយ៉ូនៃការប្រើប្រាស់ជាក់ស្តែង
• ការត្រួតពិនិត្យជាបន្តបន្ទាប់៖ ពិនិត្យគុណភាព ភាពលម្អៀង និងសុវត្ថិភាព ក្នុងអំឡុងពេល/បន្ទាប់ពីការបណ្តុះបណ្តាល

សមត្ថភាពបុគ្គលិក និងអង្គភាព

• អ្នកស្រាវជ្រាវ AI/ML៖ រចនាម៉ូឌែល និងអភិវឌ្ឍក្បួនដោះស្រាយ
• វិស្វករទិន្នន័យ៖ ប្រមូល សម្អាត និងគ្រប់គ្រងទិន្នន័យ
• វិស្វករហេដ្ឋារចនាសម្ព័ន្ធ៖ គ្រប់គ្រងប្រព័ន្ធចែកចាយ និង Cloud/On-premises
• អ្នកគ្រប់គ្រងគម្រោង៖ គ្រប់គ្រងកាលវិភាគ ថវិកា និងគុណភាព

ការពិចារណាផ្នែកសីលធម៌ ច្បាប់ និងសុវត្ថិភាព

• សីលធម៌ AI៖ ភាពលម្អៀង សុវត្ថិភាព តម្លាភាព និងការទទួលខុសត្រូវ
• ការអនុលោមតាមច្បាប់៖ ឯកជនភាព កម្មសិទ្ធិបញ្ញា និងអធិបតេយ្យភាពទិន្នន័យ
• សុវត្ថិភាព៖ ការពារការលេចធ្លាយទិន្នន័យ/ម៉ូឌែល និងគ្រប់គ្រងការចូលប្រើ

បច្ចុប្បន្ន បុគ្គលិកស្រាវជ្រាវ AI ទូទាំងពិភពលោកមានប្រមាណ 2,000 នាក់ ហើយភាគច្រើននៃពួកគេប្រមូលផ្តុំនៅក្រុមហ៊ុនបច្ចេកវិទ្យាធំៗដូចជា META, Google និង XAI។ នៅក្នុងប្រទេសកូរ៉េ ក្រុមដែលអាចរចនាដោយផ្ទាល់នូវគ្រប់ដំណាក់កាល ចាប់ពីការប្រមូលទិន្នន័យរហូតដល់ហេដ្ឋារចនាសម្ព័ន្ធបណ្តុះបណ្តាលទ្រង់ទ្រាយធំ ដើម្បីបង្កើត Foundation Model មានតិចតួចបំផុត។

3. បង្កើតម៉ូឌែលភាសាទ្រង់ទ្រាយធំខ្លាំង ដោយប្រើកម្លាំងមនុស្សតិចតួច។

ដោយផ្អែកលើបទពិសោធន៍ស្រាវជ្រាវ Deep Learning និង Machine Learning អស់រយៈពេលជាង 10 ឆ្នាំ លោក អ៊ីហ្វានហូ នាយកប្រតិបត្តិ បានបង្កើតក្រុមហ៊ុន (Clevi) កាលពី 3 ឆ្នាំមុន ដោយមានគោលដៅ “បង្កើត AI ល្អបំផុតក្នុងពិភពលោក”។

តាមរយៈការរចនាដោយផ្ទាល់នូវគ្រប់ដំណើរការ រួមមានការបង្កើតបំពង់បញ្ជូនទិន្នន័យរបស់ក្រុមហ៊ុនផ្ទាល់ ការរចនាហេដ្ឋារចនាសម្ព័ន្ធ Deep Learning ចែកចាយទ្រង់ទ្រាយធំ ការអភិវឌ្ឍស្ថាបត្យកម្មម៉ូឌែល និងការផ្ទៀងផ្ទាត់គុណភាព ក្រុមហ៊ុនបានបង្កើតសមត្ថភាពចាំបាច់សម្រាប់ការអភិវឌ្ឍ Foundation Model។

បន្ទាប់ពីបណ្តុះបណ្តាលម៉ូឌែលជាច្រើនលើក បច្ចុប្បន្ន ក្រុមហ៊ុនមានម៉ូឌែល Clevi-5-x ដែលអាចប្រកួតប្រជែងជាមួយម៉ូឌែលកម្រិតល្អបំផុតក្នុងពិភពលោក។

ដើម្បីបណ្តុះបណ្តាលម៉ូដែលភាសាធំជ្រុលប្រកបដោយប្រសិទ្ធភាព ត្រូវការហេដ្ឋារចនាសម្ព័ន្ធដែលភ្ជាប់ GPU ចាប់ពីរាប់រយដល់រាប់ពាន់គ្រឿងជាក្លัส្ទ័រ ដើម្បីអាចដំណើរការការគណនារហូតដល់រាប់សិប quadrillion ដងក្នុងមួយវិនាទីបានក្នុងពេលដំណាលគ្នា។ ក្នុងដំណើរការនេះ បច្ចេកវិទ្យាដែលកាត់បន្ថយការពន្យារពេលនៃការធ្វើសមកាលកម្មការគណនា និងការទំនាក់ទំនងក្នុងបរិស្ថានចែកចាយទ្រង់ទ្រាយធំ គឺជាចំណុចសំខាន់។ រហូតមកដល់ពេលនេះ នៅក្នុងប្រទេសកូរ៉េ ដោយសារខ្វះ “ក្បួនដោះស្រាយត្រួតពិនិត្យភាពជាក់លាក់” សហគ្រាសភាគច្រើនមិនអាចបណ្តុះបណ្តាលម៉ូដែលបានត្រឹមត្រូវទេ។ លោក Lee Hwan-ho នាយកប្រតិបត្តិរបស់ Clevi បានអភិវឌ្ឍក្បួនដោះស្រាយត្រួតពិនិត្យការគណនាចែកចាយឯករាជ្យនេះដោយខ្លួនឯង ហើយបានជោគជ័យក្នុងការបណ្តុះបណ្តាលម៉ូដែលភាសាធំជ្រុលដែលមានប៉ារ៉ាម៉ែត្រទំហំ 1.4 ទ្រីលាន (1.4 Trillion) ជាលើកដំបូងនៅក្នុងប្រទេសកូរ៉េ។

4. មូលហេតុដែលអាចអភិវឌ្ឍម៉ូដែលជាច្រើនបានដោយមានបុគ្គលិកអភិវឌ្ឍន៍តិចតួច

សូម្បីតែក្រុមហ៊ុនបច្ចេកវិទ្យាធំៗភាគច្រើន ក៏មានបច្ចេកវិទ្យាគ្រប់គ្រងហេដ្ឋារចនាសម្ព័ន្ធទ្រង់ទ្រាយធំ និងបច្ចេកវិទ្យាសម្អាតទិន្នន័យផងដែរ។

ដើម្បីគ្រប់គ្រងវា ត្រូវការអ្នកស្រាវជ្រាវចាប់ពីរាប់រយដល់រាប់ពាន់នាក់។

ប៉ុន្តែ Clevi អាចអភិវឌ្ឍ និងកាន់កាប់ម៉ូដែលជាច្រើនបាន ដោយមានអ្នកស្រាវជ្រាវតិចតួច។

តើវាអាចធ្វើទៅបានដោយរបៀបណា?

Clevi អភិវឌ្ឍ និងកាន់កាប់ម៉ូដែលជាច្រើនដោយមានបុគ្គលិកតិចតួច តាមរយៈបច្ចេកវិទ្យា Teacher-Student Model(Knowledge Distilation)។

ដូច្នេះ សូមស្វែងយល់អំពីបច្ចេកវិទ្យា Teacher-Student។

Teacher-Student(ការបន្សាបចំណេះដឹង)

និយាយឱ្យងាយយល់ បច្ចេកវិទ្យា Teacher-Student គឺជាបច្ចេកវិទ្យាដែលប្រើម៉ូដែលភាសាធំជ្រុល (Teacher Model) ដើម្បីវាយតម្លៃ និងផ្តល់មតិកែលម្អដល់ម៉ូដែលកូន (Student Model) ដោយអាចជំនួសអ្នកស្រាវជ្រាវរាប់រយនាក់ ទោះមានបុគ្គលិកតិចតួច ហើយអភិវឌ្ឍម៉ូដែលជាច្រើនបានយ៉ាងឆាប់រហ័ស។

• Mother Model(ម៉ូដែលធំជ្រុល) វាយតម្លៃ និងផ្តល់មតិកែលម្អដល់ម៉ូដែលក្នុងវិស័យជាច្រើន ហើយជំនួសអ្នកស្រាវជ្រាវរាប់រយនាក់។
• ប្រសិនបើធ្វើការបណ្តុះបណ្តាលតាមវិធីនេះតាមរយៈ Clevi-x-platform នោះ អាចបណ្តុះបណ្តាល និងដាក់ឱ្យប្រើប្រាស់ម៉ូដែលប្រសិទ្ធភាពខ្ពស់ ដូចជា Reasoning, VLM, Physical AI, Coding Agent ជាដើម ក្នុងរយៈពេលត្រឹម 10~15 ថ្ងៃ។

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

ភ្នាក់ងារសុវត្ថិភាព

5. ភាពខុសប្លែកនៃបច្ចេកវិទ្យា និងគុណភាពរបស់ Clevi-x-platform

ប្រសិទ្ធភាព និងការពង្រីកសមត្ថភាពរបស់ម៉ូដែល

• ឧត្តមភាពក្នុងការសន្និដ្ឋាន (CoT/Reasoning)៖ cip-5-x បានបញ្ចូលការអភិវឌ្ឍតក្កវិជ្ជាជាជំហានៗ និងការបង្ហាញមូលហេតុទៅក្នុងទស្សនវិជ្ជានៃការរចនា ហើយបង្ហាញសមត្ថភាពគណនា និងបកស្រាយដែលមានភាពជឿជាក់ខ្ពស់ក្នុងការដោះស្រាយបញ្ហាវិទ្យាសាស្ត្រ គណិតវិទ្យា និងវិស្វកម្ម។ តាមស្តង់ដារបេន្ឈម៉ាកផ្ទៃក្នុង វាត្រូវបានរចនា និងដំណើរការដោយមានគោលដៅសម្រេចសមត្ថភាពកម្រិត GPT-5 ឬខ្ពស់ជាងនេះ ហើយគ្រប់គ្រងភាពអាចធ្វើឡើងវិញបាន/អាចផ្ទៀងផ្ទាត់បានក្រោមលក្ខខណ្ឌប្រូមភ្ទដូចគ្នា ជាសូចនាករគុណភាពស្នូល។

• វិសាលគមពេញលេញនៃពហុម៉ូឌាល់៖ តាមរយៈការផលិត និងផ្សំ VLM ផ្តោតលើគោលដៅ (cip-5-vision) ម៉ូដែលដំណើរការពហុម៉ូឌាល់ទិន្នន័យធំ (ivy-4-mm) និងម៉ូដែលស្រាលលើឧបករណ៍ (ivy-3-text) នៅលើវេទិកាតែមួយ អាចជ្រើសរើសការរួមបញ្ចូលដ៏ប្រសើរបំផុតឱ្យសមស្របនឹងលក្ខណៈភារកិច្ច (ស្វែងរក/ចាត់ថ្នាក់/សង្ខេប ទល់នឹង សន្និដ្ឋាន/ពន្យល់/ប្រតិបត្តិ)។

ភាពសមស្របសម្រាប់សហគ្រាស

• សុវត្ថិភាព និងភាពអាចប្រើបាននៅក្នុងបរិស្ថាន On-premises៖ ដំណើរការពេញលេញនៅក្នុងបណ្តាញបិទ (ការបញ្ចូល-ការបណ្តុះបណ្តាល-សេវាកម្ម-ការបម្រុងទុក) ការរចនា HA ការពង្រីកជាម៉ូឌុល និង SVCE (បរិស្ថានប្រតិបត្តិការសុវត្ថិភាពដែលមានការប隔离) ជួយបំបែក និងការពារទិន្នន័យ និងប៉ារ៉ាម៉ែត្រម៉ូដែល។
• ការដាក់ឱ្យប្រើ និងពង្រីកយ៉ាងឆាប់រហ័ស៖ Ivy Chat (ការសន្ទនា/ភ្នាក់ងារពហុម៉ូឌាល់សម្រាប់ការងារ) និង API Platform (SaaS ស្តង់ដារសកល) គាំទ្រការអនុវត្ត និងប្រតិបត្តិការយ៉ាងឆាប់រហ័ស។

ភាពខុសប្លែកនៃ Physical AI

• តាមរយៈការរួមបញ្ចូលការក្លែងធ្វើផ្អែកលើ NVIDIA Isaac ជាមួយការរៀនពង្រឹងផ្អែកលើវិវត្តន៍ (Evolutionary RL) ការផ្ទេរ Sim2Real និងការបណ្តុះបណ្តាលទិន្នន័យសំយោគស្របគ្នា វាបានបង្កើនប្រសិទ្ធភាពនៃការរៀន និងសមត្ថភាពសម្របខ្លួននៅទីតាំងជាក់ស្តែង។ សមត្ថភាពគ្របដណ្តប់ចាប់ពីការរៀនឌីជីថល-រ៉ូបូទិក រហូតដល់ការដាក់ឱ្យប្រើប្រាស់ គឺជាចំណុចដែលមានជម្រើសជំនួសតិចតួច។

គុណភាពសេវាកម្ម និងអភិបាលកិច្ច

• ការគ្រប់គ្រងកំណែម៉ូដែល/ប្រូមភ្ទ/ឧបករណ៍ ឈុតវាយតម្លៃ (ចំណេះដឹងជាភាសាជាតិ/អង់គ្លេស ភារកិច្ចតាមឧស្សាហកម្ម សូចនាករអំពីការបំភាន់ និងសុវត្ថិភាព) ការគ្រប់គ្រងការផ្លាស់ប្តូរ (SLO/SLA) និងការត្រួតពិនិត្យប្រតិបត្តិការ (ឡេតង់ស៊ី អត្រាជោគជ័យ TCO) ត្រូវបានគ្រប់គ្រងតាមនីតិវិធីវេទិកាតែមួយ។

បច្ចុប្បន្ន នៅក្នុងប្រទេសកូរ៉េខាងត្បូង មានក្រុមហ៊ុនសេវាកម្មម៉ូដែល AI ជាងប្រហែល 300 ក្រុមហ៊ុន ប៉ុន្តែ

CLEVI គឺជាក្រុមហ៊ុនតែមួយគត់ដែលអាចផ្តល់សេវា On-premises និង Cloud ក្នុងពេលតែមួយ តាមរយៈម៉ូដែល Foundation ដែលមានប្រសិទ្ធភាពខ្ពស់ និងឯករាជ្យ។

6. វិធីប្រើប្រាស់ម៉ូដែលភាសាក្នុងឧស្សាហកម្ម

ដោយសារការដាក់ឱ្យប្រើ AI តម្រូវឱ្យមានការវិនិយោគយ៉ាងច្រើន និងការផ្ទៀងផ្ទាត់យ៉ាងម៉ត់ចត់ ដំណើរការប្រៀបធៀប និងសាកល្បងដោយផ្ទាល់ ដើម្បីពិនិត្យថាតើវាជាដំណោះស្រាយដែលជួយដល់សហគ្រាសជាក់ស្តែងឬអត់ គឺជារឿងចាំបាច់។

• CLEVI មិនត្រឹមតែបង្កើតម៉ូដែលប៉ុណ្ណោះទេ ប៉ុន្តែថែមទាំងផ្តល់ដំណោះស្រាយ AI ដែលអាចអនុវត្តបានក្នុងបរិយាកាសឧស្សាហកម្មជាក់ស្តែង។
• ជាឧទាហរណ៍ យើងមានបណ្តាញសហគ្រាសពេញលេញ រួមមាន Ivy Chat Platform, Clevi API Platform, ការកែសម្រួលតាមឧស្សាហកម្ម និងការឆ្លើយតបទៅនឹងតម្រូវការសុវត្ថិភាព។
• យើងមានសមត្ថភាពបច្ចេកទេសដែលពិបាករកបានទាំងក្នុងប្រទេស និងក្រៅប្រទេស ដូចជា AI រូបវន្ត រ៉ូបូទិក និងការដំណើរការទិន្នន័យពហុម៉ូឌុល។

CLEVI ផ្តល់ដំណោះស្រាយ AI ជាក់ស្តែង ដែលយក AI ជា ‘មធ្យោបាយ’ មិនមែនជា ‘គោលដៅ’ ហើយរួមចំណែកដល់ប្រសិទ្ធភាពការងារជាក់ស្តែង និងការច្នៃប្រឌិតក្នុងឧស្សាហកម្ម។ សូមសាកល្បងដោយផ្ទាល់នូវភាពខុសប្លែករបស់ម៉ូដែល Foundation ពិតប្រាកដ From-scratch។

សំណួរ និងសំណើសុំធ្វើបទបង្ហាញ៖ [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.