From-scratch Foundation Model Клеви AI (ivy)

“Жижиг компани хэрхэн дэлхийн түвшний аварга хэлний AI загвар бүтээж чадсан бэ?”

Жижиг стартап хэрхэн аварга хэлний загвар бүтээсэн бэ?

Клеви 1.4 их наяд параметрийн хэмжээтэй Foundation загвараа танилцуулснаас хойш хамгийн их сонссон асуулт энэ байлаа.

Олон компани нээлттэй эхийн загварыг зүгээр л нарийн тохируулдаг бол Клеви өгөгдөл цуглуулахаас эхлээд загвар зохион бүтээх, их хэмжээний тархмал сургалт хийх, чанарыг баталгаажуулах хүртэлх бүх үйл явцыг бие даан гүйцэтгэсэн.

Түүний нууц болон өрсөлдөх чадварыг доор дэлгэрэнгүй танилцуулъя.

1. Жижиг компани аварга хэлний загвар бүтээж чадах уу?

2025 оны 7-р сард Клеви өөрийн хөгжүүлсэн аварга хэлний загвараа зах зээлд танилцуулахад олон хэрэглэгч гайхаж, эргэлзэн шуугилдсан. “Үнэхээр өөрсдөө хөгжүүлсэн юм уу?” “Нээлттэй эхийн загварыг бага зэрэг өөрчилсөн биш үү?”

Үнэн хэрэгтээ дотоод, гадаадын олон компани нээлттэй эхийн загварт зөвхөн шилжүүлэн сургалт (fine-tuning) хийж, үүнийгээ өөрсдийн загвар хэмээн сурталчлах тохиолдол олон байсан.

Гэвч Клеви **‘From-scratch Foundation Model’**-ийг гол болгон дэвшүүлсэн.

Өөрөөр хэлбэл, өгөгдөл цуглуулахаас эхлээд загвар зохион бүтээх, их хэмжээний тархмал сургалт хийх, чанарыг баталгаажуулах хүртэлх бүх үйл явцыг өөрсдөө боловсруулж, хэрэгжүүлсэн.

2. Аварга хэлний загвар хөгжүүлэхэд хэцүү байдгийн шалтгаан

From-Scratch Foundation Model-ийг сургахын тулд доорх бүх бүрэлдэхүүнийг суралцуулах шаардлагатай.

Их хэмжээний өндөр чанартай өгөгдлийн багц шаардлагатай

• Олон талт байдал: хэл, домэйн, формат (текст, зураг гэх мэт)-ын олон талт байдлыг хангах
• Цэвэршүүлэлт: шуугианыг арилгах, чанарын хяналт хийх, давхардсан/хортой өгөгдлийг шүүх
• Лиценз: зохиогчийн эрх болон өгөгдөл ашиглах эрхийг тодорхой болгох

Их хэмжээний тооцооллын дэд бүтэц

• Өндөр хүчин чадлын GPU/TPU кластер: мянгаас хэдэн арван мянган зангилааны төхөөрөмжийг нэгтгэн, их хэмжээний тархмал сургалтыг дэмжих технологи
• Үр ашигтай тархмал сургалтын фреймворк: DeepSpeed, Megatron-LM, Ray зэрэг
• Хадгалалт/сүлжээ: их хэмжээний өгөгдөл оруулах, гаргах болон өндөр хурдны сүлжээний орчин

Загварын архитектурын зохион бүтээлт

• Орчин үеийн архитектурыг тусгах: Transformer, MoE(Mixture of Experts), мультимодал зэрэг
• Өргөтгөх боломж: параметрийн тоо, давхаргын тоо, оролтын урт зэрэг өргөтгөх боломжийг харгалзан үзэх
• Үр ашиг: сургалт/дүгнэлтийн хурд, санах ойн хэрэглээг оновчлох

Сургалтын стратеги ба алгоритм

• Урьдчилсан сургалтын зорилго: хэлний загвар (жишээ нь, next token prediction), мультимодал (жишээ нь, contrastive learning) зэрэг
• Оновчлолын арга: mixed precision, gradient accumulation, learning rate schedule зэрэг
• Нормчлол/тогтворжуулалт: dropout, layer norm, weight decay зэрэг

Үнэлгээ ба баталгаажуулалтын тогтолцоо

• Бенчмаркийн багц: стандарт өгөгдлийн багц (Benchmarks) ашиглах
• Дотоод үнэлгээ: бодит хэрэглээний хувилбарт үндэслэн үнэлэх
• Тасралтгүй хяналт: сургалтын явцад/дараа чанар, хазайлт, аюулгүй байдлыг шалгах

Хүний нөөц ба байгууллагын чадавх

• AI/ML судлаач: загварын дизайн, алгоритм боловсруулах
• Өгөгдлийн инженер: өгөгдөл цуглуулах/цэвэрлэх/удирдах
• Дэд бүтцийн инженер: тархмал систем, үүлэн/дотоодын дэд бүтцийн удирдлага
• Төслийн менежер: хуваарь, төсөв, чанарын удирдлага

Ёс зүй·хууль эрх зүй·аюулгүй байдлын асуудал

• AI ёс зүй: хазайлт, аюулгүй байдал, ил тод байдал, хариуцлага
• Хууль эрх зүйн нийцэл: хувийн мэдээлэл, зохиогчийн эрх, өгөгдлийн бүрэн эрх
• Аюулгүй байдал: өгөгдөл/загвар алдагдахаас сэргийлэх, хандалтын хяналт

Одоогоор дэлхий даяар AI судалгааны боловсон хүчин ойролцоогоор 2,000 хүн байгаа бөгөөд тэдний ихэнх нь META, Google, XAI зэрэг технологийн томоохон компаниудад төвлөрч байна. Дотооддоо өгөгдөл цуглуулахаас эхлээд их хэмжээний сургалтын дэд бүтэц хүртэл бүхнийг бие даан төлөвлөж, Foundation model бүтээж чадах баг тун ховор байна.

3. Цөөн хүний нөөцөөр хэт том хэлний загвар бүтээх.

Төлөөлөн удирдах захирал И Хван-у deep learning болон machine learning-ийг 10 гаруй жил судалсан туршлагадаа тулгуурлан, 3 жилийн өмнө “дэлхийн шилдэг AI-г бүтээнэ” гэсэн зорилгоор компани (CLEVI)-ийг байгуулжээ.

Компанийн өөрийн өгөгдлийн дамжуулах шугамыг байгуулах, их хэмжээний тархмал deep learning дэд бүтцийг төлөвлөх, загварын архитектур боловсруулах, чанарыг баталгаажуулах зэрэг бүх үйл явцыг өөрөө төлөвлөж, Foundation Model боловсруулахад шаардлагатай чадавхыг бүрдүүлжээ.

Олон удаагийн загварын сургалтын үр дүнд бид одоо дэлхийн шилдэг түвшний загваруудтай өрсөлдөхүйц Clevi-5-x загварыг эзэмшиж байна.

Хэт том хэлний загварыг үр дүнтэй сургахын тулд хэдэн зуугаас хэдэн мянган GPU-г кластер болгон холбож, секундэд квадриллион тооны тооцооллыг зэрэг боловсруулах чадвартай дэд бүтэц шаардлагатай. Энэ үйл явцад том хэмжээний тархмал орчин дахь тооцооллын синхрончлол болон харилцаа холбооны саатлыг багасгах технологи гол үүрэгтэй. Өнөөг хүртэл дотоодын компаниудад “нарийн хяналтын алгоритм” байгаагүй тул ихэнх нь загварыг зохих ёсоор сургаж чадаагүй. CLEVI-ийн төлөөлөн удирдах захирал И Хван Хо энэхүү бие даасан тархмал тооцооллын хяналтын алгоритмыг өөрсдөө хөгжүүлснээр, дотоодод анх удаа 1.4 их наяд (1.4 Trillion) параметрийн хэмжээтэй хэт том хэлний загварыг амжилттай сургасан.

4. Цөөн хөгжүүлэгчийн бүрэлдэхүүнтэйгээр төрөл бүрийн загвар хөгжүүлэх боломжтой болсон шалтгаан

Ихэнх том технологийн компаниуд том хэмжээний дэд бүтцийн хяналт болон өгөгдөл цэвэршүүлэх технологийг мөн эзэмшдэг.

Үүнийг удирдахын тулд хэдэн зуугаас хэдэн мянган судлаач шаардлагатай.

Гэсэн хэдий ч CLEVI цөөн судлаачийн бүрэлдэхүүнтэйгээр төрөл бүрийн загвар хөгжүүлж, эзэмшиж байна.

Энэ хэрхэн боломжтой болсон бэ?

CLEVI нь Teacher-Student Model(Knowledge Distilation) технологийн тусламжтайгаар цөөн ажилтнаар төрөл бүрийн загвар хөгжүүлж, эзэмшиж байна.

Тэгвэл Teacher-Student технологийг авч үзье.

Teacher-Student(Мэдлэгийн нэрэлт)

Teacher-Student технологи нь энгийнээр хэлбэл хэт том хэлний загвар (Teacher Model)-аар хүүхэд загвар (Student Model)-ыг үнэлж, санал хүсэлт өгснөөр цөөн ажилтнаар хэдэн зуун судлаачийг орлуулж, төрөл бүрийн загварыг хурдан хөгжүүлэх технологи юм.

• Mother Model(хэт том загвар) нь төрөл бүрийн салбарын загваруудыг үнэлж, санал хүсэлт өгснөөр хэдэн зуун судлаачийг орлодог.
• Энэ аргаар Clevi-x-platform-ээр дамжуулан сургалт явуулбал Reasoning, VLM, Physical AI, Coding Agent зэрэг өндөр гүйцэтгэлтэй загваруудыг 10–15 хоногийн дотор сургаж, байршуулж болно.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Харааны хэлний загвар

Аюулгүй байдлын агент

5. Clevi-x-platform-ийн технологи, чанарын ялгарал

Загварын гүйцэтгэл, өргөжүүлэх боломж

• Дүгнэлт хийх (CoT/Reasoning) давуу тал: cip-5-x нь үе шаттай логик дэвшүүлэлт, үндэслэл гаргалтыг дизайны философидоо тусгасан бөгөөд шинжлэх ухаан, математик, инженерчлэлийн асуудлыг шийдвэрлэхэд өндөр найдвартай тооцоолол, тайлбарлах чадварыг харуулдаг. Дотоодын бенчмаркийн шалгуураар GPT-5 түвшнээс дээших гүйцэтгэл, чадавхыг зорилго болгон боловсруулж, ажиллуулж байгаа бөгөөд ижил промптын нөхцөл дэх давтагдах чадвар, баталгаажуулах боломжийг чанарын үндсэн үзүүлэлтээр удирддаг.

• Мультимодалын бүрэн спектр: Зорилгод чиглэсэн VLM(cip-5-vision), их хэмжээний мультимодал боловсруулалтын загвар (ivy-4-mm), хөнгөн, төхөөрөмж дээр ажиллах (ivy-3-text) загваруудыг нэг платформ дээр үйлдвэрлэн хослуулснаар даалгаврын онцлогт (хайлт/ангилал/хураангуйлал болон дүгнэлт/тайлбар/гүйцэтгэл) тохирсон оновчтой хослолыг сонгох боломжтой.

Энтерпрайзын хэрэглээнд нийцэх байдал

• Байгууллагын дотоод орчны аюулгүй байдал, хүртээмж: Тусгаарлагдсан сүлжээний бүх үе шатанд (оролт-сургалт-үйлчилгээ-нөөцлөлт) ажиллуулах, HA дизайн, модулийн өргөтгөл, SVCE(тусгаарлагдсан аюулгүй гүйцэтгэлийн орчин)-өөр өгөгдөл болон загварын параметрүүдийг тусад нь хамгаална.
• Хурдан нэвтрүүлэлт, өргөжүүлэлт: Ivy Chat(ажлын зориулалттай мультимодал харилцан яриа/агент), API Platform(дэлхийн стандарт SaaS)-аар хурдан хэрэгжүүлэлт, ашиглалтыг дэмжинэ.

Физик AI(Physical AI)-ийн ялгарал

• NVIDIA Isaac-д суурилсан симуляци болон хувьслын зарчимд суурилсан бататгах сургалт (Evolutionary RL)-ыг хослуулж, Sim2Real шилжилт болон синтетик өгөгдлийн зэрэгцээ сургалтаар сургалтын үр ашиг, бодит орчинд дасан зохицох чадварыг нэмэгдүүлсэн. Дижитал орчноос роботын сургалт, нэвтрүүлэлт хүртэлх бүх үе шатыг хамардаг тал нь орлуулах хувилбар ховор байдаг.

Үйлчилгээний чанар, засаглал

• Загвар, промпт, хэрэгслийн хувилбарын удирдлага, үнэлгээний сьют (солонгос, англи хэл дээрх мэдлэг, салбар тус бүрийн даалгавар, хий үзэгдэл, аюулгүй байдлын үзүүлэлт), өөрчлөлтийн удирдлага (SLO/SLA), ашиглалтын ажиглалт (латент байдал, амжилтын хувь, TCO)-ыг нэг платформын журмаар удирдана.

Одоогоор Өмнөд Солонгост 300 гаруй AI загварын үйлчилгээний компани байдаг боловч

Өндөр гүйцэтгэлтэй, өөрийн суурь загвараар дамжуулан байгууллагын дотоод орчин болон үүлэн үйлчилгээг нэгэн зэрэг үзүүлэх боломжтой газар нь Клеви цорын ганц юм.

6. Хэлний загварыг салбарт ашиглах арга

AI нэвтрүүлэлт нь ихээхэн хөрөнгө оруулалт болон нарийн шалгалт шаарддаг тул тухайн шийдэл үнэхээр байгууллагад ашиг тустай эсэхийг шууд харьцуулж, туршиж үзэх үйл явц зайлшгүй чухал юм.

• CLEVI нь зөвхөн загвар бүтээхээр хязгаарлагдахгүй, бодит үйлдвэрлэлийн орчинд хэрэгжүүлэх боломжтой AI шийдлүүдийг санал болгодог.
• Тухайлбал, Ivy Chat Platform, Clevi API Platform, салбар тус бүрийн тохируулга, аюулгүй байдлын шаардлагад нийцүүлэх зэрэг энтерпрайз сувгийн бүх боломжийг бүрдүүлсэн.
• Физик AI, робот техник, мультимодал өгөгдөл боловсруулах зэрэг дотоод, гадаадын аль алинд нь ховор тохиолдох технологийн чадавхтай.

CLEVI нь AI-ийг ‘зорилго’ бус ‘хэрэгсэл’ болгон ашиглаж, бодит ажлын үр ашиг болон салбарын инновацид хувь нэмэр оруулах бодитой AI шийдлүүдийг санал болгодог.Жинхэнэ From-scratch Foundation загварын ялгааг өөрийн биеэр мэдрээрэй.

Лавлагаа болон демо хүсэлт: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.