From-scratch Foundation Model CLEVI AI(ivy)

«Ինչպե՞ս կարողացավ փոքր ընկերությունը ստեղծել համաշխարհային մակարդակի գեներատիվ AI լեզվական մոդել»

Ինչպե՞ս ստեղծեց փոքր ստարտափը գեներատիվ լեզվական մոդել։

Սա ամենահաճախ ստացված հարցն է այն բանից հետո, երբ CLEVI-ն հրապարակեց 1,4 տրիլիոն պարամետր ունեցող Foundation մոդելը։

Ի տարբերություն բազմաթիվ ընկերությունների, որոնք պարզապես ֆայն-թյունինգ են կատարում բաց կոդով մոդելների վրա, CLEVI-ն ինքնուրույն իրականացրել է ամբողջ գործընթացը՝ տվյալների հավաքագրումից, մոդելի նախագծումից և լայնածավալ բաշխված ուսուցումից մինչև որակի ստուգում։

Ստորև մանրամասն ներկայացնում ենք այդ գաղտնիքն ու մրցակցային առավելությունները։

1. Փոքր ընկերությունը ստեղծո՞ւմ է գեներատիվ լեզվական մոդել։

2025 թվականի հուլիսին, երբ CLEVI-ն շուկային ներկայացրեց իր կողմից մշակված գեներատիվ լեզվական մոդելը, բազմաթիվ հաճախորդներ (օգտատերեր) զարմանքով և կասկածով սկսեցին քննարկել․ «Իսկապե՞ս այն ինքնուրույն է մշակվել»։ «Գուցե պարզապես մի փոքր փոփոխե՞լ են բաց կոդով մոդելը»։

Իրականում, բազմաթիվ տեղական և արտասահմանյան ընկերություններ պարզապես փոխանցման ուսուցում (fine-tuning) են կիրառում բաց կոդով մոդելների նկատմամբ և այն ներկայացնում որպես սեփական մոդել։

Սակայն CLEVI-ն ներկայացրեց **«From-scratch Foundation Model»**-ը։

Այսինքն՝ ամբողջ գործընթացը՝ տվյալների հավաքագրումից, մոդելի նախագծումից և լայնածավալ բաշխված ուսուցումից մինչև որակի ստուգում, նախագծվել և իրականացվել է անմիջականորեն իրենց կողմից։

2. Գեներատիվ լեզվական մոդելի մշակման դժվարության պատճառները

From-Scratch Foundation Model-ը ուսուցանելու համար անհրաժեշտ է ուսուցանել ստորև նշված բոլոր բաղադրիչները։

Անհրաժեշտ է լայնածավալ, բարձրորակ տվյալների հավաքածու

• Բազմազանություն․ լեզուների, տիրույթների և ձևաչափերի (տեքստ, պատկեր և այլն) բազմազանության ապահովում
• Մաքրում․ աղմուկի հեռացում, որակի վերահսկում, կրկնվող/վնասակար տվյալների զտում
• Լիցենզավորում․ հեղինակային իրավունքի և տվյալների օգտագործման իրավունքի հստակեցում

Լայնածավալ հաշվողական ենթակառուցվածք

• Բարձր արդյունավետությամբ GPU/TPU կլաստեր․ հազարավորից մինչև տասնյակ հազարավոր հանգույցների սարքավորումների ինտեգրում՝ լայնածավալ բաշխված ուսուցմանն աջակցելու համար
• Բաշխված ուսուցման արդյունավետ շրջանակներ․ DeepSpeed, Megatron-LM, Ray և այլն
• Պահեստավորում/ցանց․ մեծածավալ տվյալների մուտքագրում և ելք, արագ ցանցային միջավայր

Մոդելի ճարտարապետության նախագծում

• Արտացոլել վերջին ճարտարապետությունները՝ Transformer, MoE (Mixture of Experts), մուլտիմոդալ և այլն
• Սքեյլաբիլություն՝ հաշվի առնել ընդլայնելիությունը՝ պարամետրերի քանակ, շերտերի քանակ, մուտքի երկարություն և այլն
• Արդյունավետություն՝ օպտիմալացնել ուսուցման/եզրակացության արագությունը և հիշողության օգտագործումը

Ուսուցման ռազմավարություններ և ալգորիթմներ

• Նախնական ուսուցման նպատակ՝ լեզվական մոդելներ (օրինակ՝ next token prediction), մուլտիմոդալ մոդելներ (օրինակ՝ contrastive learning) և այլն
• Օպտիմալացման մեթոդներ՝ mixed precision, gradient accumulation, learning rate schedule և այլն
• Նորմալացում/կայունացում՝ dropout, layer norm, weight decay և այլն

Գնահատման և վավերացման համակարգ

• Հենանիշների հավաքածու՝ օգտագործել ստանդարտ տվյալների հավաքածուներ (Benchmarks)
• Ներքին գնահատում՝ գնահատում իրական օգտագործման սցենարների հիման վրա
• Շարունակական մշտադիտարկում՝ ուսուցման ընթացքում/դրանից հետո որակի, կողմնակալության և անվտանգության ստուգում

Մարդկային ռեսուրսներ և կազմակերպական կարողություններ

• AI/ML հետազոտողներ՝ մոդելների նախագծում, ալգորիթմների մշակում
• Տվյալների ինժեներներ՝ տվյալների հավաքում/մաքրում/կառավարում
• Ենթակառուցվածքների ինժեներներ՝ բաշխված համակարգերի, ամպային/տեղային ենթակառուցվածքների կառավարում
• Նախագծերի ղեկավարներ՝ ժամանակացույցի, բյուջեի և որակի կառավարում

Էթիկական, իրավական և անվտանգության նկատառումներ

• AI-ի էթիկա՝ կողմնակալություն, անվտանգություն, թափանցիկություն, հաշվետվողականություն
• Իրավական համապատասխանություն՝ անձնական տվյալներ, հեղինակային իրավունք, տվյալների ինքնիշխանություն
• Անվտանգություն՝ տվյալների/մոդելների արտահոսքի կանխում, հասանելիության վերահսկում

Ներկայում ամբողջ աշխարհում AI-ի հետազոտողների թիվը մոտ 2,000 է, և նրանց մեծ մասը կենտրոնացած է խոշոր տեխնոլոգիական ընկերություններում, ինչպիսիք են META-ն, Google-ը և XAI-ն։ Երկրում չափազանց քիչ են այն թիմերը, որոնք կարող են ինքնուրույն նախագծել ամեն ինչ՝ տվյալների հավաքումից մինչև լայնածավալ ուսուցման ենթակառուցվածք, և ստեղծել Foundation մոդել։

3. Սահմանափակ մարդկային ռեսուրսներով ստեղծել հսկայական լեզվական մոդել։

Ավելի քան 10 տարի deep learning և machine learning ուսումնասիրելու փորձի հիման վրա՝ Ի Հվանհոն 3 տարի առաջ հիմնադրեց ընկերությունը (CLEVI)՝ «ստեղծել աշխարհի լավագույն AI-ն» նպատակով։

Ընկերության սեփական տվյալների խողովակաշարի կառուցումից, լայնածավալ բաշխված deep learning ենթակառուցվածքի նախագծումից և մոդելի ճարտարապետության մշակումից մինչև որակի վավերացում՝ նա բոլոր գործընթացները նախագծեց ինքնուրույն և ձեռք բերեց Foundation Model-ի մշակման համար անհրաժեշտ կարողությունները։

Մոդելը բազմիցս ուսուցանելու արդյունքում այժմ մենք ունենք Clevi-5-x մոդելը, որը կարող է մրցակցել աշխարհի լավագույն մակարդակի մոդելների հետ։

Գերխոշոր լեզվական մոդելներն արդյունավետ ուսուցանելու համար անհրաժեշտ է ենթակառուցվածք, որը հարյուրավորից մինչև հազարավոր GPU-ներ միացնում է կլաստերի և կարող է միաժամանակ մշակել վայրկյանում հասնող հսկայական թվով հաշվարկներ։ Այս գործընթացում առանցքային նշանակություն ունեն լայնածավալ բաշխված միջավայրում հաշվարկների համաժամացման և հաղորդակցության ուշացումները նվազագույնի հասցնելու տեխնոլոգիաները։ Մինչ այժմ Հարավային Կորեայում «ճշգրիտ կառավարման ալգորիթմի» բացակայության պատճառով ընկերությունների մեծ մասը չէր կարողանում պատշաճ կերպով ուսուցանել մոդելներ։ Կլեվիի գործադիր տնօրեն Ի Հվանհոն, ինքնուրույն մշակելով բաշխված հաշվարկների կառավարման այս եզակի ալգորիթմը, Հարավային Կորեայում առաջինն է հաջողությամբ ավարտել 1,4 տրիլիոն (1.4 Trillion) պարամետր ունեցող գերխոշոր լեզվական մոդելի ուսուցումը։

4. Ինչու էր հնարավոր փոքրաթիվ մշակողների միջոցով մշակել տարբեր մոդելներ

Նույնիսկ խոշոր տեխնոլոգիական ընկերությունների մեծ մասն ունի լայնածավալ ենթակառուցվածքների կառավարման և տվյալների մաքրման տեխնոլոգիաներ։

Դրանք կառավարելու համար անհրաժեշտ են հարյուրավորից մինչև հազարավոր հետազոտողներ։

Սակայն Կլեվին փոքրաթիվ հետազոտողների միջոցով մշակում և տիրապետում է տարբեր մոդելների։

Ինչպե՞ս էր դա հնարավոր։

Կլեվին Teacher-Student Model(Knowledge Distilation) տեխնոլոգիայի միջոցով փոքրաթիվ աշխատակիցներով մշակում և տիրապետում է տարբեր մոդելների։

Այժմ դիտարկենք Teacher-Student տեխնոլոգիան։

Teacher-Student(գիտելիքի թորում)

Teacher-Student տեխնոլոգիան, պարզ ասած, տեխնոլոգիա է, որի միջոցով գերխոշոր լեզվական մոդելը (Teacher Model) գնահատում և հետադարձ կապ է տրամադրում ժառանգ մոդելին (Student Model), ինչի շնորհիվ փոքրաթիվ աշխատակիցները կարող են փոխարինել հարյուրավոր հետազոտողների և արագ մշակել տարբեր մոդելներ։

• Mother Model(գերխոշոր մոդելը) գնահատում և հետադարձ կապ է տրամադրում տարբեր ոլորտների մոդելներին՝ փոխարինելով հարյուրավոր հետազոտողների։
• Եթե այս եղանակով ուսուցումն իրականացվի Clevi-x-platform-ի միջոցով, ապա բարձր արդյունավետությամբ Reasoning, VLM, Physical AI, Coding Agent և այլ մոդելներ հնարավոր է ուսուցանել և տեղակայել ընդամենը 10–15 օրում։

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Անվտանգության գործակալ

5. Clevi-x-platform-ի տեխնոլոգիական և որակական տարբերակիչ հատկանիշները

Մոդելի արդյունավետություն և ընդլայնելիություն

• Եզրահանգման (CoT/Reasoning) առավելություն․ cip-5-x-ը փուլային տրամաբանության զարգացումն ու հիմնավորումների ներկայացումը ներառել է իր նախագծման փիլիսոփայության մեջ՝ գիտական, մաթեմատիկական և ինժեներական խնդիրների լուծման ժամանակ ցուցադրելով բարձր հուսալիության հաշվարկային և մեկնաբանման կարողություններ։ Ներքին բենչմարքերի հիման վրա այն նախագծվում և շահագործվում է՝ նպատակ ունենալով ապահովել GPT-5 մակարդակի կամ ավելի բարձր կատարողականություն, իսկ նույն հուշման պայմաններում վերարտադրելիությունն ու ստուգելիությունը կառավարվում են որպես հիմնական որակի ցուցանիշներ։

• Մուլտիմոդալության ամբողջ սպեկտրը․ նպատակաուղղված VLM-ը (cip-5-vision), մեծածավալ մուլտիմոդալ մշակման մոդելը (ivy-4-mm) և թեթև, սարքի վրա աշխատող մոդելը (ivy-3-text) մեկ հարթակում արտադրելով և համադրելով՝ հնարավոր է ընտրել օպտիմալ համակցություն՝ ըստ առաջադրանքի բնույթի (որոնում/դասակարգում/ամփոփում ընդդեմ եզրահանգման/բացատրության/կատարման)։

Ձեռնարկությունների կիրառելիություն

• Տեղային տեղակայման անվտանգություն և հասանելիություն․ փակ ցանցում ամբողջ գործընթացի (մուտքագրում-ուսուցում-ծառայություն-պահուստավորում) գործարկում, HA նախագծում, մոդուլային ընդլայնում և SVCE-ի (մեկուսացված անվտանգ կատարման միջավայր) միջոցով տվյալների ու մոդելի պարամետրերի առանձին պաշտպանություն։
• Արագ ներդրում և ընդլայնում․ Ivy Chat-ի (աշխատանքային մուլտիմոդալ երկխոսություն/ագենտ) և API Platform-ի (գլոբալ ստանդարտ SaaS) միջոցով աջակցում է արագ կիրառմանն ու շահագործմանը։

Ֆիզիկական AI-ի (Physical AI) տարբերակիչ առանձնահատկությունը

• NVIDIA Isaac-ի վրա հիմնված սիմուլյացիայի և էվոլյուցիոն հիմքով ամրապնդման ուսուցման (Evolutionary RL) համադրումը, Sim2Real անցումը և սինթետիկ տվյալների զուգահեռ ուսուցումը բարձրացրել են ուսուցման արդյունավետությունն ու իրական միջավայրին հարմարվելու կարողությունը։ Այն, որ լուծումն ընդգրկում է թվային և ռոբոտատեխնիկական ուսուցումից մինչև տեղակայում ամբողջ շղթան, հազվադեպ է հանդիպում այլընտրանքային լուծումներում։

Ծառայության որակ և կառավարում

• Մոդելների/հուշումների/գործիքների տարբերակների կառավարումը, գնահատման փաթեթները (կորեերեն և անգլերեն գիտելիքներ, ոլորտային առաջադրանքներ, հալյուցինացիաների և անվտանգության ցուցանիշներ), փոփոխությունների կառավարումը (SLO/SLA) և շահագործման դիտարկումը (լատենտություն/հաջողության մակարդակ/TCO) կառավարվում են մեկ հարթակի ընթացակարգով։

Ներկայումս Հարավային Կորեայում գործում է AI մոդելների ծառայություններ մատուցող ավելի քան 300 ընկերություն, սակայն

Կլեվին միակ ընկերությունն է, որը բարձր կատարողականությամբ սեփական ֆաունդեյշն մոդելների միջոցով կարող է միաժամանակ տրամադրել տեղային տեղակայման և ամպային ծառայություններ։

6. Լեզվական մոդելների կիրառման եղանակներն արդյունաբերության մեջ

Քանի որ AI-ի ներդրումը պահանջում է հսկայական ներդրումներ և մանրակրկիտ վավերացում, անհրաժեշտ է անմիջականորեն համեմատել և փորձարկել լուծումները՝ համոզվելու համար, որ դրանք իրականում օգտակար են ձեռնարկության համար։

• CLEVI-ն պարզապես մոդելներ չի ստեղծում, այլ տրամադրում է AI լուծումներ, որոնք կարող են կիրառվել իրական արդյունաբերական միջավայրում։
• Օրինակ՝ այն ունի ձեռնարկությունների համար նախատեսված ամբողջական առաջարկ՝ ներառյալ Ivy Chat Platform, Clevi API Platform, ոլորտային հարմարեցում և անվտանգության պահանջներին համապատասխանություն։
• CLEVI-ն ունի տեխնոլոգիական կարողություններ, որոնք դժվար է գտնել թե՛ տեղական, թե՛ միջազգային շուկայում, այդ թվում՝ ֆիզիկական AI, ռոբոտաշինություն և մուլտիմոդալ տվյալների մշակում։

CLEVI-ն տրամադրում է իրական AI լուծումներ, որոնք AI-ն դիտարկում են ոչ թե որպես «նպատակ», այլ որպես «միջոց»՝ նպաստելով աշխատանքի արդյունավետության բարձրացմանը և արդյունաբերական նորարարությանը։ Անմիջականորեն զգացեք իսկական From-scratch Foundation մոդելի տարբերակիչ առավելությունները։

Հարցումներ և դեմոյի հայտեր՝ [email protected]

Հեղինակային իրավունք© 2025 Clevi Inc. Բոլոր իրավունքները պաշտպանված են։