From-scratch Foundation Model Клеви AI(ivy)

«Шағын компания қалайша әлемдік деңгейдегі аса ірі AI тіл моделін жасай алды?»

Шағын стартап аса ірі тіл моделін қалай жасады?

Бұл — Клеви 1,4 триллион параметрлі Foundation моделін жариялағаннан кейін ең көп қойылған сұрақ.

Көптеген компаниялар ашық бастапқы кодты модельдерді жай ғана fine-tuning әдісімен бейімдесе, Клеви деректерді жинаудан бастап модельді жобалау, ауқымды үлестірілген оқыту және сапаны тексеруге дейінгі барлық процесті өз бетінше орындады.

Төменде осының құпиясы мен бәсекелік артықшылықтары егжей-тегжейлі таныстырылады.

1. Шағын компания аса ірі тіл моделін жасай ала ма?

2025 жылғы шілдеде Клеви өзі әзірлеген аса ірі тіл моделін нарыққа ұсынғанда, көптеген клиенттер (пайдаланушылар) таңданыс пен күмәнға толы пікірлерін білдірді. «Бұл шынымен өздері әзірлеген модель ме?» «Ашық бастапқы кодты модельді сәл ғана өзгерткен жоқ па?»

Шын мәнінде, елдегі және шетелдегі көптеген компаниялар ашық бастапқы кодты модельдерге жай ғана transfer learning (fine-tuning) қолданып, оны өз моделі ретінде таныстырады.

Алайда Клеви **«From-scratch Foundation Model»** ұстанымын алға тартты.

Яғни деректерді жинаудан бастап модельді жобалау, ауқымды үлестірілген оқыту және сапаны тексеруге дейінгі барлық процесті өзі жобалап, жүзеге асырды.

2. Аса ірі тіл моделін әзірлеу неге қиын?

From-Scratch Foundation Model моделін оқыту үшін төменде көрсетілген тармақтардың барлығын меңгеру қажет.

Ауқымды әрі жоғары сапалы деректер жиынтығы қажет

• Әртүрлілік: тілдер, домендер және форматтар (мәтін, сурет және т.б.) бойынша әртүрлілікті қамтамасыз ету
• Тазарту: шуды жою, сапаны бақылау, қайталанатын/зиянды деректерді сүзу
• Лицензиялау: авторлық құқық пен деректерді пайдалану құқықтарын нақтылау

Ауқымды есептеу инфрақұрылымы

• Жоғары өнімді GPU/TPU кластері: мыңдаған немесе ондаған мың түйіннен тұратын жабдықты біріктіріп, ауқымды үлестірілген оқытуды қолдау технологиясы
• Тиімді үлестірілген оқыту фреймворктері: DeepSpeed, Megatron-LM, Ray және т.б.
• Сақтау жүйесі/желі: үлкен көлемдегі деректерді енгізу-шығару және жоғары жылдамдықты желі ортасы

Модель архитектурасын жобалау

• Заманауи архитектураларды қамту: Transformer, MoE(Mixture of Experts), мультимодалдылық және т.б.
• Масштабталу: параметрлер саны, қабаттар саны, енгізу ұзындығы және т.б. кеңейту мүмкіндіктерін ескеру
• Тиімділік: оқыту/инференс жылдамдығын және жадты пайдалануды оңтайландыру

Оқыту стратегиялары мен алгоритмдері

• Алдын ала оқыту мақсаты: тілдік модельдер (мысалы, next token prediction), мультимодалдылық (мысалы, contrastive learning) және т.б.
• Оңтайландыру әдістері: mixed precision, gradient accumulation, learning rate schedule және т.б.
• Нормализация/тұрақтандыру: dropout, layer norm, weight decay және т.б.

Бағалау және валидация жүйесі

• Бенчмарк жиынтықтары: стандартты деректер жиынтықтарын (Benchmarks) пайдалану
• Ішкі бағалау: нақты пайдалану сценарийлеріне негізделген бағалау
• Үздіксіз мониторинг: оқыту кезіндегі/оқытудан кейінгі сапаны, бұрмаланушылықты және қауіпсіздікті тексеру

Кадрлық және ұйымдық әлеует

• AI/ML зерттеушілері: модельдерді жобалау, алгоритмдерді әзірлеу
• Деректер инженерлері: деректерді жинау/тазарту/басқару
• Инфрақұрылым инженерлері: үлестірілген жүйелерді, бұлттық/жергілікті инфрақұрылымды басқару
• Жоба менеджерлері: мерзімдерді, бюджетті және сапаны басқару

Этикалық, құқықтық және қауіпсіздік мәселелері

• AI этикасы: бұрмаланушылық, қауіпсіздік, ашықтық, жауапкершілік
• Құқықтық талаптарды сақтау: дербес деректер, авторлық құқық, деректер егемендігі
• Қауіпсіздік: деректердің/модельдердің сыртқа шығып кетуіне жол бермеу, қолжетімділікті бақылау

Қазіргі уақытта бүкіл әлемдегі AI зерттеушілерінің саны шамамен 2 000 адамды құрайды, олардың басым бөлігі META, Google, XAI сияқты ірі технологиялық компанияларда шоғырланған. Оңтүстік Кореяда деректерді жинаудан бастап ауқымды оқыту инфрақұрылымына дейін барлығын өз бетінше жобалап, Foundation моделін жасай алатын командалар өте сирек.

3. Аз адаммен аса ірі тіл моделін жасау.

Бас директор И Хванхо 10 жылдан астам уақыт бойы deep learning және machine learning салаларын зерттеген тәжірибесіне сүйене отырып, 3 жыл бұрын «әлемдегі ең үздік AI жасаймын» деген мақсатпен компанияны (Клеви) құрды.

Компанияның өз деректер құбырының құрылуы, ауқымды үлестірілген deep learning инфрақұрылымын жобалау, модель архитектурасын әзірлеу, сапаны тексеру сияқты барлық процестерді өзі жобалап, Foundation Model әзірлеуге қажетті құзыреттерге ие болды.

Модельді бірнеше рет оқытудың нәтижесінде қазір әлемдегі ең үздік деңгейдегі модельдермен бәсекелесе алатын Clevi-5-x моделіне ие болды.

Үлкен тілдік модельдерді тиімді оқыту үшін жүздегеннен бірнеше мыңға дейінгі GPU-ды кластерге біріктіріп, секундына квадриллиондаған операцияны бір уақытта өңдей алатын инфрақұрылым қажет. Бұл үдерісте ауқымды таратылған ортадағы есептеулерді синхрондау және байланыс кідірісін барынша азайту технологиялары шешуші рөл атқарады. Осы уақытқа дейін ел ішінде «дәл басқару алгоритмдері» болмағандықтан, кәсіпорындардың көпшілігі модельдерді тиісті деңгейде оқыта алмады. Clevi компаниясының бас директоры Ли Хванхо осындай бірегей таратылған есептеулерді басқару алгоритмін өз ішінде әзірлеу арқылы елде алғаш рет 1,4 триллион (1.4 Trillion) параметрлік үлкен тілдік модельді сәтті оқытты.

4. Аз ғана әзірлеуші мамандармен әртүрлі модельдерді әзірлеу мүмкіндігінің себебі

Көптеген ірі технологиялық компанияларда да ауқымды инфрақұрылымды басқару және деректерді тазарту технологиялары бар.

Оларды басқару үшін жүздегеннен бірнеше мыңға дейін зерттеуші қажет.

Алайда Clevi аз ғана зерттеушімен әртүрлі модельдерді әзірлеп, иеленіп отыр.

Бұл қалай мүмкін болды?

Clevi Teacher-Student Model(Knowledge Distilation) технологиясы арқылы аз ғана маманмен әртүрлі модельдерді әзірлеп, иеленіп отыр.

Ендеше, Teacher-Student технологиясын қарастырып көрейік.

Teacher-Student(білімді дистилляциялау)

Teacher-Student технологиясы қарапайым тілмен айтқанда, үлкен тілдік модель (Teacher Model) арқылы туынды модельді (Student Model) бағалап, кері байланыс беру негізінде аз ғана маманның көмегімен жүздеген зерттеушіні алмастырып, әртүрлі модельдерді жылдам әзірлеуге мүмкіндік беретін технология.

• Mother Model(үлкен модель) әртүрлі салалардағы модельдерді бағалап, кері байланыс береді және жүздеген зерттеушіні алмастырады.
• Егер осы әдіспен Clevi-x-platform арқылы оқыту жүргізілсе, Reasoning, VLM, Physical AI, Coding Agent сияқты жоғары өнімді модельдерді 10~15 күн ішінде оқытып, қолданысқа енгізуге болады.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Қауіпсіздік агенті

5. Clevi-x-platform технологиясы мен сапасының ерекшелігі

Модель өнімділігі мен масштабталуы

• Ой қорыту (CoT/Reasoning) артықшылығы: cip-5-x кезеңдік логикалық пайымдау мен дәлел келтіруді жобалау философиясына енгізіп, ғылыми, математикалық және инженерлік мәселелерді шешуде жоғары сенімді есептеу және түсіндіру қабілетін көрсетеді. Ішкі бенчмарк нәтижелеріне сүйене отырып, GPT-5 деңгейінен жоғары өнімділікке бағытталып жобаланып, пайдаланылуда, ал бірдей промпт жағдайындағы қайталанғыштық пен тексерілу мүмкіндігі негізгі сапа көрсеткіші ретінде басқарылады.

• Мультимодалдылықтың толық спектрі: мақсатқа бағытталған VLM (cip-5-vision), үлкен көлемді мультимодалды өңдеу моделі (ivy-4-mm) және жеңіл, құрылғы ішінде жұмыс істейтін модельді (ivy-3-text) бір платформада өндіру және біріктіру арқылы тапсырма сипатына (іздеу/жіктеу/қорытындылау немесе пайымдау/түсіндіру/орындау) сай оңтайлы үйлесімді таңдауға болады.

Кәсіпорында қолдану мүмкіндігі

• On-premise қауіпсіздігі мен қолжетімділігі: жабық желінің барлық кезеңдерінде (енгізу-оқыту-қызмет көрсету-сақтық көшірме жасау) жұмыс істеу, HA жобалауы, модульдік кеңейту және SVCE (оқшауланған қауіпсіз орындау ортасы) арқылы деректер мен модель параметрлерін бөлек қорғайды.
• Жылдам енгізу және кеңейту: Ivy Chat (іскерлік мультимодалды диалог/агент) және API Platform (жаһандық стандарттағы SaaS) арқылы жылдам енгізу мен пайдалануды қолдайды.

Физикалық AI (Physical AI) артықшылығы

• NVIDIA Isaac негізіндегі симуляция мен эволюциялық күшейтілген оқытуды (Evolutionary RL) біріктіріп, Sim2Real трансфері және синтетикалық деректермен параллель оқыту арқылы оқыту тиімділігі мен нақты ортаға бейімделу қабілетін арттырды. Цифрлық және роботтық оқытудан бастап орналастыруға дейін қамтуы — баламалары сирек кездесетін артықшылық.

Қызмет сапасы мен басқару

• Модель, промпт және құрал нұсқаларын басқару, бағалау жиынтығын (корей және ағылшын тілдеріндегі білім, салалық тапсырмалар, галлюцинация және қауіпсіздік көрсеткіштері), өзгерістерді басқаруды (SLO/SLA) және пайдалану мониторингін (кідіріс, сәттілік деңгейі, TCO) біртұтас платформа рәсімдері арқылы басқарады.

Қазіргі уақытта Оңтүстік Кореяда шамамен 300-ден астам AI модель қызметін ұсынатын компания бар, бірақ

өнімділігі жоғары өзіндік foundation model арқылы on-premise және бұлттық қызметтерді бір уақытта ұсына алатын жалғыз компания — CLEVI.

6. Тіл модельдерін өнеркәсіпте пайдалану тәсілдері

AI енгізу қомақты инвестиция мен мұқият тексеруді қажет ететіндіктен, оның шын мәнінде кәсіпорынға пайдалы шешім екенін тікелей салыстырып, тәжірибе жүзінде сынау процесі өте маңызды.

• CLEVI жай ғана модельдер жасаумен шектелмей, нақты өнеркәсіптік ортада қолдануға болатын AI шешімдерін ұсынады.
• Мысалы, Ivy Chat Platform, Clevi API Platform, салаға бейімдеу, қауіпсіздік талаптарына сәйкестікті қамтамасыз ету сияқты кәсіпорындарға арналған арналардың толық жиынтығы бар.
• Физикалық AI, робототехника, мультимодалды деректерді өңдеу сияқты ел ішінде де, шетелде де сирек кездесетін технологиялық мүмкіндіктерге ие.

CLEVI AI-ды «мақсат» емес, «құрал» ретінде қарастырып, нақты жұмыс тиімділігі мен өнеркәсіптік инновацияға үлес қосатын AI шешімдерін ұсынады.From-scratch Foundation моделінің артықшылығын өзіңіз тікелей сезініп көріңіз.

Сұрақтар және демо сұрау: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.