From-scratch Foundation Model CLEVI AI(ivy)

“Кичинекей компания кантип дүйнөлүк деңгээлдеги ири тил моделин түзө алды?”

Чакан стартапта ири тил модели кантип түзүлдү?

CLEVI 1,4 триллион параметрдик Foundation моделин жарыялагандан кийин, бул эң көп берилген суроо болду.

Көптөгөн компаниялар ачык булактуу моделдерди жөн гана майда-чүйдөсүнө чейин окутуу менен чектелсе, CLEVI маалымат чогултуудан тартып моделди долбоорлоого, масштабдуу бөлүштүрүлүп окутууга жана сапатты текшерүүгө чейин бардык процессти өз алдынча аткарды.

Төмөндө бул сырды жана атаандаштык артыкчылыктарын кеңири тааныштырабыз.

1. Кичинекей компания ири тил моделин түзө алабы?

2025-жылдын июль айында CLEVI өзү иштеп чыккан ири тил моделин рынокко чыгарганда, көптөгөн кардарлар (колдонуучулар) таң калуу жана күмөн саноо менен дүрбөлөңгө түштү. “Бул чындап эле өз алдынча иштелип чыктыбы?” “Ачык булактуу моделди бир аз гана өзгөрткөн жокпу?”

Чынында, өлкө ичинде жана чет өлкөлөрдө көптөгөн компаниялар ачык булактуу моделдерге жөн гана transfer learning (fine-tuning) жүргүзүп, аны өздөрүнүн модели катары жарнамалаган учурлар көп болгон.

Бирок CLEVI **‘From-scratch Foundation Model’** багытын сунуштады.

Башкача айтканда, маалымат чогултуудан тартып моделди долбоорлоого, масштабдуу бөлүштүрүлүп окутууга жана сапатты текшерүүгө чейин бардык процессти өзү долбоорлоп, ишке ашырды.

2. Ири тил моделин иштеп чыгуу эмне үчүн кыйын?

From-Scratch Foundation Model моделин окутуу үчүн төмөнкү пункттардын баарын даярдоо керек.

Ири көлөмдөгү жогорку сапаттагы маалымат топтому керек

• Ар түрдүүлүк: тилдердин, домендердин жана форматтардын (текст, сүрөт ж.б.) ар түрдүүлүгүн камсыз кылуу
• Тазалоо: ызы-чууну жок кылуу, сапатты башкаруу, кайталанган/зыяндуу маалыматтарды чыпкалоо
• Лицензия: автордук укуктарды жана маалыматтарды колдонуу укуктарын тактоо

Ири масштабдагы эсептөө инфраструктурасы

• Жогорку өндүрүмдүү GPU/TPU кластерлери: миңдегенден он миңдеген түйүндөргө чейинки жабдууларды интеграциялап, чоң көлөмдөгү бөлүштүрүлүп окутууну колдоо технологиясы
• Натыйжалуу бөлүштүрүлүп окутуу алкактары: DeepSpeed, Megatron-LM, Ray ж.б.
• Сактагыч/тармак: чоң көлөмдөгү маалыматтарды киргизүү-чыгаруу, жогорку ылдамдыктагы тармак чөйрөсү

Моделдин архитектурасын долбоорлоо

• Заманбап архитектураларды чагылдыруу: Transformer, MoE(Mixture of Experts), мультимодалдуулук жана башкалар
• Масштабдуулук: параметрлердин саны, катмарлардын саны, киргизүү узундугу сыяктуу кеңейтүү мүмкүнчүлүктөрүн эске алуу
• Натыйжалуулук: окутуу/инференс ылдамдыгын жана эстутумду пайдаланууну оптималдаштыруу

Окутуу стратегиялары жана алгоритмдери

• Алдын ала окутуунун максаты: тил модели (мисалы, next token prediction), мультимодалдуулук (мисалы, contrastive learning) жана башкалар
• Оптималдаштыруу ыкмалары: mixed precision, gradient accumulation, learning rate schedule жана башкалар
• Нормалдаштыруу/туруктуулукту камсыз кылуу: dropout, layer norm, weight decay жана башкалар

Баалоо жана валидация системасы

• Бенчмарк топтому: стандарттуу маалымат топтомдорун (Benchmarks) колдонуу
• Ички баалоо: реалдуу колдонуу сценарийлерине негизделген баалоо
• Үзгүлтүксүз мониторинг: окутуу учурунда/андан кийин сапатты, бир жактуулукту жана коопсуздукту текшерүү

Кадрдык жана уюштуруучулук мүмкүнчүлүктөр

• AI/ML изилдөөчүлөрү: моделди долбоорлоо, алгоритмдерди иштеп чыгуу
• Маалымат инженерлери: маалыматтарды чогултуу/тазалоо/башкаруу
• Инфраструктура инженерлери: бөлүштүрүлгөн системаларды, булуттагы/жергиликтүү инфраструктураны башкаруу
• Долбоор менеджери: мөөнөттөрдү, бюджетти жана сапатты башкаруу

Этикалык·укуктук·коопсуздук аспектилери

• AI этикасы: бир жактуулук, коопсуздук, айкындуулук, жоопкерчилик
• Мыйзамдарды сактоо: жеке маалыматтар, автордук укук, маалымат эгемендүүлүгү
• Коопсуздук: маалыматтардын/моделдердин сыртка чыгып кетишинин алдын алуу, жеткиликтүүлүктү көзөмөлдөө

Учурда дүйнө жүзүндө AI изилдөөчүлөрүнүн саны болжол менен 2 000 адамды түзөт, алардын көпчүлүгү META, Google, XAI сыяктуу ири технологиялык компанияларда топтолгон. Өлкө ичинде маалыматтарды чогултуудан тартып ири масштабдуу окутуу инфраструктурасына чейин өз алдынча долбоорлоп, Foundation моделин түзө ала турган командалар өтө сейрек.

3. Аз сандагы кызматкерлер менен өтө чоң тил моделин түзүү.

Башкы директор Ли Хванхо 10 жылдан ашык убакыт бою deep learning жана machine learning тармактарын изилдеген тажрыйбасына таянып, мындан 3 жыл мурун «дүйнөдөгү эң мыкты AI түзөм» деген максат менен компанияны (Clevi) негиздеген.

Компаниянын өзүнүн маалыматтар конвейерин түзүү, ири масштабдуу бөлүштүрүлгөн deep learning инфраструктурасын долбоорлоо, моделдин архитектурасын иштеп чыгуу, сапатты текшерүү сыяктуу бардык процесстерди өзү долбоорлоп, Foundation Model иштеп чыгуу үчүн зарыл болгон мүмкүнчүлүктөргө ээ болду.

Моделди бир нече жолу окутуунун натыйжасында, учурда дүйнөдөгү эң мыкты деңгээлдеги моделдер менен атаандаша ала турган Clevi-5-x моделине ээ болду.

Өтө чоң тил моделдерин натыйжалуу окутуу үчүн жүздөгөндөн миңдегенге чейинки GPU'ларды кластерге бириктирип, секундасына квадриллиондогон операцияларды бир убакта иштете ала турган инфраструктура талап кылынат. Бул процессте ири масштабдагы бөлүштүрүлгөн чөйрөдө эсептөөлөрдү синхрондоштуруу жана байланыштын кечигүүсүн минималдаштыруу технологиялары негизги мааниге ээ. Буга чейин өлкө ичинде “так башкаруу алгоритмдери” болбогондуктан, көпчүлүк компаниялар моделдерди талаптагыдай үйрөтө алышкан эмес. Clevi компаниясынын башкы директору Ли Хван Хо мындай өз алдынча бөлүштүрүлгөн эсептөөлөрдү башкаруу алгоритмин өз күчү менен иштеп чыгып, өлкөдө биринчи жолу 1,4 триллион (1.4 Trillion) параметр өлчөмүндөгү өтө чоң тил моделин үйрөтүүгө жетишти.

4. Аз сандагы иштеп чыгуучулар менен ар түрдүү моделдерди иштеп чыгууга мүмкүнчүлүк берген себеп

Көпчүлүк Big Tech компанияларында да ири масштабдагы инфраструктураны башкаруу жана маалыматтарды тазалоо технологиялары бар.

Аларды башкаруу үчүн жүздөгөндөн миңдегенге чейинки изилдөөчүлөр талап кылынат.

Бирок Clevi аз сандагы изилдөөчүлөр менен ар түрдүү моделдерди иштеп чыгып, аларга ээлик кылат.

Бул кантип мүмкүн болду?

Clevi Teacher-Student Model(Knowledge Distilation) технологиясы аркылуу аз сандагы кызматкерлер менен ар түрдүү моделдерди иштеп чыгып, аларга ээлик кылат.

Анда Teacher-Student технологиясын карап көрөлү.

Teacher-Student(билимди дистилляциялоо)

Teacher-Student технологиясы жөнөкөй тил менен айтканда, өтө чоң тил модели (Teacher Model) аркылуу туунду моделди (Student Model) баалап, пикир билдирүү менен аз сандагы кызматкерлер жүздөгөн изилдөөчүнүн ордун басып, ар түрдүү моделдерди тез иштеп чыгууга мүмкүндүк берген технология.

• Mother Model(өтө чоң модель) ар түрдүү тармактардагы моделдерди баалап, пикир билдирип, жүздөгөн изилдөөчүнүн ордун басат.
• Эгер окутуу ушул ыкма менен Clevi-x-platform аркылуу жүргүзүлсө, Reasoning, VLM, Physical AI, Coding Agent сыяктуу жогорку натыйжалуу моделдерди 10–15 күндүн ичинде үйрөтүп, жайылтууга болот.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Коопсуздук агенти

5. Clevi-x-platform технологиясынын жана сапатынын айырмалоочу өзгөчөлүктөрү

Моделдин натыйжалуулугу жана масштабдуулугу

• Ой жүгүртүү (CoT/Reasoning) артыкчылыгы: cip-5-x этап-этабы менен логикалык тыянак чыгарууну жана негиздеме берүүнү долбоорлоо философиясына камтып, илимий, математикалык жана инженердик маселелерди чечүүдө жогорку ишенимдүүлүктөгү эсептөө жана талдоо жөндөмдөрүн көрсөтөт. Ички бенчмаркка ылайык, GPT-5 деңгээлинен жогору же ага тең көрсөткүчтөрдү максат кылып иштелип чыгып, иштетилүүдө. Бирдей промпт шарттарындагы кайра жаралуучулук жана текшерилүү мүмкүнчүлүгү негизги сапат көрсөткүчтөрү катары башкарылат.

• Мультимодалдуулуктун толук спектри: максатка багытталган VLM (cip-5-vision), чоң көлөмдөгү мультимодалдык иштетүү модели (ivy-4-mm) жана жеңил, түзмөктө иштөөчү модель (ivy-3-text) бир платформада өндүрүлүп, айкалыштырылат. Ошентип, тапшырманын өзгөчөлүгүнө (издөө/классификация/жыйынтыктоо же ой жүгүртүү/түшүндүрүү/аткаруу) ылайык оптималдуу айкалышты тандоого болот.

Ишканада колдонууга ылайыктуулук

• Жергиликтүү инфраструктурадагы коопсуздук жана жеткиликтүүлүк: жабык тармактын бардык этаптарында (киргизүү-окутуу-кызмат көрсөтүү-камдык көчүрмөлөө) иштетүү, HA дизайны, модулдук кеңейтүү жана SVCE (изоляцияланган коопсуз аткаруу чөйрөсү) аркылуу маалыматтар менен моделдин параметрлери өзүнчө корголот.
• Тез киргизүү жана кеңейтүү: Ivy Chat (ишке багытталган мультимодалдык баарлашуу/агент) жана API Platform (глобалдык стандарттагы SaaS) аркылуу тез колдонууга киргизүүнү жана иштетүүнү колдойт.

Физикалык AI (Physical AI) боюнча айырмачылык

• NVIDIA Isaac негизиндеги симуляцияны эволюциялык негиздеги бекемдөөчү окутуу (Evolutionary RL) менен айкалыштырып, Sim2Real трансфери жана синтетикалык маалыматтар менен параллелдүү окутуу аркылуу окутуунун натыйжалуулугун жана реалдуу чөйрөгө ыңгайлашуу жөндөмүн жогорулатат. Санариптик чөйрөдөн робототехника боюнча окутууга жана жайылтууга чейинки бардык процессти камтыган чечимдер сейрек кездешет.

Кызматтын сапаты жана башкаруу

• Моделдердин/промпттардын/куралдардын версияларын башкаруу, баалоо топтому (корей жана англис тилдериндеги билим, тармактык тапшырмалар, галлюцинация жана коопсуздук көрсөткүчтөрү), өзгөртүүлөрдү башкаруу (SLO/SLA) жана операциялык байкоо (күтүү убактысы, ийгиликтүүлүк деңгээли, TCO) бирдиктүү платформадагы процедуралар аркылуу башкарылат.

Учурда Түштүк Кореяда 300дөн ашык AI моделдеринин кызмат көрсөтүүчү компаниясы бар, бирок

жогорку натыйжалуу өз алдынча фундаменталдык моделдер аркылуу жергиликтүү инфраструктурада жана булутта кызматтарды бир убакта сунуштай алган жалгыз компания — CLEVI.

6. Тил моделдерин тармакта колдонуу жолдору

AI киргизүү ири инвестицияларды жана кылдат текшерүүнү талап кылгандыктан, чечимдин иш жүзүндө компанияга пайда алып келер-келбесин түздөн-түз салыштырып, сынап көрүү процесси абдан маанилүү.

• CLEVI жөн гана моделдерди түзүү менен чектелбестен, реалдуу өнөр жай чөйрөсүндө колдонууга мүмкүн болгон AI чечимдерин сунуштайт.
• Мисалы, Ivy Chat Platform, Clevi API Platform, тармактарга ылайыкташтыруу, коопсуздук талаптарына жооп берүү сыяктуу ишканалар үчүн зарыл болгон мүмкүнчүлүктөрдүн толук топтомун камсыз кылат.
• Физикалык AI, робототехника, мультимодалдык маалыматтарды иштетүү сыяктуу өлкө ичинде да, чет өлкөлөрдө да сейрек кездешүүчү технологиялык мүмкүнчүлүктөргө ээ.

CLEVI AI’ды «максат» эмес, «каражат» катары карап, иштин чыныгы натыйжалуулугуна жана өнөр жайдагы инновацияларга салым кошкон реалдуу AI чечимдерин сунуштайт.Чыныгы From-scratch Foundation моделинин айырмачылыгын өзүңүз түздөн-түз сезип көрүңүз.

Суроолор жана демо көрсөтмөсүнө өтүнүчтөр: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.