From-scratch Foundation Model CLEVI AI(ivy)

«Як невелика компанія змогла створити великомасштабну мовну модель ШІ світового рівня?»

Як невеликий стартап створив великомасштабну мовну модель?

Це питання, яке найчастіше ставили після того, як CLEVI представила Foundation-модель із 1,4 трильйона параметрів.

На відміну від багатьох компаній, які просто донавчають моделі з відкритим кодом, CLEVI самостійно виконала весь процес — від збору даних і проєктування моделі до великомасштабного розподіленого навчання та перевірки якості.

Нижче ми детально розповімо про секрети цього успіху та конкурентні переваги.

1. Невелика компанія створює великомасштабну мовну модель?

У липні 2025 року, коли CLEVI представила на ринку власноруч розроблену великомасштабну мовну модель, численні клієнти (користувачі) були здивовані та спантеличені. «Невже її справді розробили самостійно?» «Хіба це не просто трохи змінена модель із відкритим кодом?»

Насправді багато компаній у Південній Кореї та за кордоном лише виконують просте трансферне навчання (fine-tuning) моделей із відкритим кодом, а потім рекламують їх як власні моделі.

Натомість CLEVI представила **«From-scratch Foundation Model»**.

Тобто весь процес — від збору даних і проєктування моделі до великомасштабного розподіленого навчання та перевірки якості — було спроєктовано й виконано власними силами.

2. Чому розробка великомасштабної мовної моделі є складною

Щоб навчити From-Scratch Foundation Model, необхідно опанувати всі наведені нижче компоненти.

Потрібен великомасштабний високоякісний набір даних

• Різноманітність: забезпечення різноманітності мов, доменів і форматів (текст, зображення тощо)
• Очищення: видалення шуму, контроль якості, фільтрація дублікатів і шкідливих даних
• Ліцензування: чітке визначення авторських прав і прав на використання даних

Великомасштабна обчислювальна інфраструктура

• Високопродуктивний кластер GPU/TPU: технологія інтеграції обладнання від тисяч до десятків тисяч вузлів для підтримки великомасштабного розподіленого навчання
• Ефективний фреймворк розподіленого навчання: DeepSpeed, Megatron-LM, Ray тощо
• Сховище/мережа: введення та виведення великих обсягів даних, високошвидкісне мережеве середовище

Проєктування архітектури моделі

• Відображення новітньої архітектури: Transformer, MoE(Mixture of Experts), мультимодальність тощо
• Масштабованість: урахування можливості розширення кількості параметрів, шарів, довжини вхідних даних тощо
• Ефективність: оптимізація швидкості навчання/виведення та використання пам’яті

Стратегії та алгоритми навчання

• Мета попереднього навчання: мовна модель (наприклад, next token prediction), мультимодальність (наприклад, contrastive learning) тощо
• Методи оптимізації: mixed precision, gradient accumulation, learning rate schedule тощо
• Нормалізація/стабілізація: dropout, layer norm, weight decay тощо

Система оцінювання та валідації

• Набори для бенчмаркінгу: використання стандартних наборів даних (Benchmarks)
• Внутрішнє оцінювання: оцінювання на основі реальних сценаріїв використання
• Постійний моніторинг: перевірка якості, упередженості та безпеки під час і після навчання

Кадровий та організаційний потенціал

• Дослідники AI/ML: проєктування моделей, розроблення алгоритмів
• Інженери з роботи з даними: збір/очищення/управління даними
• Інженери інфраструктури: розподілені системи, управління хмарною/локальною інфраструктурою
• Проєктні менеджери: управління графіком, бюджетом і якістю

Етичні, юридичні та безпекові аспекти

• Етика AI: упередженість, безпека, прозорість, відповідальність
• Дотримання законодавства: персональні дані, авторські права, суверенітет даних
• Безпека: запобігання витоку даних/моделей, контроль доступу

Наразі у світі налічується близько 2 000 фахівців у сфері досліджень AI, і більшість із них зосереджена у великих технологічних компаніях, таких як META, Google і XAI. У Південній Кореї надзвичайно мало команд, здатних самостійно створити Foundation-модель — від збору даних до проєктування великомасштабної інфраструктури навчання.

3. Створення великої мовної моделі невеликою командою.

Спираючись на понад 10 років досвіду досліджень у сфері глибокого та машинного навчання, генеральний директор Лі Хванхо три роки тому заснував компанію (CLEVI) з метою «створити найкращий у світі AI».

Самостійно спроєктувавши всі процеси — від створення власного конвеєра даних компанії, проєктування великомасштабної розподіленої інфраструктури глибокого навчання, розроблення архітектури моделей до перевірки якості, — компанія набула компетенцій, необхідних для розроблення Foundation Model.

У результаті багаторазового навчання моделей ми наразі маємо модель Clevi-5-x, яка може конкурувати з найкращими моделями світового рівня.

Для ефективного навчання великої мовної моделі потрібна інфраструктура, у якій від сотень до тисяч GPU об’єднані в кластер, що дає змогу одночасно виконувати обчислення обсягом у десятки квадрильйонів операцій за секунду. У цьому процесі ключову роль відіграють технології синхронізації обчислень і мінімізації затримок зв’язку у великомасштабному розподіленому середовищі. Досі в Південній Кореї більшості компаній не вдавалося належним чином навчати моделі через відсутність «алгоритмів точного керування». Розробивши власний унікальний алгоритм керування розподіленими обчисленнями, генеральний директор Clevi Лі Хванхо вперше в Південній Кореї успішно навчив велику мовну модель із 1,4 трильйонами (1.4 Trillion) параметрів.

4. Як стало можливим розробляти різноманітні моделі невеликою кількістю розробників

Більшість великих технологічних компаній також володіє технологіями керування масштабною інфраструктурою та очищення даних.

Для їхнього керування потрібні від сотень до тисяч дослідників.

Однак Clevi розробляє та має у своєму розпорядженні різноманітні моделі, залучаючи невелику кількість дослідників.

Як це стало можливим?

Завдяки технології Teacher-Student Model(Knowledge Distilation) Clevi розробляє та має у своєму розпорядженні різноманітні моделі, залучаючи невелику кількість співробітників.

Розгляньмо технологію Teacher-Student.

Teacher-Student(дистиляція знань)

Технологія Teacher-Student — це, простими словами, технологія швидкої розробки різноманітних моделей невеликою кількістю співробітників завдяки оцінюванню та наданню зворотного зв’язку дочірній моделі (Student Model) за допомогою великої мовної моделі (Teacher Model), що дає змогу замінити сотні дослідників.

• Mother Model(велика модель) оцінює різноманітні галузеві моделі та надає їм зворотний зв’язок, замінюючи сотні дослідників.
• Якщо проводити навчання таким способом через Clevi-x-platform, можна навчити та розгорнути високопродуктивні моделі, зокрема Reasoning, VLM, Physical AI, Coding Agent тощо, лише за 10–15 днів.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM — модель бачення та мови

Агент безпеки

5. Технологічні та якісні відмінності Clevi-x-platform

Продуктивність і масштабованість моделей

• Перевага в міркуванні (CoT/Reasoning): cip-5-x включає поетапний логічний розвиток і наведення обґрунтувань у свою філософію проєктування, демонструючи високонадійні обчислювальні та інтерпретаційні можливості під час розв’язання наукових, математичних та інженерних задач. Згідно з внутрішніми бенчмарками, модель проєктується та експлуатується з орієнтацією на рівень продуктивності GPT-5 або вище, а відтворюваність і можливість перевірки за однакових умов промптів контролюються як ключові показники якості.

• Повний спектр мультимодальності: цільовий VLM (cip-5-vision), великомасштабна мультимодальна модель обробки (ivy-4-mm) і легка он-дівайс модель (ivy-3-text) виробляються та комбінуються на одній платформі, що дає змогу оптимально підбирати поєднання відповідно до характеристик завдання (пошук/класифікація/узагальнення або міркування/пояснення/виконання).

Застосовність у підприємствах

• Безпека та доступність у локальній інфраструктурі: експлуатація в усьому замкненому мережевому контурі (введення даних — навчання — обслуговування — резервне копіювання), проєктування HA, модульне масштабування та SVCE (ізольоване безпечне середовище виконання) забезпечують роздільний захист даних і параметрів моделей.
• Швидке впровадження та масштабування: Ivy Chat (мультимодальний діалог/агенти для робочих завдань) і API Platform (глобальний стандарт SaaS) підтримують швидке застосування та експлуатацію.

Відмінності у фізичному ШІ (Physical AI)

• Поєднання симуляції на базі NVIDIA Isaac і еволюційного навчання з підкріпленням (Evolutionary RL), перенесення Sim2Real та паралельне навчання на синтетичних даних підвищують ефективність навчання й адаптивність у реальних умовах. Здатність охоплювати весь цикл — від цифрового навчання та робототехніки до розгортання — вирізняє платформу на тлі рідкісних альтернатив.

Якість сервісу та управління

• Керування версіями моделей/промптів/інструментів, набором оцінювання (знання корейською та англійською мовами, галузеві завдання, показники галюцинацій і безпеки), керуванням змінами (SLO/SLA) та операційним моніторингом (затримка, рівень успішності, TCO) здійснюється в межах єдиної платформної процедури.

Наразі в Південній Кореї існує понад 300 компаній, що надають послуги на основі моделей ШІ, але

Clevi є єдиною компанією, яка завдяки власній високопродуктивній фундаментальній моделі може одночасно надавати локальні та хмарні сервіси.

6. Як застосовувати мовні моделі в промисловості

Оскільки впровадження AI потребує значних інвестицій і ретельної перевірки, необхідно безпосередньо порівняти й випробувати рішення, щоб переконатися, що воно справді принесе користь підприємству.

• CLEVI не обмежується лише розробленням моделей, а надає AI-рішення, придатні для застосування в реальних промислових умовах.
• Наприклад, компанія має повний набір корпоративних каналів, зокрема Ivy Chat Platform, Clevi API Platform, галузеве налаштування та відповідність вимогам безпеки.
• CLEVI володіє технічними компетенціями у сфері фізичного AI, робототехніки та мультимодального оброблення даних — технологіями, які рідко можна зустріти як у країні, так і за кордоном.

CLEVI надає практичні AI-рішення, які сприяють підвищенню ефективності реальної роботи та інноваціям у галузях, розглядаючи AI не як «мету», а як «засіб».Безпосередньо відчуйте відмінності справжньої From-scratch Foundation моделі.

Запити та замовлення демонстрації: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.