From-scratch Foundation Model CLEVI AI(ivy)

«Как небольшой компании удалось создать крупную языковую модель ИИ мирового уровня?»

Как небольшой стартап создал крупную языковую модель?

Это самый часто задаваемый вопрос после того, как CLEVI представила Foundation-модель 규모ом 1,4 триллиона параметров.

В отличие от многих компаний, которые просто дообучают модели с открытым исходным кодом, CLEVI самостоятельно выполнила весь процесс: от сбора данных и проектирования модели до масштабного распределённого обучения и проверки качества.

Ниже подробно рассмотрены секреты этого успеха и конкурентные преимущества.

1. Небольшая компания создаёт крупную языковую модель?

В июле 2025 года, когда CLEVI представила на рынке самостоятельно разработанную крупную языковую модель, многочисленные клиенты (пользователи) были одновременно удивлены и озадачены. «Неужели она действительно разработана самостоятельно?» «Разве это не слегка изменённая модель с открытым исходным кодом?»

На практике многие компании в стране и за рубежом лишь выполняют дообучение (fine-tuning) моделей с открытым исходным кодом, а затем рекламируют их как собственные модели.

Однако CLEVI представила **‘From-scratch Foundation Model’**.

Иными словами, она самостоятельно спроектировала и реализовала весь процесс: от сбора данных и проектирования модели до масштабного распределённого обучения и проверки качества.

2. Почему разработка крупной языковой модели сложна

Чтобы обучить From-Scratch Foundation Model, необходимо выполнить обучение по всем перечисленным ниже направлениям.

Необходим масштабный высококачественный набор данных

• Разнообразие: обеспечение разнообразия языков, предметных областей и форматов (текст, изображения и т. д.)
• Очистка: удаление шумов, контроль качества, фильтрация дубликатов/вредоносных данных
• Лицензирование: чёткое определение авторских прав и прав на использование данных

Масштабная вычислительная инфраструктура

• Высокопроизводительный кластер GPU/TPU: технологии интеграции оборудования с тысячами и десятками тысяч узлов для поддержки крупномасштабного распределённого обучения
• Эффективный фреймворк распределённого обучения: DeepSpeed, Megatron-LM, Ray и другие
• Хранилище/сеть: ввод-вывод больших объёмов данных и высокоскоростная сетевая среда

Проектирование архитектуры модели

• Отражение современных архитектур: Transformer, MoE (Mixture of Experts), мультимодальность и т. д.
• Масштабируемость: учёт возможности расширения количества параметров, слоёв, длины входных данных и т. д.
• Эффективность: оптимизация скорости обучения/вывода и использования памяти

Стратегии и алгоритмы обучения

• Цели предварительного обучения: языковая модель (например, предсказание следующего токена), мультимодальность (например, contrastive learning) и т. д.
• Методы оптимизации: mixed precision, gradient accumulation, learning rate schedule и т. д.
• Нормализация/стабилизация: dropout, layer norm, weight decay и т. д.

Система оценки и валидации

• Наборы для бенчмаркинга: использование стандартных наборов данных (Benchmarks)
• Внутренняя оценка: оценка на основе реальных сценариев использования
• Непрерывный мониторинг: проверка качества, предвзятости и безопасности во время и после обучения

Кадровый и организационный потенциал

• Исследователи AI/ML: проектирование моделей, разработка алгоритмов
• Инженеры по данным: сбор/очистка/управление данными
• Инженеры по инфраструктуре: распределённые системы, управление облачной инфраструктурой/инфраструктурой on-premises
• Проектные менеджеры: управление сроками, бюджетом и качеством

Этические, правовые аспекты и вопросы безопасности

• Этика AI: предвзятость, безопасность, прозрачность, ответственность
• Соблюдение законодательства: персональные данные, авторские права, суверенитет данных
• Безопасность: предотвращение утечек данных/моделей, контроль доступа

В настоящее время численность специалистов по исследованиям в области AI во всём мире составляет около 2 000 человек, и большинство из них сосредоточено в крупных технологических компаниях, таких как META, Google и XAI. Внутри страны крайне мало команд, способных самостоятельно разработать Foundation Model — от сбора данных до крупномасштабной инфраструктуры обучения.

3. Создание сверхкрупной языковой модели небольшой командой.

Имея более 10 лет опыта исследований в области глубокого и машинного обучения, генеральный директор Ли Хванхо 3 года назад основал компанию (CLEVI) с целью «создать лучший в мире AI».

Компания самостоятельно спроектировала все процессы — от построения собственной конвейерной обработки данных, проектирования крупномасштабной распределённой инфраструктуры глубокого обучения, разработки архитектуры моделей до проверки качества — и приобрела компетенции, необходимые для разработки Foundation Model.

После нескольких этапов обучения моделей мы создали модель Clevi-5-x, которая теперь может конкурировать с лучшими моделями мирового уровня.

Для эффективного обучения больших языковых моделей необходима инфраструктура, в которой от сотен до тысяч GPU объединены в кластер, что позволяет одновременно выполнять десятки квадриллионов операций в секунду. В этом процессе ключевую роль играют технологии синхронизации вычислений и минимизации задержек связи в крупномасштабной распределённой среде. До сих пор в Корее большинство компаний не могли должным образом обучать модели из-за отсутствия «алгоритмов точного управления». Разработав собственный уникальный алгоритм управления распределёнными вычислениями, генеральный директор Clevi Ли Хван Хо стал первым в Корее, кому удалось обучить большую языковую модель с 1,4 триллиона параметров (1.4 Trillion).

4. Почему небольшая команда разработчиков смогла создавать разнообразные модели

Большинство крупных технологических компаний также располагают технологиями управления масштабной инфраструктурой и очистки данных.

Для управления ими необходимы сотни или тысячи исследователей.

Однако Clevi разрабатывает и поддерживает разнообразные модели, имея небольшую команду исследователей.

Как это стало возможным?

Благодаря технологии Teacher-Student Model (Knowledge Distilation) Clevi разрабатывает и поддерживает разнообразные модели с помощью небольшой команды.

Рассмотрим технологию Teacher-Student.

Teacher-Student (дистилляция знаний)

Технология Teacher-Student — это технология, которая позволяет быстро разрабатывать разнообразные модели небольшой командой, заменяя сотни исследователей: большая языковая модель (Teacher Model) оценивает и предоставляет обратную связь для дочерней модели (Student Model).

• Mother Model (большая модель) оценивает модели в различных областях и предоставляет обратную связь, заменяя сотни исследователей.
• Если проводить обучение таким способом через Clevi-x-platform, то высокопроизводительные модели, такие как Reasoning, VLM, Physical AI и Coding Agent, можно обучить и развернуть всего за 10–15 дней.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM — модель зрения и языка

Агент безопасности

5. Технологические и качественные отличия Clevi-x-platform

Производительность и масштабируемость моделей

• Преимущество в рассуждениях (CoT/Reasoning): cip-5-x включает поэтапное логическое рассуждение и представление обоснований в свою философию проектирования, демонстрируя высокую надежность вычислений и интерпретации при решении научных, математических и инженерных задач. На основе внутренних бенчмарков модель проектируется и эксплуатируется с целью достижения уровня производительности не ниже GPT-5, а воспроизводимость и проверяемость при одинаковых условиях промпта контролируются как ключевые показатели качества.

• Полный спектр мультимодальности: целевой VLM (cip-5-vision), крупномасштабная мультимодальная модель обработки (ivy-4-mm) и облегченная модель для работы на устройстве (ivy-3-text) производятся и комбинируются на одной платформе, что позволяет подбирать оптимальную комбинацию в соответствии с особенностями задачи (поиск/классификация/суммирование или рассуждение/объяснение/выполнение).

Применимость в корпоративной среде

• Безопасность и доступность в локальной инфраструктуре: эксплуатация во всех сегментах закрытой сети (ввод — обучение — сервис — резервное копирование), проектирование HA, модульное масштабирование и SVCE (изолированная безопасная среда выполнения) обеспечивают раздельную защиту данных и параметров моделей.
• Быстрое внедрение и масштабирование: Ivy Chat (мультимодальный диалог/агент для рабочих задач) и API Platform (глобальный стандарт SaaS) обеспечивают быстрое внедрение и эксплуатацию.

Отличия Physical AI

• За счет объединения симуляции на базе NVIDIA Isaac и эволюционного обучения с подкреплением (Evolutionary RL), а также параллельного обучения с переносом Sim2Real и на синтетических данных повышены эффективность обучения и адаптивность в реальных условиях. Возможность охватить весь цикл — от цифрового обучения и робототехники до развертывания — встречается у крайне немногих альтернатив.

Качество сервисов и управление

• Управление версиями моделей/промптов/инструментов, набором оценочных тестов (знания на корейском и английском языках, отраслевые задачи, показатели галлюцинаций и безопасности), управлением изменениями (SLO/SLA) и наблюдаемостью эксплуатации (задержка, коэффициент успешности, TCO) осуществляется в рамках единой платформенной процедуры.

В настоящее время в Южной Корее существует более 300 компаний, предоставляющих сервисы на базе ИИ, однако

CLEVI — единственная компания, способная одновременно предоставлять локальные и облачные сервисы на основе собственной высокопроизводительной фундаментальной модели.

6. Как применять языковые модели в промышленности

Поскольку внедрение ИИ требует значительных инвестиций и тщательной проверки, крайне важно напрямую сравнить и протестировать решения, чтобы убедиться, действительно ли они помогают бизнесу.

• CLEVI не ограничивается созданием моделей, а предоставляет решения на основе ИИ, пригодные для применения в реальных промышленных условиях.
• Например, компания располагает всеми необходимыми каналами для работы с предприятиями, включая Ivy Chat Platform, Clevi API Platform, отраслевую кастомизацию и соответствие требованиям безопасности.
• Компания обладает техническими компетенциями в таких областях, как физический ИИ, робототехника и мультимодальная обработка данных, которые редко встречаются как в Корее, так и за рубежом.

CLEVI предоставляет практические решения на основе ИИ, рассматривая ИИ не как «цель», а как «средство», способствующее повышению эффективности реальных рабочих процессов и инновациям в промышленности. Непосредственно оцените отличия настоящей From-scratch Foundation модели.

Запрос информации и демонстрации: [email protected]

Copyright© 2025 Clevi Inc. Все права защищены.