从零开始的基础模型 CLEVI AI(ivy)

“一家小公司是如何打造出世界顶尖水平的超大型 AI 语言模型的？”

一家小型初创公司如何打造超大型语言模型？

这是自 CLEVI 公开发布 1.4 万亿参数规模的基础模型以来，收到最多的问题。

与许多企业仅对开源模型进行简单微调不同，CLEVI 从数据收集、模型设计、大规模分布式训练到质量验证，独立完成了全部流程。

下面将详细介绍其中的秘诀与竞争力。

1. 小公司也能打造超大型语言模型？

2025 年 7 月，CLEVI 将自主开发的超大型语言模型推向市场后，众多客户（用户）在惊讶与质疑中议论纷纷。“真的是自主开发的吗？”“是不是只是在开源模型的基础上稍作修改？”

实际上，国内外许多企业仅对开源模型进行简单的迁移学习（fine-tuning），却将其宣传为自有模型。

但 CLEVI 打出了 **“From-scratch Foundation Model”** 的旗号。

也就是说，从数据收集、模型设计、大规模分布式训练到质量验证，所有流程都由 CLEVI 自行设计并执行。

2. 超大型语言模型开发困难的原因

要训练 From-Scratch Foundation Model，必须完成以下所有项目的训练。

需要大规模的高质量数据集

• 多样性：确保语言、领域和格式（文本、图像等）的多样性
• 清洗：去除噪声、进行质量管理，以及过滤重复/有害数据
• 许可证：明确版权及数据使用权

大规模计算基础设施

• 高性能 GPU/TPU 集群：整合数千至数万个节点的设备，支持大规模分布式训练技术
• 高效的分布式训练框架：DeepSpeed、Megatron-LM、Ray 等
• 存储/网络：支持大容量数据输入输出，并提供高速网络环境

模型架构设计

• 反映最新架构：Transformer、MoE（Mixture of Experts）、多模态等
• 可扩展性：考虑参数数量、层数、输入长度等扩展能力
• 效率：优化训练/推理速度和内存使用

训练策略及算法

• 预训练目标：语言模型（例如 next token prediction）、多模态（例如 contrastive learning）等
• 优化技术：mixed precision、gradient accumulation、learning rate schedule 等
• 正则化/稳定化：dropout、layer norm、weight decay 等

评估与验证体系

• 基准测试集：使用标准数据集（Benchmarks）
• 内部评估：基于实际使用场景进行评估
• 持续监控：检查训练中/训练后的质量、偏见和安全性

人员及组织能力

• AI/ML 研究人员：模型设计、算法开发
• 数据工程师：数据收集/清洗/管理
• 基础设施工程师：分布式系统、云端/本地部署管理
• 项目经理：进度、预算、质量管理

伦理·法律·安全考量

• AI 伦理：偏见、安全性、透明度、责任性
• 法律合规：个人信息、著作权、数据主权
• 安全：防止数据/模型泄露、访问控制

目前，全球 AI 研究人员约有 2,000 人，其中大多数集中在 META、Google、XAI 等大型科技企业。在韩国国内，能够从数据收集到大规模训练基础设施，直接设计并构建 Foundation 模型的团队极为少见。

3. 以少量人员打造超大规模语言模型。

李桓浩代表凭借 10 多年研究深度学习和机器学习的经验，于 3 年前以“打造世界顶尖 AI”为目标创立了公司（CLEVI）。

通过自行设计公司内部的数据管道建设、大规模分布式深度学习基础设施设计、模型架构开发、质量验证等全部流程，具备了开发 Foundation Model 所需的能力。

经过多轮模型训练，目前我们已经拥有了可与世界顶尖模型相媲美的 Clevi-5-x 模型。

为了有效训练超大语言模型，需要将数百至数千台 GPU 连接成集群，构建能够同时处理每秒数京次计算的基础设施。在这一过程中，最大限度地减少大规模分布式环境中的计算同步和通信延迟的技术至关重要。迄今为止，由于国内缺乏“精密控制算法”，大多数企业都无法对模型进行有效训练。Clevi 代表理事李焕浩通过自主开发这种独有的分布式计算控制算法，成功完成了韩国首次对1.4万亿（1.4 Trillion）参数规模超大语言模型的训练。

4. 仅凭少数开发人员即可开发多种模型的原因

大多数大型科技企业也具备大规模基础设施控制和数据清洗技术。

要对其进行管理，需要数百至数千名研究人员。

然而，Clevi 仅凭少量研究人员就开发并拥有多种模型。

这是如何做到的？

Clevi 通过 Teacher-Student Model（Knowledge Distilation）技术，仅凭少数人员即可开发并拥有多种模型。

那么，下面来了解一下 Teacher-Student 技术。

Teacher-Student（知识蒸馏）

Teacher-Student 技术简单来说，就是通过超大语言模型（Teacher Model）对子模型（Student Model）进行评估和反馈，从而以少数人员替代数百名研究人员，快速开发多种模型的技术。

• Mother Model（超大模型）对各个领域的模型进行评估和反馈，替代数百名研究人员。
• 如果通过 Clevi-x-platform 以这种方式进行训练，就可以在10至15天内完成 Reasoning、VLM、Physical AI、Coding Agent 等高性能模型的训练和部署。

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-视觉语言模型

安全代理

5. Clevi-x-platform 技术与质量差异化优势

模型性能与扩展性

• 推理（CoT/Reasoning）优势：cip-5-x 将分步逻辑推演与依据呈现纳入设计理念，在科学、数学和工程问题解决中展现出高可信度的计算与解释能力。按照内部基准，目前正以达到GPT-5级别及以上的性能能力为目标进行设计和运营，并将相同提示条件下的可复现性/可验证性作为核心质量指标进行管理。

• 覆盖多模态全谱系：在同一平台上生产并组合面向目标的VLM（cip-5-vision）、大容量多模态处理模型（ivy-4-mm）和轻量级端侧模型（ivy-3-text），可根据任务特性（搜索/分类/摘要 vs. 推理/解释/执行）实现最佳组合。

企业适用性

• 本地部署安全性与可用性：在封闭网络的全流程（输入-训练-服务-备份）中运行，通过HA设计、模块化扩展和SVCE（隔离型安全执行环境）分离保护数据与模型参数。
• 快速导入与扩展：通过Ivy Chat（业务型多模态对话/代理）和API Platform（全球标准SaaS）支持快速应用与运营。

物理AI（Physical AI）差异化优势

• 结合基于NVIDIA Isaac的仿真与进化强化学习（Evolutionary RL），通过Sim2Real迁移和合成数据并行训练，提高了训练效率与现场适应能力。能够覆盖从数字化到机器人学习再到部署的全流程，这一点鲜有替代方案。

服务质量与治理

• 通过统一的平台流程管理模型/提示词/工具版本、评估套件（韩文·英文知识、行业별任务、幻觉·安全性指标）、变更管理（SLO/SLA）和运营观测（延迟·成功率·TCO）。

目前韩国国内存在约300家以上的AI模型服务企业，但是，

能够通过高性能的自主基础模型同时提供本地部署和云服务的企业，只有CLEVI。

6. 将语言模型应用于产业的方法

由于引入 AI 需要巨额投资和严格验证，因此亲自比较和体验解决方案、确认其是否真正有助于企业，是必不可少的过程。

• CLEVI 不仅致力于打造模型，还提供可实际应用于产业现场的 AI 解决方案。
• 例如，CLEVI 已构建完整的企业级渠道，包括 Ivy Chat Platform、Clevi API Platform、按行业定制以及满足安全要求等。
• CLEVI 具备物理 AI、机器人技术、多模态数据处理等在国内外都难以找到的技术能力。

CLEVI 将 AI 作为“手段”而非“目的”，提供能够切实提升工作效率、推动产业创新的 AI 解决方案。亲自体验真正 From-scratch Foundation 模型的差异化优势。

咨询及演示申请：[email protected]

Copyright© 2025 Clevi Inc. All rights reserved.