從零開始的基礎模型 CLEVI AI(ivy)

「小型公司如何打造世界頂尖水平的超大型 AI 語言模型？」

小型初創企業如何打造超大型語言模型？

這是自 CLEVI 公開 1.4 萬億參數規模的基礎模型後，最常收到的問題。

與許多企業只對開源模型進行簡單微調不同，CLEVI 從數據收集、模型設計、大規模分散式訓練到品質驗證，均獨立完成所有流程。

以下將詳細介紹當中的秘訣與競爭力。

1. 小型公司打造超大型語言模型？

2025 年 7 月，當 CLEVI 將自行開發的超大型語言模型公開推向市場時，眾多客戶（用戶）既驚訝又疑惑，議論紛紛。「真的是自行開發的嗎？」 「是不是只是稍微修改了開源模型？」

事實上，國內外許多企業只對開源模型進行簡單的遷移學習（fine-tuning），並將其宣傳為自有模型。

但 CLEVI 打出了 **「從零開始的基礎模型」** 的旗號。

換言之，從數據收集、模型設計、大規模分散式訓練到品質驗證，所有流程均由 CLEVI 親自設計及執行。

2. 開發超大型語言模型之所以困難的原因

要訓練從零開始的基礎模型，必須完成以下所有項目的訓練。

需要大規模的高品質數據集

• 多樣性：確保語言、領域及格式（文字、圖片等）的多樣性
• 數據整理：移除噪音、進行品質管理、過濾重複／有害數據
• 授權：明確釐清版權及數據使用權

大規模計算基礎設施

• 高效能 GPU/TPU 叢集：整合數千至數萬個節點的設備，支援大容量分散式訓練的技術
• 高效的分散式訓練框架：DeepSpeed、Megatron-LM、Ray 等
• 儲存／網絡：大容量數據輸入輸出及高速網絡環境

模型架構設計

• 反映最新架構：Transformer、MoE（Mixture of Experts）、多模態等
• 可擴展性：考慮參數數量、層數、輸入長度等擴展能力
• 效率：優化訓練／推理速度及記憶體使用

訓練策略及演算法

• 預訓練目標：語言模型（例如 next token prediction）、多模態（例如 contrastive learning）等
• 優化技術：mixed precision、gradient accumulation、learning rate schedule 等
• 正規化／穩定化：dropout、layer norm、weight decay 等

評估及驗證體系

• 基準測試集：使用標準資料集（Benchmarks）
• 內部評估：根據實際使用情境進行評估
• 持續監控：檢查訓練期間／完成後的品質、偏見及安全性

人員及組織能力

• AI／ML 研究人員：模型設計、演算法開發
• 數據工程師：數據收集／清理／管理
• 基礎設施工程師：分散式系統、雲端／本地部署管理
• 項目經理：時間表、預算、品質管理

倫理・法律・安全考量

• AI 倫理：偏見、安全性、透明度、問責性
• 法律合規：個人資料、版權、數據主權
• 安全：防止數據／模型洩漏、存取控制

目前全球 AI 研究人員約有 2,000 人，而當中大部分更集中於 META、Google、XAI 等大型科技企業。在韓國，能夠從數據收集到大規模訓練基礎設施，直接設計並建立 Foundation 模型的團隊極其罕見。

3. 以少量人員打造超大型語言模型。

李桓昊代表憑藉超過 10 年研究深度學習及機器學習的經驗，於 3 年前以「打造世界頂尖 AI」為目標，創立了公司（CLEVI）。

透過親自設計公司自身的數據管道、大規模分散式深度學習基礎設施設計、模型架構開發、品質驗證等所有流程，建立了開發 Foundation Model 所需的能力。

經過多次模型訓練後，我們目前已擁有可媲美世界頂尖模型的 Clevi-5-x 模型。

要有效訓練超大型語言模型，必須將數百至數千部 GPU 連接成叢集，建立能夠同時處理每秒達數京次運算的基礎設施。在此過程中，將大規模分散式環境中的運算同步化，並將通訊延遲降至最低的技術至關重要。一直以來，由於韓國國內缺乏「精密控制演算法」，大多數企業都無法妥善訓練模型。Clevi 代表李煥浩透過自行開發這套獨有的分散式運算控制演算法，成功成為韓國首間完成訓練 1.4 萬億（1.4 Trillion）參數規模超大型語言模型的企業。

4. 只憑少量開發人員便能開發多種模型的原因

大多數大型科技企業也具備大規模基礎設施控制及數據精煉技術。

要管理這些技術，需要數百至數千名研究人員。

然而，Clevi 僅憑少量研究人員，便開發並擁有多種模型。

這是如何做到的？

Clevi 透過 Teacher-Student Model（Knowledge Distilation）技術，僅憑少量人員便開發並擁有多種模型。

接下來，讓我們了解一下 Teacher-Student 技術。

Teacher-Student（知識蒸餾）

Teacher-Student 技術簡單來說，就是透過超大型語言模型（Teacher Model）評估及回饋子模型（Student Model），以少量人員取代數百名研究人員，快速開發多種模型的技術。

• Mother Model（超大型模型）會評估並回饋不同領域的模型，取代數百名研究人員。
• 如果透過 Clevi-x-platform 以這種方式進行訓練，便能在 10 至 15 天內完成高效能模型（例如 Reasoning、VLM、Physical AI、Coding Agent）的訓練及部署。

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM—視覺語言模型

保安代理

5. Clevi-x-platform 技術與質量差異化

模型效能與擴展性

• 推理（CoT/Reasoning）優勢：cip-5-x 將分階段邏輯推演與提出依據納入設計理念，在科學、數學及工程問題解決方面展現高可靠性的計算與解釋能力。現正以達到GPT-5級或以上的效能為目標進行設計及運營，並將相同提示條件下的可重現性及可驗證性作為核心質量指標進行管理。

• 多模態全頻譜：在同一平台上生產及組合以目的為導向的VLM（cip-5-vision）、大容量多模態處理模型（ivy-4-mm）及輕量級端側裝置模型（ivy-3-text），可根據任務特性（搜尋／分類／摘要 vs. 推理／解釋／執行）選擇最佳組合。

企業應用適用性

• 內部部署的安全性與可用性：在封閉網絡的整個流程（輸入－訓練－服務－備份）內運作，透過HA設計、模組化擴展及SVCE（隔離式安全執行環境）分離保護數據與模型參數。
• 快速導入與擴展：透過Ivy Chat（工作型多模態對話／代理）及API Platform（全球標準SaaS）支援快速應用及運營。

物理AI（Physical AI）差異化

• 結合基於NVIDIA Isaac的模擬與進化式強化學習（Evolutionary RL），並透過Sim2Real遷移及合成數據並行學習，提高學習效率及現場適應能力。涵蓋從數碼及機械人學習到部署的完整流程，市場上的替代方案十分有限。

服務質量與治理

• 模型／提示／工具版本管理、評估套件（中英文知識、按行業劃分的任務、幻覺及安全性指標）、變更管理（SLO／SLA）及運營監測（延遲、成功率、TCO）均按照單一平台流程進行管理。

目前韓國國內約有300多家AI模型服務企業，但

能夠透過高效能的自主基礎模型同時提供內部部署及雲端服務的企業，只有CLEVI。

6. 將語言模型應用於行業的方法

由於採用 AI 需要投入大量資金並進行嚴格驗證，因此直接比較及體驗解決方案，確認其是否真正有助於企業，是不可或缺的過程。

• CLEVI 不僅限於打造模型，更提供可應用於實際產業現場的 AI 解決方案。
• 例如，我們已完善建立企業級渠道，包括 Ivy Chat Platform、Clevi API Platform、按行業提供客製化服務，以及應對保安要求等。
• 我們具備物理 AI、機械人技術、多模態數據處理等在國內外都難以找到的技術能力。

CLEVI 以 AI 為「手段」而非「目的」，提供能為實際工作效率及產業創新作出貢獻的實質 AI 解決方案。親身體驗真正 From-scratch Foundation 模型的差異化優勢。

查詢及示範申請：[email protected]

Copyright© 2025 Clevi Inc. All rights reserved.