From-scratch Foundation Model CLEVI AI(ivy)

「小型公司是如何打造出世界頂尖水準的超大型 AI 語言模型的？」

小型新創公司是如何打造出超大型語言模型的？

這是 CLEVI 公開 1.4 兆參數規模的 Foundation 模型後，最常被問到的問題。

不同於許多企業僅對開源模型進行簡單微調，CLEVI 從資料蒐集、模型設計、大規模分散式訓練到品質驗證，獨立完成了所有流程。

以下將詳細介紹其中的秘訣與競爭力。

1. 小型公司也能打造超大型語言模型？

2025 年 7 月，當 CLEVI 將自行開發的超大型語言模型公開推向市場時，眾多客戶（使用者）因驚訝與疑惑而議論紛紛。「真的是自行開發的嗎？」「是不是只是稍微修改了開源模型？」

實際上，國內外許多企業只對開源模型進行簡單的遷移學習（fine-tuning），卻將其宣傳為自有模型。

但 CLEVI 主打 **「From-scratch Foundation Model」**。

也就是說，從資料蒐集、模型設計、大規模分散式訓練到品質驗證，所有流程都由 CLEVI 親自設計並執行。

2. 開發超大型語言模型之所以困難的原因

要訓練 From-Scratch Foundation Model，必須完成以下所有項目的訓練。

需要大規模的高品質資料集

• 多樣性：確保語言、領域、格式（文字、圖片等）的多樣性
• 精煉：移除雜訊、進行品質管理、過濾重複／有害資料
• 授權：明確釐清著作權及資料使用權

大規模運算基礎設施

• 高效能 GPU/TPU 叢集：整合數千至數萬個節點的設備，支援大容量分散式訓練的技術
• 高效的分散式訓練框架：DeepSpeed、Megatron-LM、Ray 等
• 儲存／網路：大容量資料輸入輸出、高速網路環境

模型架構設計

• 反映最新架構：Transformer、MoE(Mixture of Experts)、多模態等
• 可擴展性：考量參數數量、層數、輸入長度等擴展性
• 效率：最佳化訓練／推論速度與記憶體使用

訓練策略與演算法

• 預訓練目標：語言模型（例如 next token prediction）、多模態（例如 contrastive learning）等
• 最佳化技術：mixed precision、gradient accumulation、learning rate schedule 等
• 正規化／穩定化：dropout、layer norm、weight decay 等

評估與驗證體系

• 基準測試集：使用標準資料集（Benchmarks）
• 內部評估：根據實際使用情境進行評估
• 持續監控：檢查訓練期間／訓練後的品質、偏見與安全性

人力與組織能力

• AI/ML 研究人員：模型設計、演算法開發
• 資料工程師：資料蒐集／整理／管理
• 基礎架構工程師：分散式系統、雲端／地端管理
• 專案經理：時程、預算、品質管理

倫理・法律・安全考量

• AI 倫理：偏見、安全性、透明度、責任制
• 法律遵循：個人資料、著作權、資料主權
• 安全性：防止資料／模型外洩、存取控制

目前全球 AI 研究人員約有 2,000 人，即使如此，其中大多數仍集中於 META、Google、XAI 等大型科技企業。在國內，能夠從資料蒐集到大規模訓練基礎架構，直接設計並打造 Foundation 模型的團隊極為罕見。

3. 以少量人力打造超大型語言模型。

李煥浩代表憑藉 10 年以上研究深度學習與機器學習的經驗，於 3 年前以「打造世界頂尖 AI」為目標，創立了公司（CLEVI）。

透過自行建構公司的資料管線、設計大規模分散式深度學習基礎架構、開發模型架構、驗證品質等，直接設計所有流程，建立了開發 Foundation Model 所需的能力。

經過多次模型訓練，目前我們已擁有可與世界頂尖模型相媲美的 Clevi-5-x 模型。

為了有效訓練超大型語言模型，需要將數百至數千台 GPU 連接成叢集，建置能夠同時處理每秒達數京次運算的基礎架構。在此過程中，將大規模分散式環境中的運算同步化並將通訊延遲降至最低的技術至關重要。一直以來，由於國內缺乏「精密控制演算法」，大多數企業都無法妥善訓練模型。Clevi 執行長 Lee Hwan-ho 透過自主開發此類分散式運算控制演算法，成功在韓國率先完成了 1.4 兆（1.4 Trillion）參數規模超大型語言模型的訓練。

4. 僅憑少數開發人員即可開發多種模型的原因

大多數大型科技企業也具備大規模基礎架構控制與資料清理技術。

管理這些技術需要數百至數千名研究人員。

然而，Clevi 僅憑少數研究人員，便開發並擁有多種模型。

這是如何實現的呢？

Clevi 透過 Teacher-Student Model(Knowledge Distilation) 技術，以少數人力開發並擁有多種模型。

那麼，讓我們來了解一下 Teacher-Student 技術。

Teacher-Student（知識蒸餾）

簡單來說，Teacher-Student 技術是透過超大型語言模型（Teacher Model）對子模型（Student Model）進行評估與回饋，以少數人力取代數百名研究人員，快速開發多種模型的技術。

• Mother Model（超大型模型）評估並回饋各領域的模型，取代數百名研究人員。
• 若透過 Clevi-x-platform 以此方式進行訓練，即可在 10～15 天內完成 Reasoning、VLM、Physical AI、Coding Agent 等高效能模型的訓練與部署。

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM—視覺語言模型

安全代理

5. Clevi-x-platform 技術與品質差異化

模型效能與擴展性

• 推理（CoT/Reasoning）優勢：cip-5-x 將逐步邏輯推演與論據呈現納入設計理念，在科學、數學與工程問題解決方面展現高可信度的計算與解讀能力。依據內部基準測試，現正以達到 GPT-5 級以上的效能為目標進行設計與運營，並將相同提示條件下的可重現性／可驗證性作為核心品質指標進行管理。

• 完整多模態光譜：將目的導向的 VLM（cip-5-vision）、大容量多模態處理模型（ivy-4-mm）與輕量型端側裝置模型（ivy-3-text）在單一平台上進行生產與組合，可根據任務特性（搜尋／分類／摘要 vs. 推理／說明／執行）實現最佳化組合。

企業適用性

• 地端部署的安全性與可用性：在封閉網路的全流程（輸入－訓練－服務－備份）中運作，透過 HA 設計、模組化擴展及 SVCE（隔離式安全執行環境）分離並保護資料與模型參數。
• 快速導入與擴展：透過 Ivy Chat（工作型多模態對話／代理）與 API Platform（全球標準 SaaS）支援快速導入與運營。

實體 AI（Physical AI）差異化

• 結合 NVIDIA Isaac 基礎的模擬與演化式強化學習（Evolutionary RL），並透過 Sim2Real 遷移與合成資料平行訓練，提升學習效率與現場適應能力。能涵蓋從數位到機器人的學習與部署，替代方案十分稀少。

服務品質與治理

• 模型／提示／工具版本管理、評估套件（中英文知識、產業別任務、幻覺與安全性指標）、變更管理（SLO/SLA）及運營監測（延遲、成功率、TCO）皆透過單一平台流程進行管理。

目前韓國國內存在超過約 300 家 AI 模型服務企業，

但能透過高效能的獨有基礎模型，同時提供地端部署與雲端服務的企業，只有 CLEVI。

6. 將語言模型應用於產業的方法

AI 的導入需要巨額投資與嚴格驗證，因此直接比較與體驗其是否為真正有助於企業的解決方案，是不可或缺的過程。

• CLEVI 不僅止於打造模型，更提供可實際應用於產業現場的 AI 解決方案。
• 例如，已建構完整的企業級服務，包括 Ivy Chat Platform、Clevi API Platform、產業別客製化，以及因應安全要求等。
• 具備實體 AI、機器人技術、多模態資料處理等，在國內外都難以找到的技術能力。

CLEVI 將 AI 視為「手段」而非「目的」，提供能實際提升工作效率並促進產業創新的實質 AI 解決方案。親自體驗真正 From-scratch Foundation 模型的差異化優勢。

諮詢與示範申請：[email protected]

Copyright© 2025 Clevi Inc. All rights reserved.