ゼロから構築したFoundation Model CLEVI AI(ivy)

「小さな会社が、どうやって世界最高水準の超大規模AI言語モデルを作れたのですか？」

小規模なスタートアップが、どのように超大規模言語モデルを作ったのか？

CLEVIが1.4兆パラメータ規模のFoundationモデルを公開して以来、最も多く寄せられた質問です。

多くの企業がオープンソースモデルを単純にファインチューニングするのとは異なり、CLEVIはデータ収集からモデル設計、大規模分散学習、品質検証に至るまで、すべてのプロセスを独自に実施しました。

その秘訣と競争力を、以下で詳しくご紹介します。

1. 小さな会社が超大規模言語モデルを作る？

2025年7月、CLEVIが独自開発した超大規模言語モデルを市場に公開すると、多くの顧客（ユーザー）は驚きと疑念に包まれました。「本当に独自開発なのか？」「オープンソースモデルを少し変更しただけではないのか？」

実際、国内外の多くの企業がオープンソースモデルに単純に転移学習（fine-tuning）だけを行い、それを自社モデルとして宣伝するケースが多くありました。

しかし、CLEVIは**「From-scratch Foundation Model」**を掲げました。

つまり、データ収集からモデル設計、大規模分散学習、品質検証に至るまで、すべてのプロセスを自ら設計し、実行しました。

2. 超大規模言語モデルの開発が難しい理由

From-Scratch Foundation Modelを学習させるためには、以下の項目をすべて学習する必要があります。

大規模で高品質なデータセットが必要

• 多様性：言語、ドメイン、形式（テキスト、画像など）の多様性を確保
• 精製：ノイズの除去、品質管理、重複・有害データのフィルタリング
• ライセンス：著作権およびデータ使用権の明確化

大規模なコンピューティングインフラ

• 高性能GPU/TPUクラスター：数千～数万ノードの機器を統合し、大容量の分散学習をサポートする技術
• 効率的な分散学習フレームワーク：DeepSpeed、Megatron-LM、Rayなど
• ストレージ/ネットワーク：大容量データの入出力、高速なネットワーク環境

モデルアーキテクチャの設計

• 最新アーキテクチャの反映：Transformer、MoE（Mixture of Experts）、マルチモーダルなど
• スケーラビリティ：パラメータ数、レイヤー数、入力長などの拡張性を考慮
• 効率性：学習・推論速度、メモリ使用量を最適化

学習戦略およびアルゴリズム

• 事前学習目標：言語モデル（例：next token prediction）、マルチモーダル（例：contrastive learning）など
• 最適化手法：mixed precision、gradient accumulation、learning rate scheduleなど
• 正規化・安定化：dropout、layer norm、weight decayなど

評価および検証体制

• ベンチマークセット：標準データセット（Benchmarks）を活用
• 内部評価：実際の利用シナリオに基づく評価
• 継続的なモニタリング：学習中・学習後の品質、バイアス、安全性を確認

人材および組織の能力

• AI/ML研究者：モデル設計、アルゴリズム開発
• データエンジニア：データの収集・精製・管理
• インフラエンジニア：分散システム、クラウド／オンプレミスの管理
• プロジェクトマネージャー：スケジュール、予算、品質の管理

倫理・法務・セキュリティに関する考慮事項

• AI倫理：バイアス、安全性、透明性、説明責任
• 法令遵守：個人情報、著作権、データ主権
• セキュリティ：データ・モデルの流出防止、アクセス制御

現在、世界全体のAI研究人材は約2,000人規模であり、その多くがMETA、Google、XAIなどのビッグテック企業に集中しています。韓国国内で、データ収集から大規模学習インフラまでを直接設計し、Foundationモデルを開発できるチームは極めて少数です。

3. 少ない人員で超大規模言語モデルを開発する。

イ・ファンホ代表は、10年以上にわたりディープラーニングと機械学習を研究してきた経験を基に、3年前、「世界最高のAIを作る」という目標を掲げて会社（クレビ）を設立しました。

会社独自のデータパイプラインの構築、大規模分散ディープラーニングインフラの設計、モデルアーキテクチャの開発、品質検証など、あらゆるプロセスを自ら設計し、Foundation Modelの開発に必要な能力を身につけました。

複数回にわたってモデルを学習させた結果、現在では世界最高水準のモデルと肩を並べられるClevi-5-xモデルを保有するに至りました。

超大規模言語モデルを効果的に学習させるためには、数百台から数千台に及ぶGPUをクラスターとして接続し、1秒あたり数京回に達する演算を同時に処理できるインフラが必要です。この過程では、大規模分散環境における演算の同期と通信遅延を最小限に抑える技術が極めて重要です。これまで韓国国内には「精密制御アルゴリズム」がなく、ほとんどの企業がモデルを適切に学習させることができませんでした。Cleviのイ・ファンホ代表は、この独自の分散演算制御アルゴリズムを自社開発することで、韓国国内で初めて1.4兆（1.4 Trillion）パラメータ規模の超大規模言語モデルの学習に成功しました。

4. 少数の開発人員で多様なモデルを開発できた理由

ほとんどのビッグテック企業も、大規模インフラの制御とデータ精製の技術を有しています。

これを管理するためには、数百人から数千人の研究人員が必要です。

しかし、Cleviは少数の研究人員で多様なモデルを開発・保有しています。

どのように可能だったのでしょうか？

CleviはTeacher-Student Model(Knowledge Distilation)技術を通じて、少数の人員で多様なモデルを開発・保有しています。

それでは、Teacher-Student技術について見ていきましょう。

Teacher-Student（知識蒸留）

Teacher-Student技術とは、簡単に言えば、超大規模言語モデル（Teacher Model）を通じて子モデル（Student Model）を評価・フィードバックすることで、少数の人員でも数百人の研究人員に代わり、多様なモデルを迅速に開発する技術です。

• Mother Model（超大規模モデル）がさまざまな分野のモデルを評価・フィードバックし、数百人の研究人員に代わります。
• この方式でClevi-x-platformを通じて学習を行えば、Reasoning、VLM、Physical AI、Coding Agentなどの高性能モデルを10～15日で学習・配布できます。

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

セキュリティエージェント

5. Clevi-x-platformの技術・品質における差別化

モデルの性能・拡張性

• 推論（CoT/Reasoning）優位性: cip-5-x は段階的な論理展開と根拠提示を設計思想に組み込み、科学・数学・エンジニアリングの問題解決において、高い信頼性の計算・解釈能力を示します。内部ベンチマークを基準にGPT-5級以上の性能を目標として設計・運用中であり、同一プロンプト条件における再現性・検証可能性を主要な品質指標として管理します。

• マルチモーダル全領域: 目的指向VLM（cip-5-vision）、大容量マルチモーダル処理モデル（ivy-4-mm）、軽量オンデバイスモデル（ivy-3-text）を1つのプラットフォーム上で運用・組み合わせることで、タスク特性（検索/分類/要約 vs. 推論/説明/実行）に応じた最適な組み合わせが可能です。

エンタープライズ適用性

• オンプレミスのセキュリティ・可用性: 閉域網の全工程（入力-学習-サービス-バックアップ）内での運用、HA設計、モジュール型拡張、SVCE（隔離型安全実行環境）により、データとモデルパラメータを分離して保護します。
• 迅速な導入・拡張: Ivy Chat（業務向けマルチモーダル対話/エージェント）、API Platform（グローバル標準SaaS）により、迅速な適用・運用を支援します。

フィジカルAI（Physical AI）の差別化

• NVIDIA Isaacベースのシミュレーションと進化ベース強化学習（Evolutionary RL）を組み合わせ、Sim2Real転移と合成データの並列学習によって、学習効率・現場適応力を高めました。デジタルからロボティクスの学習・展開までをカバーする点で、代替手段は希少です。

サービス品質・ガバナンス

• モデル/プロンプト/ツールのバージョン管理、評価スイート（韓・英語知識、業界別タスク、幻覚・安全性指標）、変更管理（SLO/SLA）、運用監視（レイテンシ・成功率・TCO）を単一プラットフォームの手順で管理します。

現在、韓国国内には約300社を超えるAIモデルサービス企業が存在しますが、

高性能な独自基盤モデルを通じて、オンプレミスとクラウドサービスを同時に提供できる企業はCLEVIだけです。

6. 言語モデルを産業に活用する方法

AI導入には多大な投資と徹底した検証が必要であるため、実際に企業に役立つソリューションかどうかを直接比較・体験するプロセスが不可欠です。

• CLEVIは単にモデルを作るだけでなく、実際の産業現場に適用可能なAIソリューションを提供します。
• たとえば、Ivy Chat Platform、Clevi API Platform、業界別のカスタマイズ、セキュリティ要件への対応など、エンタープライズ向けの体制を整えています。
• フィジカルAI、ロボティクス、マルチモーダルデータ処理など、国内外でも類を見ない技術力を備えています。

CLEVIはAIを「目的」ではなく「手段」として、実際の業務効率化と産業革新に貢献する実体的なAIソリューションを提供します。本物のFrom-scratch Foundationモデルの違いを直接体験してください。

お問い合わせ・デモのご依頼：[email protected]

Copyright© 2025 Clevi Inc. All rights reserved.