From-scratch Foundation Model CLEVI AI(ivy)

„Wie konnte ein kleines Unternehmen ein Large Language Model auf Weltniveau entwickeln?“

Wie hat ein kleines Start-up ein Large Language Model entwickelt?

Diese Frage wurde am häufigsten gestellt, nachdem CLEVI sein Foundation-Modell mit 1,4 Billionen Parametern veröffentlicht hatte.

Im Gegensatz zu vielen Unternehmen, die Open-Source-Modelle lediglich feinabstimmen, hat CLEVI alle Prozesse eigenständig durchgeführt – von der Datenerfassung über das Modelldesign und das groß angelegte verteilte Training bis hin zur Qualitätsprüfung.

Im Folgenden stellen wir die Erfolgsgeheimnisse und Wettbewerbsvorteile im Detail vor.

1. Ein kleines Unternehmen entwickelt ein Large Language Model?

Als CLEVI im Juli 2025 sein selbst entwickeltes Large Language Model auf dem Markt veröffentlichte, reagierten zahlreiche Kunden (Nutzer) mit Erstaunen und Skepsis. „Ist es wirklich selbst entwickelt?“ „Wurde nicht einfach nur ein Open-Source-Modell leicht verändert?“

Tatsächlich führen viele Unternehmen im In- und Ausland lediglich Transfer Learning (Fine-Tuning) an Open-Source-Modellen durch und bewerben diese anschließend als eigene Modelle.

CLEVI hingegen stellte ein **„From-scratch Foundation Model“** in den Mittelpunkt.

Das bedeutet, dass alle Prozesse – von der Datenerfassung über das Modelldesign und das groß angelegte verteilte Training bis hin zur Qualitätsprüfung – direkt von CLEVI konzipiert und umgesetzt wurden.

2. Warum die Entwicklung eines Large Language Models schwierig ist

Um ein From-Scratch Foundation Model zu trainieren, müssen alle folgenden Bereiche abgedeckt werden.

Ein umfangreicher, hochwertiger Datensatz ist erforderlich

• Vielfalt: Sicherstellung der Vielfalt von Sprachen, Domänen und Formaten (Text, Bilder usw.)
• Bereinigung: Entfernung von Rauschen, Qualitätskontrolle sowie Filterung von Duplikaten/schädlichen Daten
• Lizenzen: Klare Regelung von Urheberrechten und Nutzungsrechten an Daten

Umfangreiche Computing-Infrastruktur

• Hochleistungs-GPU/TPU-Cluster: Technologie zur Integration von Geräten mit Tausenden bis Zehntausenden Knoten zur Unterstützung des groß angelegten verteilten Trainings
• Effizientes Framework für verteiltes Training: DeepSpeed, Megatron-LM, Ray usw.
• Speicher/Netzwerk: Ein-/Ausgabe großer Datenmengen und eine schnelle Netzwerkumgebung

Design der Modellarchitektur

• Aktuelle Architektur berücksichtigt: Transformer, MoE(Mixture of Experts), Multimodalität usw.
• Skalierbarkeit: Berücksichtigung der Erweiterbarkeit hinsichtlich Parameteranzahl, Layer-Anzahl, Eingabelänge usw.
• Effizienz: Optimierung der Trainings-/Inferenzgeschwindigkeit und des Speicherverbrauchs

Trainingsstrategien und Algorithmen

• Pretraining-Ziele: Sprachmodell (z. B. next token prediction), Multimodalität (z. B. contrastive learning) usw.
• Optimierungsmethoden: mixed precision, gradient accumulation, learning rate schedule usw.
• Normalisierung/Stabilisierung: dropout, layer norm, weight decay usw.

Evaluierungs- und Validierungssystem

• Benchmark-Sets: Nutzung standardisierter Datensätze (Benchmarks)
• Interne Evaluierung: Evaluierung auf Grundlage realer Nutzungsszenarien
• Kontinuierliches Monitoring: Überprüfung von Qualität, Verzerrungen und Sicherheit während und nach dem Training

Personal und organisatorische Kompetenzen

• AI/ML-Forschende: Modelldesign, Entwicklung von Algorithmen
• Dateningenieure: Erfassung, Aufbereitung und Verwaltung von Daten
• Infrastrukturingenieure: Verwaltung verteilter Systeme sowie von Cloud-/On-Premises-Umgebungen
• Projektmanager: Verwaltung von Zeitplan, Budget und Qualität

Ethische, rechtliche und sicherheitsbezogene Aspekte

• KI-Ethik: Verzerrungen, Sicherheit, Transparenz und Verantwortlichkeit
• Rechtskonformität: Datenschutz, Urheberrecht und Datensouveränität
• Sicherheit: Schutz vor Daten-/Modelllecks und Zugriffskontrolle

Derzeit gibt es weltweit etwa 2.000 KI-Forschende, von denen die meisten zudem bei Big-Tech-Unternehmen wie META, Google und XAI konzentriert sind. In Korea gibt es nur äußerst wenige Teams, die ein Foundation-Modell von der Datenerfassung bis zur Infrastruktur für groß angelegtes Training selbst entwickeln können.

3. Mit wenig Personal ein Large Language Model entwickeln.

Auf Grundlage seiner mehr als zehnjährigen Erfahrung in der Erforschung von Deep Learning und Machine Learning gründete CEO Lee Hwan-ho vor drei Jahren das Unternehmen CLEVI mit dem Ziel, „die weltweit beste KI zu entwickeln“.

Durch die eigenständige Konzeption aller Prozesse – vom Aufbau der unternehmenseigenen Datenpipeline über das Design einer groß angelegten verteilten Deep-Learning-Infrastruktur und die Entwicklung der Modellarchitektur bis hin zur Qualitätsvalidierung – hat das Unternehmen die für die Entwicklung eines Foundation Model erforderlichen Kompetenzen aufgebaut.

Nach mehreren Trainingsdurchläufen verfügt das Unternehmen heute über das Modell Clevi-5-x, das mit den weltweit führenden Modellen konkurrieren kann.

Um große Sprachmodelle effektiv zu trainieren, ist eine Infrastruktur erforderlich, die Hunderte bis Tausende von GPUs zu einem Cluster verbindet und gleichzeitig Rechenoperationen im Umfang von Quadrillionen pro Sekunde verarbeiten kann. Dabei sind Technologien zur Synchronisierung der Berechnungen und zur Minimierung von Kommunikationsverzögerungen in groß angelegten verteilten Umgebungen von entscheidender Bedeutung. Bislang konnten die meisten Unternehmen in Korea mangels „Algorithmen zur präzisen Steuerung“ Modelle nicht ordnungsgemäß trainieren. Durch die Eigenentwicklung eines solchen proprietären Algorithmus zur Steuerung verteilter Berechnungen gelang es dem CEO von Clevi, Lee Hwan-ho, als erstem Unternehmen in Korea, ein großes Sprachmodell mit 1,4 Billionen (1.4 Trillion) Parametern zu trainieren.

4. Gründe, warum mit wenigen Entwicklern verschiedene Modelle entwickelt werden konnten

Auch die meisten Big-Tech-Unternehmen verfügen über Technologien zur Steuerung umfangreicher Infrastrukturen und zur Datenaufbereitung.

Für deren Verwaltung werden Hunderte bis Tausende von Forschungsmitarbeitern benötigt.

Clevi hingegen entwickelt und besitzt mit wenigen Forschungsmitarbeitern verschiedene Modelle.

Wie war das möglich?

Clevi entwickelt und besitzt mithilfe der Teacher-Student Model(Knowledge Distilation)-Technologie mit wenigen Mitarbeitern verschiedene Modelle.

Sehen wir uns nun die Teacher-Student-Technologie an.

Teacher-Student (Wissensdestillation)

Die Teacher-Student-Technologie ist, einfach gesagt, eine Technologie, mit der mithilfe eines großen Sprachmodells (Teacher Model) ein Kindmodell (Student Model) bewertet und mit Feedback versehen wird, sodass mit wenigen Mitarbeitern Hunderte von Forschungsmitarbeitern ersetzt und verschiedene Modelle schnell entwickelt werden können.

• Das Mother Model (große Modell) bewertet und gibt Feedback zu Modellen in verschiedenen Bereichen und ersetzt dadurch Hunderte von Forschungsmitarbeitern.
• Wenn das Training auf diese Weise über Clevi-x-platform durchgeführt wird, können leistungsstarke Modelle wie Reasoning, VLM, Physical AI und Coding Agent innerhalb von 10 bis 15 Tagen trainiert und bereitgestellt werden.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Sicherheitsagent

5. Differenzierung von Clevi-x-platform in Technologie und Qualität

Modellleistung und Skalierbarkeit

• Überlegenheit bei Schlussfolgerungen (CoT/Reasoning): cip-5-x integriert die schrittweise Entwicklung logischer Argumentationen und die Darlegung von Begründungen in seine Designphilosophie und zeigt bei der Lösung wissenschaftlicher, mathematischer und ingenieurtechnischer Probleme hohe Zuverlässigkeit sowie ausgeprägte Rechen- und Interpretationsfähigkeiten. Auf Basis interner Benchmarks wird das System mit dem Ziel entwickelt und betrieben, Leistungsfähigkeiten auf GPT-5-Niveau oder höher zu erreichen; die Reproduzierbarkeit und Überprüfbarkeit unter identischen Prompt-Bedingungen werden als zentrale Qualitätsindikatoren gesteuert.

• Das gesamte Spektrum multimodaler Fähigkeiten: Durch die Produktion und Kombination des aufgabenorientierten VLM (cip-5-vision), des großvolumigen multimodalen Verarbeitungsmodells (ivy-4-mm) und des ressourcenschonenden On-Device-Modells (ivy-3-text) auf einer Plattform ist eine optimale Kombination entsprechend den Aufgabenmerkmalen (Suche/Klassifizierung/Zusammenfassung vs. Schlussfolgerung/Erklärung/Ausführung) möglich.

Eignung für den Unternehmenseinsatz

• Sicherheit und Verfügbarkeit im On-Premises-Betrieb: Betrieb über alle Phasen hinweg (Eingabe–Training–Service–Backup) in geschlossenen Netzwerken, HA-Design, modulare Erweiterbarkeit sowie die getrennte Absicherung von Daten und Modellparametern durch SVCE (isolierte sichere Ausführungsumgebung).
• Schnelle Einführung und Erweiterung: Ivy Chat (aufgabenorientierter multimodaler Dialog/Agent) und API Platform (globaler Standard-SaaS) unterstützen eine schnelle Implementierung und den schnellen Betrieb.

Differenzierung durch Physical AI

• Durch die Kombination von Simulationen auf Basis von NVIDIA Isaac und evolutionsbasiertem Reinforcement Learning (Evolutionary RL) sowie durch Sim2Real-Transfer und paralleles Training mit synthetischen Daten wurden die Trainingseffizienz und die Anpassungsfähigkeit an den Praxiseinsatz erhöht. Die Abdeckung von digitalem Lernen über robotisches Lernen bis hin zur Bereitstellung ist ein Bereich mit wenigen Alternativen.

Servicequalität und Governance

• Die Versionsverwaltung von Modellen/Prompts/Tools, die Evaluierungssuite (Wissen auf Koreanisch und Englisch, branchenspezifische Aufgaben, Kennzahlen zu Halluzinationen und Sicherheit), das Änderungsmanagement (SLO/SLA) sowie die Betriebsüberwachung (Latenz, Erfolgsquote, TCO) werden über einen einheitlichen Plattformprozess verwaltet.

Derzeit gibt es in Korea mehr als etwa 300 Unternehmen, die KI-Modellservices anbieten,

doch CLEVI ist das einzige Unternehmen, das durch ein leistungsstarkes, eigenständiges Foundation Model gleichzeitig On-Premises- und Cloud-Services anbieten kann.

6. Möglichkeiten zur Nutzung von Sprachmodellen in der Industrie

Da die Einführung von KI erhebliche Investitionen und eine gründliche Validierung erfordert, ist es unerlässlich, Lösungen direkt zu vergleichen und auszuprobieren, um festzustellen, ob sie Unternehmen tatsächlich einen Nutzen bieten.

• CLEVI entwickelt nicht nur Modelle, sondern bietet AI-Lösungen, die in realen industriellen Umgebungen eingesetzt werden können.
• Beispielsweise verfügt CLEVI über umfassende Enterprise-Angebote wie die Ivy Chat Platform, die Clevi API Platform, branchenspezifische Anpassungen und die Erfüllung von Sicherheitsanforderungen.
• CLEVI verfügt über technologische Kompetenzen, die im In- und Ausland nur schwer zu finden sind, darunter Physical AI, Robotik und die Verarbeitung multimodaler Daten.

CLEVI bietet AI-Lösungen als konkretes Mittel und nicht als „Zweck“, die zur tatsächlichen Arbeitseffizienz und industriellen Innovation beitragen. Erleben Sie direkt den Unterschied echter From-scratch Foundation-Modelle.

Anfragen und Demo-Anfragen: [email protected]

Copyright© 2025 Clevi Inc. Alle Rechte vorbehalten.