Foundation-Modell von Grund auf – CLEVI AI (ivy)

„Wie konnte ein kleines Unternehmen ein weltweit führendes Large Language Model entwickeln?“

Wie hat ein kleines Start-up ein Large Language Model entwickelt?

Seit CLEVI sein Foundation-Modell mit 1,4 Billionen Parametern veröffentlicht hat, ist dies die am häufigsten gestellte Frage.

Im Gegensatz zu vielen Unternehmen, die Open-Source-Modelle lediglich feinabstimmen, hat CLEVI alle Prozesse selbst durchgeführt – von der Datensammlung über das Modelldesign und das groß angelegte verteilte Training bis hin zur Qualitätsprüfung.

Im Folgenden stellen wir die Erfolgsgeheimnisse und Wettbewerbsvorteile im Detail vor.

1. Ein kleines Unternehmen entwickelt ein Large Language Model?

Als CLEVI im Juli 2025 sein selbst entwickeltes Large Language Model auf den Markt brachte, reagierten unzählige Kund:innen (Nutzer:innen) mit Erstaunen und Skepsis. „Wurde es wirklich selbst entwickelt?“ „Wurde nicht einfach ein Open-Source-Modell leicht verändert?“

Tatsächlich beschränken sich viele Unternehmen im In- und Ausland lediglich auf Transfer Learning (Fine-Tuning) von Open-Source-Modellen und bewerben diese als eigene Modelle.

CLEVI hingegen stellte ein **„Foundation-Modell von Grund auf“** in den Mittelpunkt.

Das bedeutet, dass CLEVI alle Prozesse selbst konzipiert und umgesetzt hat – von der Datensammlung über das Modelldesign und das groß angelegte verteilte Training bis hin zur Qualitätsprüfung.

2. Warum die Entwicklung eines Large Language Models schwierig ist

Um ein Foundation-Modell von Grund auf zu trainieren, müssen alle unten angeführten Bereiche abgedeckt werden.

Ein umfangreicher Datensatz von hoher Qualität ist erforderlich

• Vielfalt: Sicherstellung der Vielfalt von Sprachen, Domänen und Formaten (Text, Bilder usw.)
• Bereinigung: Entfernung von Rauschen, Qualitätskontrolle sowie Filterung von Duplikaten und schädlichen Daten
• Lizenzen: Klare Regelung von Urheberrechten und Datennutzungsrechten

Eine umfangreiche Computing-Infrastruktur

• Hochleistungs-GPU-/TPU-Cluster: Integration von Geräten mit Tausenden bis Zehntausenden Knoten zur Unterstützung des groß angelegten verteilten Trainings
• Frameworks für effizientes verteiltes Training: DeepSpeed, Megatron-LM, Ray usw.
• Speicher/Netzwerk: Ein- und Ausgabe großer Datenmengen sowie eine schnelle Netzwerkumgebung

Entwurf der Modellarchitektur

• Modernste Architektur berücksichtigt: Transformer, MoE (Mixture of Experts), Multimodalität usw.
• Skalierbarkeit: Berücksichtigung der Erweiterbarkeit hinsichtlich Parameteranzahl, Layer-Anzahl, Eingabelänge usw.
• Effizienz: Optimierung der Trainings-/Inferenzgeschwindigkeit und des Speicherverbrauchs

Trainingsstrategien und Algorithmen

• Pretraining-Ziele: Sprachmodell (z. B. Next-Token-Prediction), Multimodalität (z. B. Contrastive Learning) usw.
• Optimierungsmethoden: Mixed Precision, Gradient Accumulation, Learning-Rate-Schedule usw.
• Normalisierung/Stabilisierung: Dropout, Layer Norm, Weight Decay usw.

Evaluierungs- und Validierungssystem

• Benchmark-Sets: Verwendung standardisierter Datensätze (Benchmarks)
• Interne Evaluierung: Evaluierung auf Basis realer Nutzungsszenarien
• Kontinuierliches Monitoring: Überprüfung von Qualität, Verzerrungen und Sicherheit während und nach dem Training

Personal- und Organisationskompetenzen

• AI/ML-Forschende: Modelldesign und Algorithmenentwicklung
• Dateningenieur:innen: Datenerhebung, -aufbereitung und -verwaltung
• Infrastrukturingenieur:innen: Verwaltung verteilter Systeme sowie von Cloud-/On-Premises-Umgebungen
• Projektmanager:innen: Termin-, Budget- und Qualitätsmanagement

Ethische, rechtliche und sicherheitsbezogene Aspekte

• KI-Ethik: Verzerrungen, Sicherheit, Transparenz und Verantwortlichkeit
• Rechtskonformität: Datenschutz, Urheberrecht und Datensouveränität
• Sicherheit: Schutz vor dem Verlust von Daten und Modellen sowie Zugriffskontrolle

Derzeit gibt es weltweit rund 2.000 KI-Fachkräfte, wobei sich die meisten davon auf Big-Tech-Unternehmen wie META, Google und XAI konzentrieren. In Südkorea gibt es nur äußerst wenige Teams, die von der Datenerhebung bis zur Infrastruktur für groß angelegtes Training alles selbst entwickeln und ein Foundation Model erstellen können.

3. Mit wenig Personal ein Large Language Model entwickeln

CEO Lee Hwan-ho gründete vor drei Jahren das Unternehmen CLEVI mit dem Ziel, „die weltbeste KI zu entwickeln“. Dabei konnte er auf mehr als zehn Jahre Erfahrung in der Erforschung von Deep Learning und Machine Learning zurückgreifen.

Durch die eigenständige Entwicklung aller Prozesse – vom Aufbau der unternehmenseigenen Datenpipeline über das Design einer groß angelegten verteilten Deep-Learning-Infrastruktur und die Entwicklung der Modellarchitektur bis hin zur Qualitätsvalidierung – hat CLEVI die für die Entwicklung eines Foundation Models erforderlichen Kompetenzen aufgebaut.

Nach mehreren Trainingsdurchläufen verfügt CLEVI heute über das Modell Clevi-5-x, das mit den weltweit führenden Modellen mithalten kann.

Um ein Large Language Model effektiv zu trainieren, ist eine Infrastruktur erforderlich, in der mehrere hundert bis mehrere tausend GPUs zu einem Cluster verbunden sind und gleichzeitig Rechenoperationen im Umfang von mehreren Billiarden pro Sekunde verarbeiten können. Dabei sind Technologien zur Synchronisierung von Berechnungen in groß angelegten verteilten Umgebungen und zur Minimierung von Kommunikationsverzögerungen von entscheidender Bedeutung. Bislang konnten die meisten Unternehmen in Korea ihre Modelle nicht ordnungsgemäß trainieren, da es an „Algorithmen zur präzisen Steuerung“ fehlte. Durch die eigenständige Entwicklung eines solchen proprietären Algorithmus zur Steuerung verteilter Berechnungen gelang es dem CEO Lee Hwan-ho von CLEVI als erstem Unternehmen in Korea, ein Large Language Model mit 1,4 Billionen (1.4 Trillion) Parametern zu trainieren.

4. Warum mit wenigen Entwicklerinnen und Entwicklern verschiedene Modelle entwickelt werden konnten

Auch die meisten Big-Tech-Unternehmen verfügen über Technologien zur Steuerung großer Infrastrukturen und zur Datenbereinigung.

Für deren Verwaltung sind mehrere hundert bis mehrere tausend Forschende erforderlich.

CLEVI entwickelt und besitzt jedoch mit wenigen Forschenden verschiedene Modelle.

Wie war das möglich?

CLEVI entwickelt und besitzt mithilfe der Teacher-Student Model(Knowledge Distilation)-Technologie mit wenigen Mitarbeitenden verschiedene Modelle.

Sehen wir uns nun die Teacher-Student-Technologie an.

Teacher-Student (Wissensdestillation)

Die Teacher-Student-Technologie ist, einfach ausgedrückt, eine Technologie, bei der das Kindmodell (Student Model) mithilfe eines Large Language Models (Teacher Model) bewertet und mit Feedback versehen wird, wodurch mit wenigen Mitarbeitenden mehrere hundert Forschende ersetzt und verschiedene Modelle rasch entwickelt werden können.

• Das Mother Model (Large Model) bewertet und gibt Feedback zu Modellen aus verschiedenen Bereichen und ersetzt dadurch mehrere hundert Forschende.
• Wenn das Training auf diese Weise über Clevi-x-platform durchgeführt wird, können leistungsstarke Modelle wie Reasoning, VLM, Physical AI und Coding Agent innerhalb von 10–15 Tagen trainiert und bereitgestellt werden.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Sicherheitsagent

5. Differenzierung von Clevi-x-platform bei Technologie und Qualität

Modellleistung und Skalierbarkeit

• Überlegenheit beim Schlussfolgern (CoT/Reasoning): cip-5-x integriert die schrittweise logische Herleitung und die Darstellung von Begründungen in seine Designphilosophie und zeigt bei der Lösung wissenschaftlicher, mathematischer und ingenieurtechnischer Probleme eine hohe Zuverlässigkeit bei Berechnungen und Interpretationen. Auf Grundlage interner Benchmarks wird das Modell mit dem Ziel entwickelt und betrieben, Leistungsfähigkeiten auf GPT-5-Niveau oder darüber zu erreichen. Die Reproduzierbarkeit und Überprüfbarkeit unter identischen Prompt-Bedingungen werden als zentrale Qualitätskennzahlen gesteuert.

• Das gesamte Spektrum der Multimodalität: Zielorientierte VLMs (cip-5-vision), großvolumige multimodale Verarbeitungsmodelle (ivy-4-mm) und schlanke On-Device-Modelle (ivy-3-text) können auf einer Plattform bereitgestellt und kombiniert werden, um je nach Aufgabencharakter (Suche/Klassifizierung/Zusammenfassung vs. Schlussfolgern/Erklären/Ausführen) die optimale Kombination zu ermöglichen.

Eignung für den Einsatz in Unternehmen

• On-Premises-Sicherheit und -Verfügbarkeit: Betrieb über die gesamte Strecke im abgeschotteten Netzwerk (Eingabe–Training–Service–Backup), HA-Design, modulare Erweiterbarkeit sowie die getrennte Absicherung von Daten und Modellparametern durch SVCE (isolierte sichere Ausführungsumgebung).
• Schnelle Einführung und Skalierung: Ivy Chat (geschäftliche multimodale Dialoge/Agenten) und API Platform (globaler Standard-SaaS) unterstützen eine schnelle Implementierung und den effizienten Betrieb.

Differenzierung bei Physical AI

• Durch die Kombination von auf NVIDIA Isaac basierenden Simulationen und evolutionsbasiertem Reinforcement Learning (Evolutionary RL) sowie durch Sim2Real-Transfer und paralleles Training mit synthetischen Daten wurden die Trainingseffizienz und die Anpassungsfähigkeit an den Praxiseinsatz gesteigert. Dass die Lösung den gesamten Bereich von digitalem Lernen über Robotik-Training bis hin zur Bereitstellung abdeckt, ist am Markt nur selten zu finden.

Servicequalität und Governance

• Die Versionsverwaltung von Modellen/Prompts/Tools, eine Evaluierungssuite (Wissen auf Koreanisch und Englisch, branchenbezogene Aufgaben, Kennzahlen zu Halluzinationen und Sicherheit), das Änderungsmanagement (SLO/SLA) sowie die Betriebsüberwachung (Latenz, Erfolgsquote, TCO) werden in einem einheitlichen Plattformprozess verwaltet.

Derzeit gibt es in Südkorea mehr als 300 Unternehmen, die KI-Modellservices anbieten,

doch CLEVI ist das einzige Unternehmen, das mithilfe eines leistungsstarken, eigenständigen Foundation-Modells gleichzeitig On-Premises- und Cloud-Services anbieten kann.

6. Möglichkeiten zur Nutzung von Sprachmodellen in der Industrie

Da die Einführung von KI erhebliche Investitionen und eine gründliche Validierung erfordert, ist es unerlässlich, Lösungen direkt zu vergleichen und auszuprobieren, um festzustellen, ob sie Unternehmen tatsächlich einen Nutzen bringen.

• CLEVI beschränkt sich nicht nur auf die Entwicklung von Modellen, sondern bietet KI-Lösungen, die in realen Industrieumgebungen eingesetzt werden können.
• Beispielsweise verfügt CLEVI über umfassende Enterprise-Angebote wie die Ivy Chat Platform, die Clevi API Platform, branchenspezifische Anpassungen und die Erfüllung von Sicherheitsanforderungen.
• CLEVI verfügt über technologische Kompetenzen in Bereichen wie physischer KI, Robotik und multimodaler Datenverarbeitung, die im In- und Ausland nur schwer zu finden sind.

CLEVI bietet KI-Lösungen, die KI nicht als „Zweck“, sondern als „Mittel“ verstehen und zur tatsächlichen Effizienzsteigerung im Arbeitsalltag sowie zur Innovation in der Industrie beitragen. Erleben Sie direkt den Unterschied eines echten From-scratch Foundation-Modells.

Anfragen und Demo-Anforderungen: [email protected]

Copyright© 2025 Clevi Inc. Alle Rechte vorbehalten.