From-scratch Foundation Model Klévi AI (ivy)

« Wéi konnt eng kleng Firma e groussen AI-Sproochmodell op weltwäitem Niveau entwéckelen? »

Wéi huet e klengt Start-up e grousse Sproochmodell entwéckelt?

Dëst ass d'Fro, déi am heefegsten gestallt gouf, nodeems CLEVI säi Foundation-Modell mat 1,4 Billioun Parameteren verëffentlecht hat.

Am Géigesaz zu ville Firmen, déi Open-Source-Modeller einfach fein-tunen, huet CLEVI de ganze Prozess eegestänneg duerchgefouert — vun der Datesammlung iwwer den Design vum Modell an d'verdeelt Training op grousser Skala bis zur Qualitéitsvalidéierung.

Hei ënnendrënner stelle mir dëst Geheimnis an d'Kompetitivitéit am Detail vir.

1. E klengt Betrib entwéckelt e grousse Sproochmodell?

Am Juli 2025, wéi CLEVI säin eegent entwéckelte grousse Sproochmodell um Marché verëffentlecht huet, waren déi vill Clienten (Benotzer) iwwerrascht a skeptesch. « Ass en wierklech komplett selwer entwéckelt? » « Ass et net einfach en Open-Source-Modell, dee liicht geännert gouf? »

Tatsächlech trainéiere vill Firmen am In- an Ausland Open-Source-Modeller nëmmen duerch einfach Transferléieren (fine-tuning) a maachen duerno Reklamm dofir als hire eegenen Modell.

CLEVI huet awer e **„From-scratch Foundation Model“** an de Mëttelpunkt gestallt.

Dat heescht, datt de ganze Prozess direkt selwer entworf an ausgefouert gouf — vun der Datesammlung iwwer den Design vum Modell an d'verdeelt Training op grousser Skala bis zur Qualitéitsvalidéierung.

2. Firwat d'Entwécklung vun engem grousse Sproochmodell schwéier ass

Fir e From-Scratch Foundation Model ze trainéieren, mussen all déi folgend Beräicher geléiert ginn.

E groussen Dataset mat héijer Qualitéit ass néideg

• Diversitéit: Diversitéit u Sproochen, Domainen a Formater (Text, Biller asw.) sécherstellen
• Reinigung: Rausfiltere vu Kaméidi, Qualitéitskontroll, Filtere vun Duplikater a schiedlechen Daten
• Lizenzen: Copyright an d'Rechter zur Datebenotzung kloer festleeën

Computing-Infrastruktur op grousser Skala

• Héichleeschtungs-GPU/TPU-Cluster: Technologie fir Ausrüstung mat Dausende bis Zéngdausende vu Kniet ze integréieren an verdeelt Training vu grousse Quantitéiten un Daten z'ënnerstëtzen
• Effiziente Frameworks fir verdeelt Training: DeepSpeed, Megatron-LM, Ray asw.
• Stockage/Netzwierk: Input an Output vu grousse Quantitéiten un Daten an eng séier Netzwierkumgebung

Design vun der Modellarchitektur

• Aktuell Struktur berécksiichtegen: Transformer, MoE(Mixture of Experts), multimodal asw.
• Skaléierbarkeet: Skalierbarkeet berécksiichtegen, wéi d'Zuel vun de Parametere, d'Zuel vun de Layeren, d'Längt vun den Inputs asw.
• Effizienz: Optimiséierung vun der Trainings-/Inferenzgeschwindegkeet an der Speichernotzung

Trainingsstrategien an Algorithmen

• Pretraining-Zil: Sproochmodell (z. B. next token prediction), multimodal (z. B. contrastive learning) asw.
• Optimiséierungstechniken: mixed precision, gradient accumulation, learning rate schedule asw.
• Normaliséierung/Stabiliséierung: dropout, layer norm, weight decay asw.

Evaluatiouns- a Validéierungssystem

• Benchmark-Sätz: Standarddatensätz (Benchmarks) benotzen
• Intern Evaluatioun: Evaluatioun op Basis vu reelle Benotzungsszenarien
• Kontinuéierlech Iwwerwaachung: Qualitéit, Bias a Sécherheet während an nom Training iwwerpréiwen

Kompetenze vu Personal an Organisatioun

• AI/ML-Fuerscher: Modellentwécklung an Algorithmenentwécklung
• Dateningenieur: Donnéeë sammelen, virbereeden a verwalten
• Infrastrukturingenieur: Verdeelten Systemer a Cloud-/On-Premises-Verwaltung
• Projetmanager: Zäitplang, Budget a Qualitéitsmanagement

Ethesch, legal a Sécherheetsaspekter

• AI-Ethik: Bias, Sécherheet, Transparenz a Responsabilitéit
• Legal Konformitéit: Dateschutz, Copyright an Datesouveränitéit
• Sécherheet: Schutz virum Verloscht vun Donnéeën/Modeller an Zougangskontroll

Aktuell ginn et weltwäit ongeféier 2.000 AI-Fuerscher, vun deenen déi meescht bei Big-Tech-Firme wéi META, Google an XAI konzentréiert sinn. A Südkorea si Teams, déi alles vun der Datesammlung bis zur Infrastruktur fir Training a groussem Ëmfank selwer konzipéiere kënnen, fir e Foundation Model z'entwéckelen, extrem rar.

3. Mat wéineg Personal e risege Sproochmodell entwéckelen.

De Lee Hwan-ho huet op Basis vu méi wéi 10 Joer Erfahrung an der Fuerschung zu Deep Learning a Machine Learning virun 3 Joer d'Firma (Clevi) gegrënnt, mat dem Zil, „déi weltbescht AI z'entwéckelen“.

Duerch déi komplett intern Konzipéierung vun alle Prozesser, dorënner den Opbau vun enger eegener Datepipeline, den Design vun enger grousser verdeelter Deep-Learning-Infrastruktur, d'Entwécklung vun der Modellarchitektur an d'Qualitéitsvalidéierung, goufen d'Kompetenze fir d'Entwécklung vun engem Foundation Model opgebaut.

Als Resultat vu méiere Trainingsduerchgäng vu Modeller besëtze mir elo de Clevi-5-x-Modell, deen et mat de weltbeschte Modeller ophuele kann.

Fir grouss Sproochmodeller effektiv ze trainéieren, ass eng Infrastruktur néideg, an där Honnerte bis Dausende vu GPUs matenee zu engem Cluster verbonne sinn, fir gläichzäiteg Berechnungen am Beräich vun e puer Billioune pro Sekonn auszeféieren. An dësem Prozess si Technologien entscheedend, déi d’Synchroniséierung vun de Berechnungen an d’Kommunikatiounsverzögerungen a grousse verteilten Ëmfeld minimiséieren. Bis elo konnten déi meescht Entreprisen am Land hir Modeller net richteg trainéieren, well et u „Algorithme fir präzis Kontroll“ gefeelt huet. Den Hwan-ho Lee, CEO vu Clevi, huet esou en eegene Kontrollalgorithmus fir verdeelt Berechnungen entwéckelt an domat als éischten a Südkorea erfollegräich e grousst Sproochemodell mat 1,4 Billiounen (1.4 Trillion) Parameteren trainéiert.

4. Firwat mir mat wéinege Entwéckler verschidde Modeller entwéckele konnten

Och déi meescht Big-Tech-Entreprisen verfügen iwwer Technologien zur Kontroll vu grousser Infrastruktur an zur Dateberäinigung.

Fir dës ze verwalten, sinn Honnerte bis Dausende vu Fuerschungsaarbechter néideg.

Clevi entwéckelt a besëtzt awer mat wéinege Fuerschungsaarbechter verschidde Modeller.

Wéi war dat méiglech?

Mat der Teacher-Student Model(Knowledge Distilation)-Technologie entwéckelt a besëtzt Clevi mat wéinege Mataarbechter verschidde Modeller.

Kucke mir eis elo d’Teacher-Student-Technologie un.

Teacher-Student(Wëssensdestillatioun)

D’Teacher-Student-Technologie ass einfach erkläert eng Technologie, bei där de Kanner-Modell (Student Model) iwwer e grousst Sproochemodell (Teacher Model) bewäert a mat Feedback versuergt gëtt, soudatt mat wéinege Mataarbechter Honnerte vu Fuerschungsaarbechter ersat a verschidde Modeller séier entwéckelt kënne ginn.

• De Mother Model(grousse Modell) bewäert verschidde Fachberäicher-Modeller a gëtt hinnen Feedback, a ersetzt domat Honnerte vu Fuerschungsaarbechter.
• Wann d’Training op dës Manéier iwwer Clevi-x-platform duerchgefouert gëtt, kënnen héichleeschtungsfäeg Modeller wéi Reasoning, VLM, Physical AI a Coding Agent bannent 10–15 Deeg trainéiert an agesat ginn.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Sécherheetsagent

5. Differenzéierung vun der Technologie a Qualitéit vu Clevi-x-platform

Modellleeschtung a Skaléierbarkeet

• Iwwerleeënheet bei der Inferenz (CoT/Reasoning): cip-5-x integréiert schrittweis logesch Entwécklung an d'Presentatioun vu Begrënnungen an d'Philosophie vum Design a weist eng héich zouverlässeg Berechnungs- an Interpretatiounsfäegkeet bei der Léisung vu wëssenschaftlechen, mathemateschen an ingenieurswëssenschaftleche Problemer. Op Basis vun internen Benchmarks ass de System entwéckelt a gëtt bedriwwen, fir Leeschtungsfäegkeeten op GPT-5-Niveau oder doriwwer eraus z'erreechen, wärend d'Reproduzéierbarkeet an d'Verifizéierbarkeet ënner identesche Prompt-Bedingungen als zentral Qualitéitsindikatore geréiert ginn.

• De ganze Spektrum vu multimodale Fäegkeeten: Duerch d'Produktioun an d'Kombinatioun op enger eenzeger Plattform vun engem zweckorientéierte VLM (cip-5-vision), engem multimodale Veraarbechtungsmodell mat grousser Kapazitéit (ivy-4-mm) an engem liichten On-Device-Modell (ivy-3-text) ass eng optimal Kombinatioun méiglech, déi un d'Charakteristike vun der Aufgab (Sichen/Klassifizéieren/Zesummefaassen vs. Inferenz/Erklären/Ausféieren) ugepasst ass.

Uwendbarkeet am Entreprise-Beräich

• On-Premises-Sécherheet an -Disponibilitéit: Betrib iwwer déi ganz Kette am ofgesécherten Netz (Input-Training-Service-Backup), HA-Design, modulär Ausbaufäegkeet an Trennung a Schutz vun Daten a Modellparameter duerch SVCE (isoléiert sécher Ausféierungsëmfeld).
• Séier Aféierung an Ausbau: Ivy Chat (multimodal Dialog/Agent fir d'Aarbecht) an API Platform (global standardiséierte SaaS) ënnerstëtzen eng séier Uwendung a Betrib.

Ënnerscheedungsmerkmale vu Physical AI

• Duerch d'Kombinatioun vu Simulatioun op Basis vun NVIDIA Isaac an evolutiounsbaséierter Verstäerkungsléierung (Evolutionary RL), den Sim2Real-Transfer an d'parallel Training mat syntheteschen Daten goufen d'Léiereffizienz an d'Adaptatiounsfäegkeet am Asaz erhéicht. D'Tatsaach, datt den digitale Beräich bis hin zu der robotescher Léierung an dem Deployment ofgedeckt gëtt, ass eng rar Eegenschaft bei Alternativen.

Servicequalitéit a Gouvernance

• D'Versiounsverwaltung vu Modeller/Prompts/Tools, den Evaluatiounssuite (Wëssen op Koreanesch an Englesch, industriell spezifesch Aufgaben, Kennzuele fir Halluzinatiounen a Sécherheet), d'Ännerungsverwaltung (SLO/SLA) an d'Operatiounsiwwerwaachung (Latency/Erfollegsquote/TCO) ginn iwwer eng eenheetlech Plattformprozedur geréiert.

Aktuell ginn et a Südkorea méi wéi ongeféier 300 Entreprisen, déi AI-Modellservicer ubidden,

awer CLEVI ass déi eenzeg Entreprise, déi duerch en héich performante proprietäre Foundation Model gläichzäiteg On-Premises- a Cloud-Servicer ubidde kann.

6. Méiglechkeete fir Sproochmodeller an der Industrie anzesetzen

Well d'Aféierung vun AI bedeitend Investissementer an eng grëndlech Validatioun erfuerdert, ass et essentiell, Léisungen direkt ze vergläichen an auszeprobéieren, fir festzestellen, ob se Entreprisë wierklech hëllefen.

• CLEVI mécht net nëmmen Modeller, mee bitt och AI-Léisungen un, déi an der realer Industrie agesat kënne ginn.
• Zum Beispill verfügt CLEVI iwwer komplett Enterprise-Kanäl, dorënner d’Ivy Chat Platform, d’Clevi API Platform, branchenspezifesch Personaliséierung an d’Erfëllung vu Sécherheetsufuerderungen.
• CLEVI verfügt iwwer technesch Kompetenzen, déi souwuel national wéi international schwéier ze fannen sinn, dorënner Physesch AI, Robotik a multimodal Dateveraarbechtung.

CLEVI bitt AI net als „Zil“, mee als „Mëttel“ un, a stellt konkret AI-Léisungen zur Verfügung, déi zur realer Aarbechtseffizienz an zu industriellen Innovatioune bäidroen. Erlieft selwer den Ënnerscheed vun echte From-scratch Foundation-Modeller.

Kontakt an Demo-Ufro: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.