From-scratch Foundation Model CLEVI AI(ivy)

„Jak mohla malá společnost vytvořit velký jazykový model umělé inteligence světové úrovně?“

Jak malý startup vytvořil velký jazykový model?

Toto je otázka, kterou jsme nejčastěji dostávali poté, co CLEVI zveřejnila svůj Foundation model s 1,4 bilionu parametrů.

Na rozdíl od mnoha společností, které jednoduše dolaďují open source modely, CLEVI samostatně provedla celý proces od shromažďování dat přes návrh modelu a rozsáhlé distribuované učení až po ověřování kvality.

Níže podrobně představujeme tajemství tohoto úspěchu a naše konkurenční výhody.

1. Velký jazykový model vytvořený malou společností?

Když CLEVI v červenci 2025 uvedla na trh vlastní velký jazykový model, mnoho zákazníků (uživatelů) reagovalo s překvapením a pochybnostmi. „Je skutečně vyvinutý interně?“ „Nejde jen o mírně upravený open source model?“

Ve skutečnosti mnoho domácích i zahraničních společností pouze provádí transferové učení (fine-tuning) open source modelů a propaguje je jako vlastní modely.

CLEVI však představila **„From-scratch Foundation Model“**.

To znamená, že celý proces od shromažďování dat přes návrh modelu a rozsáhlé distribuované učení až po ověřování kvality navrhla a provedla sama.

2. Proč je vývoj velkého jazykového modelu obtížný

Pro trénování From-Scratch Foundation Modelu je nutné zvládnout všechny níže uvedené oblasti.

Je zapotřebí rozsáhlý vysoce kvalitní dataset

• Diverzita: zajištění rozmanitosti jazyků, domén a formátů (text, obrázky atd.)
• Čištění: odstraňování šumu, řízení kvality, filtrování duplicitních/škodlivých dat
• Licence: jasné vymezení autorských práv a práv k používání dat

Rozsáhlá výpočetní infrastruktura

• Vysoce výkonné GPU/TPU clustery: technologie pro integraci zařízení v řádu tisíců až desítek tisíc uzlů a podporu rozsáhlého distribuovaného učení
• Frameworky pro efektivní distribuované učení: DeepSpeed, Megatron-LM, Ray atd.
• Úložiště/síť: vstup a výstup velkého objemu dat, rychlé síťové prostředí

Návrh architektury modelu

• Reflexe nejnovější architektury: Transformer, MoE (Mixture of Experts), multimodalita apod.
• Škálovatelnost: zohlednění rozšiřitelnosti, jako je počet parametrů, počet vrstev, délka vstupu apod.
• Efektivita: optimalizace rychlosti trénování a inference, využití paměti

Trénovací strategie a algoritmy

• Cíl předtrénování: jazykový model (např. next token prediction), multimodalita (např. contrastive learning) apod.
• Optimalizační techniky: mixed precision, gradient accumulation, learning rate schedule apod.
• Normalizace/stabilizace: dropout, layer norm, weight decay apod.

Systém hodnocení a validace

• Benchmarková sada: využití standardních datových sad (Benchmarks)
• Interní hodnocení: hodnocení na základě scénářů skutečného použití
• Průběžné monitorování: kontrola kvality, zkreslení a bezpečnosti během i po trénování

Personální a organizační kapacity

• Výzkumníci v oblasti AI/ML: návrh modelů, vývoj algoritmů
• Datoví inženýři: sběr, čištění a správa dat
• Infrastrukturní inženýři: správa distribuovaných systémů, cloudu/on-premise
• Projektoví manažeři: řízení harmonogramu, rozpočtu a kvality

Etické, právní a bezpečnostní aspekty

• Etika AI: zkreslení, bezpečnost, transparentnost, odpovědnost
• Právní soulad: osobní údaje, autorská práva, datová suverenita
• Bezpečnost: prevence úniku dat/modelů, řízení přístupu

V současnosti čítá výzkumný personál v oblasti AI po celém světě přibližně 2 000 lidí a většina z nich je soustředěna ve velkých technologických společnostech, jako jsou META, Google a XAI. Týmy v Jižní Koreji, které dokážou samostatně navrhnout vše od sběru dat až po rozsáhlou trénovací infrastrukturu a vytvořit Foundation model, jsou mimořádně vzácné.

3. Vytvořit velký jazykový model s omezeným počtem pracovníků.

Generální ředitel Lee Hwan-ho založil před třemi lety společnost CLEVI s cílem „vytvořit nejlepší AI na světě“, přičemž vycházel z více než desetiletých zkušeností s výzkumem hlubokého a strojového učení.

Společnost přímo navrhla všechny procesy potřebné k vývoji Foundation Modelu, včetně vybudování vlastního datového potrubí, návrhu rozsáhlé distribuované infrastruktury pro hluboké učení, vývoje architektury modelu a ověřování kvality, a získala tak potřebné kapacity.

Po několika trénováních modelu nyní vlastní model Clevi-5-x, který může konkurovat modelům světové úrovně.

K efektivnímu trénování obřích jazykových modelů je zapotřebí infrastruktura, která propojí stovky až tisíce GPU do clusteru a umožní současně zpracovávat desítky biliard operací za sekundu. V tomto procesu je klíčová technologie, která v rozsáhlém distribuovaném prostředí minimalizuje synchronizaci výpočtů a komunikační zpoždění. Dosud většina domácích společností nemohla modely řádně trénovat, protože jim chyběl „algoritmus přesného řízení“. Generální ředitel společnosti Clevi Lee Hwan-ho vyvinul tento vlastní algoritmus řízení distribuovaných výpočtů a jako první v Koreji úspěšně natrénoval obří jazykový model s 1,4 bilionu (1.4 Trillion) parametrů.

4. Proč bylo možné vyvíjet různé modely s malým počtem vývojářů

Většina velkých technologických společností má také technologie pro řízení rozsáhlé infrastruktury a čištění dat.

K jejich správě jsou zapotřebí stovky až tisíce výzkumných pracovníků.

Společnost Clevi však vyvíjí a vlastní různé modely s malým počtem výzkumných pracovníků.

Jak to bylo možné?

Společnost Clevi vyvíjí a vlastní různé modely s malým počtem pracovníků díky technologii Teacher-Student Model(Knowledge Distilation).

Nyní se podívejme na technologii Teacher-Student.

Teacher-Student(znalostní destilace)

Technologie Teacher-Student je jednoduše řečeno technologie, která prostřednictvím obřího jazykového modelu (Teacher Model) vyhodnocuje a poskytuje zpětnou vazbu dětskému modelu (Student Model), čímž umožňuje rychlý vývoj různých modelů s malým počtem pracovníků a nahrazuje stovky výzkumných pracovníků.

• Mother Model(obří model) vyhodnocuje různé oborové modely a poskytuje jim zpětnou vazbu, čímž nahrazuje stovky výzkumných pracovníků.
• Pokud by se trénování provádělo tímto způsobem prostřednictvím Clevi-x-platform, vysoce výkonné modely, jako jsou Reasoning, VLM, Physical AI a Coding Agent, by bylo možné natrénovat a nasadit během 10–15 dnů.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Bezpečnostní agent

5. Odlišnosti technologie a kvality Clevi-x-platform

Výkon a škálovatelnost modelu

• Nadřazenost v oblasti uvažování (CoT/Reasoning): cip-5-x zahrnuje postupné rozvíjení logiky a uvádění odůvodnění do své designové filozofie a vykazuje vysoce spolehlivé schopnosti výpočtu a interpretace při řešení vědeckých, matematických a inženýrských problémů. Na základě interních benchmarků je navržen a provozován s cílem dosahovat výkonu na úrovni GPT-5 nebo vyšší a reprodukovatelnost/ověřitelnost za stejných podmínek promptu spravujeme jako klíčové ukazatele kvality.

• Celé spektrum multimodality: Kombinací účelově zaměřeného VLM (cip-5-vision), velkokapacitního multimodálního zpracovatelského modelu (ivy-4-mm) a odlehčeného on-device modelu (ivy-3-text) v rámci jediné platformy lze zvolit optimální kombinaci podle charakteru úlohy (vyhledávání/klasifikace/shrnující zpracování vs. uvažování/vysvětlování/provádění).

Vhodnost pro podnikové nasazení

• Zabezpečení a dostupnost on-premise: Provoz v celém uzavřeném síťovém prostředí (vstup–trénování–služba–zálohování), návrh HA, modulární rozšiřitelnost a SVCE (izolované bezpečné běhové prostředí) zajišťují oddělenou ochranu dat a parametrů modelu.
• Rychlé nasazení a škálování: Ivy Chat (podnikový multimodální dialog/agent) a API Platform (globální standard SaaS) podporují rychlou implementaci a provoz.

Odlišnost v oblasti fyzické AI (Physical AI)

• Kombinace simulace založené na NVIDIA Isaac a evolučně založeného posilovaného učení (Evolutionary RL), přenos Sim2Real a paralelní trénování na syntetických datech zvyšují efektivitu učení a schopnost adaptace v reálném prostředí. Skutečnost, že pokrývá celý proces od digitálního učení přes robotiku až po nasazení, má jen málo alternativ.

Kvalita služeb a governance

• Správa verzí modelů/promptů/nástrojů, hodnoticí sada (znalosti v korejštině a angličtině, úlohy podle odvětví, metriky halucinací a bezpečnosti), řízení změn (SLO/SLA) a provozní observabilita (latence, úspěšnost, TCO) jsou spravovány v rámci jednotných platformních postupů.

V současné době existuje v Jižní Koreji více než přibližně 300 společností poskytujících služby s AI modely,

CLEVI je však jedinou společností, která díky vysoce výkonnému proprietárnímu foundation modelu dokáže současně poskytovat on-premise i cloudové služby.

6. Jak využít jazykové modely v průmyslu

Vzhledem k tomu, že zavedení AI vyžaduje značné investice a důkladné ověření, je nezbytné řešení přímo porovnat a vyzkoušet, aby bylo možné ověřit, zda skutečně přináší podniku užitek.

• CLEVI nejen vytváří modely, ale poskytuje AI řešení použitelná v reálném průmyslovém prostředí.
• Má například kompletní nabídku podnikových služeb, včetně Ivy Chat Platform, Clevi API Platform, přizpůsobení pro jednotlivá odvětví a řešení bezpečnostních požadavků.
• Disponuje technologickými schopnostmi, které lze jen obtížně najít doma i v zahraničí, například v oblasti fyzické AI, robotiky a multimodálního zpracování dat.

CLEVI poskytuje skutečná AI řešení, která využívají AI nikoli jako „účel“, ale jako „prostředek“ a přispívají k efektivitě skutečné práce a průmyslovým inovacím. Zažijte na vlastní kůži odlišnost skutečného From-scratch Foundation modelu.

Dotazy a žádosti o demo: [email protected]

Copyright© 2025 Clevi Inc. Všechna práva vyhrazena.