From-scratch Foundation Model CLEVI AI(ivy)

“Kijan yon ti konpayi te kapab kreye yon gwo modèl langaj AI ki nan pi wo nivo mondyal la?”

Kijan yon ti startup te kreye yon gwo modèl langaj?

Depi CLEVI te pibliye yon modèl Foundation ki gen 1.4 billions paramèt, se kesyon sa a li te resevwa pi souvan.

Kontrèman ak anpil konpayi ki senpleman fè fine-tuning sou modèl open source, CLEVI te egzekite tout pwosesis la poukont li, depi nan koleksyon done, konsepsyon modèl la, aprantisaj distribye sou gwo echèl, rive nan verifikasyon kalite a.

Nou prezante sekrè ak avantaj konpetitif sa yo an detay pi ba a.

1. Yon ti konpayi kreye yon gwo modèl langaj?

An jiyè 2025, lè CLEVI te mete sou mache yon gwo modèl langaj li te devlope poukont li, anpil kliyan (itilizatè) te reyaji avèk sipriz ak dout. “Èske se vrèman yon devlopman entèn?” “Èske se pa sèlman yon modèl open source yo te modifye yon ti jan?”

An reyalite, anpil konpayi nan Kore di Sid ak aletranje souvan fè sèlman aprantisaj transfè (fine-tuning) sou modèl open source, epi yo fè pwomosyon pou yo kòm pwòp modèl pa yo.

Men, CLEVI te mete devan yon **‘From-scratch Foundation Model’**.

Sa vle di li te konsevwa epi egzekite tout pwosesis la dirèkteman, depi nan koleksyon done, konsepsyon modèl la, aprantisaj distribye sou gwo echèl, rive nan verifikasyon kalite a.

2. Poukisa devlopman gwo modèl langaj difisil

Pou antrene yon From-Scratch Foundation Model, li nesesè metrize tout eleman ki anba yo.

Yon gwo seri done kalite siperyè nesesè

• Divèsite: asire divèsite nan lang, domèn ak fòma (tèks, imaj, elatriye)
• Netwayaj: retire bri, jere kalite, filtre done ki kopi oswa ki danjere
• Lisans: klarifye dwa otè ak dwa pou itilize done yo

Gwo enfrastrikti enfòmatik

• Gwoup GPU/TPU pèfòmans elve: entegre ekipman ki gen plizyè milye rive plizyè dizèn milye nœud pou sipòte aprantisaj distribye sou gwo volim
• Kad aprantisaj distribye efikas: DeepSpeed, Megatron-LM, Ray, elatriye
• Depo/rezo: antre-sòti gwo volim done ak yon anviwònman rezo rapid

Konsepsyon achitekti modèl la

• Refleksyon sou estrikti ki pi resan yo: Transformer, MoE(Mixture of Experts), miltimodalite, elatriye
• Eskalatabilite: pran an konsiderasyon kapasite pou ogmante kantite paramèt, kantite kouch, longè antre yo, elatriye
• Efikasite: optimize vitès fòmasyon/anfèmasyon ak itilizasyon memwa

Estrateji ak algoritm fòmasyon

• Objektif pre-fòmasyon: modèl lang (pa egzanp, next token prediction), miltimodalite (pa egzanp, contrastive learning), elatriye
• Teknik optimizasyon: mixed precision, gradient accumulation, learning rate schedule, elatriye
• Nòmalizasyon/estabilizasyon: dropout, layer norm, weight decay, elatriye

Sistèm evalyasyon ak validasyon

• Ansanm referans: itilize ansanm done estanda (Benchmarks)
• Evalyasyon entèn: evalyasyon ki baze sou senaryo itilizasyon reyèl
• Siveyans kontinyèl: verifye kalite, patipri ak sekirite pandan ak apre fòmasyon

Kapasite pèsonèl ak òganizasyonèl

• Chèchè AI/ML: konsepsyon modèl, devlopman algoritm
• Enjenyè done: koleksyon/netèwayaj/jesyon done
• Enjenyè enfrastrikti: sistèm distribye, jesyon nwaj/on-premises
• Manadjè pwojè: jesyon delè, bidjè ak kalite

Konsiderasyon etik, legal ak sekirite

• Etik AI: patipri, sekirite, transparans, responsablite
• Konfòmite legal: vi prive, dwa otè, souverènte done
• Sekirite: prevansyon flit done/modèl, kontwòl aksè

Kounye a, gen apeprè 2 000 moun k ap travay nan rechèch AI atravè lemond, e menm kantite sa a konsantre sitou nan gwo konpayi teknoloji tankou META, Google ak XAI. Nan Kore di Sid, ekip ki kapab konsevwa dirèkteman yon modèl Foundation, depi nan koleksyon done rive nan enfrastrikti fòmasyon gwo echèl, ra anpil.

3. Kreye yon modèl langaj gwo echèl ak yon ti kantite pèsonèl.

Baze sou plis pase 10 ane eksperyans nan rechèch deep learning ak machine learning, PDG Lee Hwan-ho te fonde konpayi an (Clevi) sa gen 3 zan avèk objektif pou l “kreye pi bon AI nan mond lan”.

Li te konsevwa dirèkteman tout pwosesis yo, tankou konstriksyon pwòp pipeline done konpayi an, konsepsyon enfrastrikti deep learning distribye gwo echèl, devlopman achitekti modèl ak verifikasyon kalite, pou l devlope kapasite ki nesesè pou devlopman yon Foundation Model.

Apre li te fòme modèl la plizyè fwa, konpayi an gen kounye a yon modèl Clevi-5-x ki kapab konpare ak modèl ki nan pi bon nivo mondyal la.

Pou antrene gwo modèl lang yo avèk efikasite, li nesesè konekte soti nan plizyè santèn rive nan plizyè milye GPU an gwoup, avèk yon enfrastrikti ki kapab trete an menm tan kalkil ki rive jiska plizyè milya operasyon pa segonn. Nan pwosesis sa a, teknoloji ki minimize senkronizasyon kalkil ak reta kominikasyon nan gwo anviwònman distribye yo esansyèl. Jiska prezan, nan Kore di Sid, pifò antrepriz pa t kapab antrene modèl yo kòmsadwa paske pa t gen “algoritm kontwòl presi”. Lè li devlope anndan konpayi an yon algoritm kontwòl kalkil distribye endepandan konsa, PDG Clevi a, Lee Hwan-ho, te reyisi antrene premye gwo modèl lang nan Kore di Sid ki gen 1.4 billions (1.4 Trillion) paramèt.

4. Rezon ki fè li te posib pou devlope divès modèl avèk yon ti kantite devlopè

Pifò antrepriz gwo teknoloji yo genyen tou teknoloji pou kontwole gwo enfrastrikti ak pou netwaye done.

Pou jere sa, yo bezwen plizyè santèn rive plizyè milye chèchè.

Sepandan, Clevi devlope epi posede divès modèl avèk yon ti kantite chèchè.

Kijan sa te posib?

Clevi itilize teknoloji Teacher-Student Model(Knowledge Distilation) pou devlope epi posede divès modèl avèk yon ti kantite anplwaye.

Kounye a, ann egzamine teknoloji Teacher-Student la.

Teacher-Student (distilasyon konesans)

Teknoloji Teacher-Student la, an tèm senp, se yon teknoloji ki sèvi ak yon gwo modèl lang (Teacher Model) pou evalye epi bay fidbak sou yon modèl pitit (Student Model), sa ki pèmèt ranplase plizyè santèn chèchè avèk yon ti kantite anplwaye epi devlope divès modèl rapidman.

• Mother Model (gwo modèl la) evalye epi bay fidbak sou modèl ki nan divès domèn, epi li ranplase plizyè santèn chèchè.
• Si yo fè fòmasyon an atravè Clevi-x-platform avèk metòd sa a, yo kapab antrene epi deplwaye modèl pèfòmans wo tankou Reasoning, VLM, Physical AI, Coding Agent, elatriye, nan sèlman 10–15 jou.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Ajan sekirite

5. Diferansyasyon teknoloji ak kalite Clevi-x-platform

Pèfòmans ak évolutivité modèl la

• Siperyorite nan rezònman (CoT/Reasoning): cip-5-x enkòpore devlopman lojik etap pa etap ak prezantasyon prèv nan filozofi konsepsyon li; li montre gwo kapasite pou fè kalkil ak entèprete rezilta avèk fyab nan rezolisyon pwoblèm syantifik, matematik ak jeni. Dapre referans entèn yo, li fèt epi opere ak objektif pou rive nan yon nivo pèfòmans ki egal oswa siperyè ak GPT-5, pandan yo jere repwodiktibilite ak posiblite verifikasyon nan menm kondisyon envit yo kòm endikatè kle kalite.

• Tout spectre multimodal la: li posib pou pwodui ak konbine sou yon sèl platfòm VLM oryante sou objektif (cip-5-vision), yon modèl gwo kapasite pou tretman multimodal (ivy-4-mm), ak yon modèl lejè sou aparèy (ivy-3-text), pou jwenn konbinezon optimal selon karakteristik travay la (rechèch/klasifikasyon/rezime vs. rezònman/eksplikasyon/egzekisyon).

Aplikabilite nan antrepriz

• Sekirite ak disponiblite sou lokal: operasyon sou tout chèn lan nan yon rezo fèmen (antre-done–aprantisaj–sèvis–sovgad), konsepsyon HA, ekspansyon modilè, ak SVCE (anviwònman egzekisyon izole ki an sekirite) pèmèt separe epi pwoteje done yo ak paramèt modèl yo.
• Adopsyon ak ekspansyon rapid: Ivy Chat (konvèsasyon/ajan multimodal pou travay), API Platform (SaaS estanda global) sipòte aplikasyon ak operasyon rapid.

Diferansyasyon AI fizik (Physical AI)

• Konbinezon simulation ki baze sou NVIDIA Isaac ak aprantisaj ranfòsman ki baze sou evolisyon (Evolutionary RL), ansanm ak transfè Sim2Real ak aprantisaj paralèl sou done sentetik, ogmante efikasite aprantisaj ak kapasite adaptasyon sou teren an. Lefèt ke li kouvri tout pwosesis la, depi aprantisaj dijital ak aprantisaj robotik rive nan deplwaman, fè solisyon ranplasan yo ra.

Kalite sèvis ak gouvènans

• Yo jere vèsyon modèl/prompt/zouti, yon suit evalyasyon (konesans an koreyen ak an anglè, travay selon endistri, endikatè alisinasyon ak sekirite), jesyon chanjman (SLO/SLA), ak obsèvabilite operasyonèl (latans, to siksè, TCO) atravè pwosedi yon sèl platfòm.

Kounye a, gen plis pase apeprè 300 antrepriz ki bay sèvis modèl AI nan Kore di Sid, men

Clevi se sèl kote ki kapab bay sèvis sou lokal ak sèvis nan nwaj an menm tan atravè yon modèl fondasyon endepandan ki gen gwo pèfòmans.

6. Fason pou itilize modèl langaj yo nan endistri a

Piske adopsyon AI mande gwo envestisman ak verifikasyon apwofondi, li esansyèl pou konpare epi teste dirèkteman si solisyon an vrèman itil pou antrepriz la.

• CLEVI pa limite tèt li sèlman nan kreye modèl, men li ofri solisyon AI ki ka aplike nan anviwònman endistriyèl reyèl.
• Pa egzanp, li gen yon chanèl antrepriz konplè ki gen ladan Ivy Chat Platform, Clevi API Platform, pèsonalizasyon pou chak endistri, ak repons pou egzijans sekirite.
• Li posede kapasite teknik ki difisil pou jwenn nan peyi a ak aletranje, tankou AI fizik, robotik, ak tretman done miltimodal.

CLEVI konsidere AI kòm yon «mwayen» olye de yon «objektif», epi li ofri solisyon AI konkrè ki kontribye nan efikasite travay reyèl ak inovasyon endistriyèl. Eksperimante dirèkteman diferans yon vrè modèl Foundation From-scratch.

Pou kesyon ak demann demonstrasyon: [email protected]

Copyright© 2025 Clevi Inc. Tout dwa rezève.