From-scratch Foundation Model Clevi AI(ivy)

“Paano nagawa ng isang maliit na kumpanya na bumuo ng isang napakalaking AI language model na pang-world-class?”

Paano nakabuo ang isang maliit na startup ng isang napakalaking language model?

Ito ang tanong na pinakamaraming natanggap ng CLEVI mula nang ilabas nito ang Foundation model na may 1.4 trilyong parameter.

Hindi tulad ng maraming kumpanyang basta nagfa-fine-tune lamang ng mga open-source model, isinagawa ng CLEVI nang sariling paraan ang buong proseso—mula sa pangangalap ng data, pagdidisenyo ng modelo, malakihang distributed training, hanggang sa pagpapatunay ng kalidad.

Sa ibaba, ipapaliwanag namin nang detalyado ang sikreto at kompetitibong bentahe nito.

1. Posible bang makabuo ang isang maliit na kumpanya ng napakalaking language model?

Noong Hulyo 2025, nang ilabas ng CLEVI sa merkado ang sarili nitong napakalaking language model, maraming customer (user) ang nagulat at nagduda. “Talaga bang sariling gawa ito?” “Hindi ba bahagyang binago lamang ang isang open-source model?”

Sa katunayan, maraming kumpanya sa loob at labas ng bansa ang basta nagsasagawa lamang ng transfer learning (fine-tuning) sa mga open-source model at ipinapakitang sarili nilang modelo ang mga ito.

Ngunit itinaguyod ng CLEVI ang **‘From-scratch Foundation Model’**.

Ibig sabihin, ang buong proseso—mula sa pangangalap ng data, pagdidisenyo ng modelo, malakihang distributed training, hanggang sa pagpapatunay ng kalidad—ay direktang idinisenyo at isinagawa nito.

2. Mga dahilan kung bakit mahirap bumuo ng napakalaking language model

Upang ma-train ang From-Scratch Foundation Model, kailangang matutunan ang lahat ng sumusunod na bagay.

Kailangan ng malakihang dataset na may mataas na kalidad

• Dibersidad: Pagtiyak sa dibersidad ng wika, domain, at format (teksto, larawan, at iba pa)
• Paglilinis: Pag-aalis ng ingay, pamamahala sa kalidad, at pag-filter ng duplicate/mapanganib na data
• Lisensya: Malinaw na pagtukoy sa copyright at mga karapatang gamitin ang data

Malakihang computing infrastructure

• High-performance GPU/TPU cluster: Teknolohiya para pagsamahin ang mga kagamitan na may libo-libong hanggang sampu-sampung libong node at suportahan ang malakihang distributed training
• Mahusay na distributed training framework: DeepSpeed, Megatron-LM, Ray, at iba pa
• Storage/network: Kapaligirang may kakayahang mag-input at mag-output ng malalaking volume ng data at may mabilis na network

Pagdidisenyo ng arkitektura ng modelo

• Pagsasalamin sa pinakabagong estruktura: Transformer, MoE(Mixture of Experts), multimodal, at iba pa
• Scalability: pagsasaalang-alang sa pagpapalawak ng bilang ng parameter, bilang ng layer, haba ng input, at iba pa
• Efficiency: pag-optimize ng bilis ng training/inference at paggamit ng memory

Mga estratehiya at algorithm ng training

• Layunin ng pretraining: language model (hal., next token prediction), multimodal (hal., contrastive learning), at iba pa
• Mga teknik sa optimization: mixed precision, gradient accumulation, learning rate schedule, at iba pa
• Normalization/stabilization: dropout, layer norm, weight decay, at iba pa

Sistema ng pagsusuri at validation

• Benchmark set: paggamit ng mga standard dataset (Benchmarks)
• Internal na pagsusuri: pagsusuri batay sa mga aktuwal na sitwasyon ng paggamit
• Patuloy na monitoring: pagsuri sa kalidad, bias, at kaligtasan habang at pagkatapos ng training

Kakayahan ng mga tauhan at organisasyon

• AI/ML researcher: disenyo ng modelo, pagbuo ng algorithm
• Data engineer: pangongolekta/paglilinis/pamamahala ng data
• Infrastructure engineer: distributed system, pamamahala ng cloud/on-premises
• Project manager: pamamahala ng iskedyul, badyet, at kalidad

Mga konsiderasyong etikal, legal, at pangseguridad

• Etika sa AI: bias, kaligtasan, transparency, at accountability
• Pagsunod sa batas: privacy, copyright, at data sovereignty
• Seguridad: pag-iwas sa pagtagas ng data/modelo, access control

Sa kasalukuyan, humigit-kumulang 2,000 lamang ang mga AI researcher sa buong mundo, at karamihan sa kanila ay nakatuon sa malalaking tech company gaya ng META, Google, at XAI. Napakakaunti ng mga team sa bansa na kayang direktang magdisenyo ng lahat mula sa pangongolekta ng data hanggang sa malakihang training infrastructure upang makalikha ng Foundation model.

3. Paglikha ng isang napakalaking language model gamit ang kakaunting tauhan.

Batay sa mahigit 10 taong karanasan sa pagsasaliksik sa deep learning at machine learning, itinatag ni CEO Lee Hwan-ho ang kumpanya (CLEVI) tatlong taon na ang nakalipas na may layuning “lumikha ng pinakamahusay na AI sa mundo.”

Sa pamamagitan ng direktang pagdidisenyo ng lahat ng proseso, kabilang ang pagbuo ng sariling data pipeline ng kumpanya, disenyo ng malakihang distributed deep learning infrastructure, pagbuo ng model architecture, at quality validation, nakamit nito ang mga kakayahang kinakailangan para sa pagbuo ng Foundation Model.

Matapos sanayin ang modelo nang ilang ulit, mayroon na ngayon itong Clevi-5-x model na maihahambing sa mga modelong nangunguna sa buong mundo.

Upang epektibong sanayin ang mga napakalalaking language model, kailangan ang imprastraktura na nagkokonekta ng daan-daan hanggang libu-libong GPU sa isang cluster upang sabay-sabay na maproseso ang mga kalkulasyong umaabot sa sampu-sampung quadrillion bawat segundo. Sa prosesong ito, mahalaga ang teknolohiyang nagpapaliit sa pagkaantala ng komunikasyon at nagsi-synchronize ng mga kalkulasyon sa malakihang distributed environment. Hanggang ngayon, dahil walang “precision control algorithm” sa bansa, hindi maayos na nasasanay ng karamihan sa mga kompanya ang kanilang mga modelo. Sa pamamagitan ng sariling pagbuo ng natatanging distributed computation control algorithm, matagumpay na nasanay ni CEO Lee Hwan-ho ng Clevi ang kauna-unahang napakalaking language model sa bansa na may 1.4 trilyong (1.4 Trillion) parameter.

4. Dahilan kung bakit nakapag-develop ng iba’t ibang modelo gamit ang maliit na bilang ng mga developer

Karamihan sa malalaking kompanya ng teknolohiya ay mayroon ding mga teknolohiya para sa pagkontrol ng malakihang imprastraktura at paglilinis ng datos.

Upang mapamahalaan ang mga ito, kailangan ng daan-daan hanggang libu-libong mananaliksik.

Gayunpaman, nakapagde-develop at nakapagmamay-ari ang Clevi ng iba’t ibang modelo gamit ang kaunting mananaliksik.

Paano ito naging posible?

Sa pamamagitan ng Teacher-Student Model(Knowledge Distilation) technology, nakapagde-develop at nakapagmamay-ari ang Clevi ng iba’t ibang modelo gamit ang maliit na bilang ng mga tauhan.

Kung gayon, tingnan natin ang tungkol sa Teacher-Student technology.

Teacher-Student (Knowledge Distillation)

Sa madaling salita, ang Teacher-Student technology ay isang teknolohiyang mabilis na nagde-develop ng iba’t ibang modelo kahit kaunti ang tauhan, sa pamamagitan ng pagsusuri at pagbibigay ng feedback sa child model (Student Model) gamit ang napakalaking language model (Teacher Model), kaya napapalitan nito ang daan-daang mananaliksik.

• Sinusuri at binibigyan ng feedback ng Mother Model (napakalaking modelo) ang mga modelo sa iba’t ibang larangan, kaya napapalitan nito ang daan-daang mananaliksik.
• Kung isasagawa ang training sa ganitong paraan sa pamamagitan ng Clevi-x-platform, maaaring sanayin at i-deploy sa loob lamang ng 10–15 araw ang mga high-performance model gaya ng Reasoning, VLM, Physical AI, at Coding Agent.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Security Agent

5. Pagkakaiba ng Clevi-x-platform sa teknolohiya at kalidad

Performance at scalability ng modelo

• Kalamangan sa inference (CoT/Reasoning): Isinama ng cip-5-x sa pilosopiya ng disenyo nito ang sunod-sunod na lohikal na pangangatwiran at paglalahad ng batayan, na nagpapakita ng mataas na pagiging maaasahan sa pagkalkula at interpretasyon sa paglutas ng mga suliranin sa agham, matematika, at engineering. Dinidisenyo at pinapatakbo ito na may layuning makamit ang performance na katumbas o mas mataas sa antas ng GPT-5 batay sa mga panloob na benchmark, habang ang reproducibility at verifiability sa ilalim ng parehong kondisyon ng prompt ay pinamamahalaan bilang pangunahing mga panukat ng kalidad.

• Buong spectrum ng multimodal: Sa pamamagitan ng paggawa at pagsasama sa iisang platform ng purpose-driven VLM (cip-5-vision), large-scale multimodal processing model (ivy-4-mm), at lightweight on-device model (ivy-3-text), posible ang pinakamainam na kumbinasyon ayon sa katangian ng gawain (paghahanap/pag-uuri/pagbubuod kumpara sa inference/pagpapaliwanag/pagpapatupad).

Pagiging angkop para sa enterprise

• Seguridad at availability sa on-premises: Pinapatakbo sa buong saradong network (input-pagsasanay-serbisyo-backup), na may HA design, modular na pagpapalawak, at SVCE (hiwalay na ligtas na execution environment) upang magkahiwalay na maprotektahan ang data at mga parameter ng modelo.
• Mabilis na pagpapatupad at pagpapalawak: Sinusuportahan ang mabilis na aplikasyon at operasyon sa pamamagitan ng Ivy Chat (multimodal na pag-uusap/agent para sa trabaho) at API Platform (pandaigdigang standard na SaaS).

Pagkakaiba ng Physical AI

• Sa pamamagitan ng pagsasama ng NVIDIA Isaac-based simulation at Evolutionary RL, pati parallel training gamit ang Sim2Real transfer at synthetic data, napahusay ang learning efficiency at adaptability sa aktuwal na lugar. Bihira ang mga alternatibong sumasaklaw mula sa digital at robotics learning hanggang sa deployment.

Kalidad ng serbisyo at pamamahala

• Pinamamahalaan sa iisang proseso ng platform ang version control ng mga modelo/prompt/tool, evaluation suite (kaalamang Koreano at Ingles, mga task ayon sa industriya, mga panukat ng hallucination at kaligtasan), change management (SLO/SLA), at operational observability (latency, success rate, TCO).

Sa kasalukuyan, may mahigit 300 kompanya ng AI model services sa Korea, ngunit

ang CLEVI lamang ang makapagbibigay nang sabay ng on-premises at cloud services sa pamamagitan ng sarili nitong high-performance foundation model.

6. Mga paraan ng paggamit ng language model sa industriya

Dahil nangangailangan ang pagpapatupad ng AI ng malaking puhunan at masusing beripikasyon, mahalagang direktang ikumpara at subukan kung ang solusyon ay tunay na makatutulong sa negosyo.

• Hindi lamang gumagawa ng mga modelo ang CLEVI, kundi nagbibigay din ito ng mga AI solution na maaaring gamitin sa aktuwal na mga industriyal na lugar ng trabaho.
• Halimbawa, kumpleto ito sa mga enterprise channel, kabilang ang Ivy Chat Platform, Clevi API Platform, pagpapasadya ayon sa industriya, at pagtugon sa mga kinakailangan sa seguridad.
• Taglay nito ang mga teknikal na kakayahang mahirap matagpuan sa loob at labas ng bansa, kabilang ang physical AI, robotics, at multimodal data processing.

Nagbibigay ang CLEVI ng mga konkretong AI solution na ginagamit ang AI bilang ‘paraan,’ hindi bilang ‘layunin,’ upang mag-ambag sa aktuwal na kahusayan sa trabaho at inobasyon sa industriya. Direktang maranasan ang pagkakaiba ng tunay na From-scratch Foundation model.

Mga katanungan at kahilingan para sa demo: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.