From-scratch Foundation Model CLEVI AI(ivy)

“Pehea i hiki ai i kahi hui liʻiliʻi ke kūkulu i kahi ʻōlelo-AI nui loa ma ka pae kiʻekiʻe loa o ka honua?”

Pehea i kūkulu ai kahi startup liʻiliʻi i kahi kumu hoʻohālike ʻōlelo nui loa?

ʻO kēia ka nīnau i loaʻa pinepine loa iā CLEVI ma hope o ka hoʻolaha ʻana i kāna Foundation model nona ka nui he 1.4 trillion mau ʻāpana hoʻohālike.

ʻAʻole e like me nā hui he nui e hana wale ana i ka fine-tuning o nā kumu hoʻohālike open-source, ua hoʻokō kūʻokoʻa ʻo CLEVI i nā kaʻina a pau, mai ka hōʻiliʻili ʻikepili, ka hoʻolālā kumu hoʻohālike, ka hoʻomaʻamaʻa puʻunaue nui, a hiki i ka hōʻoia ʻana i ka maikaʻi.

E hōʻike kikoʻī ʻia ma lalo nei kona mea huna a me kona ikaika hoʻokūkū.

1. Kūkulu kahi hui liʻiliʻi i kahi kumu hoʻohālike ʻōlelo nui loa?

I Iulai 2025, i ka wā i hoʻolaha ai ʻo CLEVI i kāna kumu hoʻohālike ʻōlelo nui loa i hoʻomohala ponoʻī ʻia ma ka mākeke, ua pihoihoi nā mea kūʻai aku he nui me ke kahaha a me ka kānalua. “He hoʻomohala ponoʻī anei kēia?” “ʻAʻole anei i hoʻololi iki wale ʻia kekahi kumu hoʻohālike open-source?”

ʻO ka ʻoiaʻiʻo, nui nā hui ma loko a ma waho o ka ʻāina e hana wale ana i ka transfer learning (fine-tuning) o nā kumu hoʻohālike open-source, a hoʻolaha aku iā lākou ma ke ʻano he mau kumu hoʻohālike ponoʻī.

Akā, ua hōʻike ʻo CLEVI i ka **‘From-scratch Foundation Model’**.

ʻO ia hoʻi, ua hoʻolālā a hoʻokō pono ʻia e ia nā kaʻina a pau, mai ka hōʻiliʻili ʻikepili, ka hoʻolālā kumu hoʻohālike, ka hoʻomaʻamaʻa puʻunaue nui, a hiki i ka hōʻoia ʻana i ka maikaʻi.

2. Nā kumu e paʻakikī ai ka hoʻomohala ʻana i kahi kumu hoʻohālike ʻōlelo nui loa

No ka hoʻomaʻamaʻa ʻana i ka From-Scratch Foundation Model, pono e aʻo ʻia nā mea a pau ma lalo nei.

Pono kahi pūʻulu ʻikepili nui a kiʻekiʻe kona maikaʻi

• Ka ʻokoʻa: Ka hōʻoia ʻana i ka ʻokoʻa o nā ʻōlelo, nā kahua, a me nā ʻano (kikokikona, kiʻi, a pēlā aku)
• Ka hoʻomaʻemaʻe: Ka wehe ʻana i ka walaʻau, ka mālama ʻana i ka maikaʻi, a me ka kānana ʻana i nā ʻikepili pālua a ʻino
• Nā laikini: Ka wehewehe maopopo ʻana i ke kuleana kope a me nā kuleana hoʻohana ʻikepili

Kahua helu kamepiula nui

• Pūʻulu GPU/TPU hana kiʻekiʻe: Ka hoʻohui ʻana i nā lako he mau kaukani a he mau ʻumi kaukani node no ke kākoʻo ʻana i ka hoʻomaʻamaʻa puʻunaue nui
• Pūnaehana hoʻomaʻamaʻa puʻunaue maikaʻi: DeepSpeed, Megatron-LM, Ray a me nā mea like
• Waihona/pūnaewele: Ka hoʻokomo a me ka hoʻopuka ʻana i nā ʻikepili nui, a me kahi kaiapuni pūnaewele wikiwiki

Ka hoʻolālā ʻana i ka hale kumu hoʻohālike

• Hoʻokomo i nā kūkulu hou: Transformer, MoE(Mixture of Experts), multimodal a pēlā aku
• Scalability: e noʻonoʻo ana i ka hoʻonui ʻia o ka helu o nā ʻāpana, ka helu o nā layer, ka lōʻihi o ka hoʻokomo a pēlā aku
• Ka maikaʻi o ka hana: ka wikiwiki o ke aʻo ʻana/ka inference a me ka hoʻonui ʻana i ka hoʻohana ʻana i ka hoʻomanaʻo

Nā hoʻolālā a me nā algorithm no ke aʻo ʻana

• Pahuhopu pretraining: language model (e laʻa, next token prediction), multimodal (e laʻa, contrastive learning) a pēlā aku
• Nā ʻano optimization: mixed precision, gradient accumulation, learning rate schedule a pēlā aku
• Normalization/stabilization: dropout, layer norm, weight decay a pēlā aku

ʻŌnaehana loiloi a hōʻoia

• Pūʻulu benchmark: ka hoʻohana ʻana i nā pūʻulu ʻikepili maʻamau (Benchmarks)
• Loiloi kūloko: ka loiloi ʻana ma muli o nā hanana hoʻohana maoli
• Nānā mau: ka nānā ʻana i ka maikaʻi, ka bias, a me ka palekana i ka wā aʻo a ma hope iho

Nā limahana a me ka hiki o ka hui

• Nā kānaka noiʻi AI/ML: ka hoʻolālā ʻana i nā model a me ka hoʻomohala ʻana i nā algorithm
• ʻEnekinia ʻikepili: ka hōʻiliʻili, ka hoʻomaʻemaʻe, a me ka mālama ʻana i ka ʻikepili
• ʻEnekinia infrastructure: nā ʻōnaehana distributed a me ka mālama ʻana i ke ao/cloud a me on-premises
• Project manager: ka mālama ʻana i ka papa manawa, ka waihona kālā, a me ka maikaʻi

Nā noʻonoʻo e pili ana i ka loina, ke kānāwai, a me ka palekana

• Loina AI: ka bias, ka palekana, ka transparency, a me ke kuleana
• Hoʻokō kānāwai: ka ʻike pilikino, ke kuleana kope, a me ke kūʻokoʻa o ka ʻikepili
• Palekana: ka pale ʻana i ka hoʻokuʻu ʻia ʻana o ka ʻikepili a me nā model, a me ka hoʻomalu ʻana i ke komo ʻana

Aia ma kahi o 2,000 ka nui o nā kānaka noiʻi AI ma ka honua holoʻokoʻa i kēia manawa, a ʻo ka hapa nui o lākou ua paʻa i nā hui ʻenehana nui e like me META, Google, a me XAI. He kakaʻikahi loa nā hui ma ka ʻāina e hiki ke hoʻolālā pono iā lākou iho i nā mea a pau, mai ka hōʻiliʻili ʻikepili a hiki i ka infrastructure aʻo nui, no ka hana ʻana i kahi Foundation model.

3. Ka hana ʻana i kahi large language model me nā limahana liʻiliʻi.

Ma muli o kona ʻike ma mua o 10 makahiki i ka noiʻi ʻana i ka deep learning a me ka machine learning, ua hoʻokumu ʻo Luna Hoʻokele Lee Hwan-ho i ka hui (Clevi) i 3 makahiki i hala me ka pahuhopu e “hana i ka AI ʻoi loa o ka honua.”

Ma o ka hoʻolālā pono ʻana iā ia iho i nā kaʻina hana a pau e pono ai no ka hoʻomohala ʻana i kahi Foundation Model—e like me ke kūkulu ʻana i ka data pipeline o ka hui ponoʻī, ka hoʻolālā ʻana i ka infrastructure deep learning distributed nui, ka hoʻomohala ʻana i ka model architecture, a me ka hōʻoia ʻana i ka maikaʻi—ua loaʻa iā ia nā mākau e pono ai.

Ma hope o ke aʻo ʻana i nā model i nā manawa he nui, ua loaʻa iā ia i kēia manawa ka Clevi-5-x model, i hiki ke hoʻohālikelike ʻia me nā model kūlana kiʻekiʻe loa o ka honua.

No ka hoʻomaʻamaʻa pono ʻana i nā hiʻohiʻona ʻōlelo nunui loa, pono kahi ʻōnaehana e hoʻohui ana i mai nā haneli a hiki i nā tausani GPU i loko o kahi pūʻulu, i hiki ke hana pū i nā helu ʻana he mau quadrillion i kēlā me kēia kekona. Ma kēia kaʻina hana, he mea nui nā ʻenehana e hoʻemi ana i ka lohi o ka hoʻouna ʻana a me ka pono e hoʻonohonoho like i nā helu ʻana ma kahi kaiapuni hoʻolaha nunui. A hiki i kēia manawa, no ka nele i nā “algorithm hoʻomalu kikoʻī,” ʻaʻole hiki i ka hapa nui o nā ʻoihana kūloko ke hoʻomaʻamaʻa pono i nā hiʻohiʻona. Ma o ka hoʻomohala kūʻokoʻa ʻana a Clevi CEO Lee Hwan-ho i kēia algorithm hoʻomalu helu hoʻolaha kūikawā, ua kūleʻa ʻo ia, no ka manawa mua ma ka ʻāina, i ka hoʻomaʻamaʻa ʻana i kahi hiʻohiʻona ʻōlelo nunui loa me ka nui o 1.4 trillion (1.4 Trillion) mau parameter.

4. Ke kumu i hiki ai ke hoʻomohala i nā hiʻohiʻona like ʻole me ka heluna liʻiliʻi o nā mea hoʻomohala

Loaʻa i ka hapa nui o nā ʻoihana ʻenehana nunui nā ʻenehana no ka hoʻomalu ʻana i nā ʻōnaehana nui a me ka hoʻomaʻemaʻe ʻana i ka ʻikepili.

No ka mālama ʻana i kēia mau mea, pono nā haneli a hiki i nā tausani o nā kānaka noiʻi.

Akā, hoʻomohala a mālama ʻo Clevi i nā hiʻohiʻona like ʻole me ka heluna liʻiliʻi o nā kānaka noiʻi.

Pehea i hiki ai kēia?

Ma o ka ʻenehana Teacher-Student Model(Knowledge Distilation), hoʻomohala a mālama ʻo Clevi i nā hiʻohiʻona like ʻole me ka heluna liʻiliʻi o nā limahana.

E nānā kākou i ka ʻenehana Teacher-Student.

Teacher-Student(ka hoʻoili ʻike)

ʻO ka ʻenehana Teacher-Student, ma ka ʻōlelo maʻalahi, he ʻenehana e loiloi a hāʻawi manaʻo ai ka hiʻohiʻona ʻōlelo nunui loa (Teacher Model) i ka hiʻohiʻona keiki (Student Model), e hiki ai ke hoʻololi i nā kānaka noiʻi he haneli a hoʻomohala wikiwiki i nā hiʻohiʻona like ʻole me ka heluna liʻiliʻi o nā limahana.

• Hoʻoloi a hāʻawi manaʻo ka Mother Model(hiʻohiʻona nunui loa) i nā hiʻohiʻona o nā kahua like ʻole, a hoʻololi ia i nā haneli o nā kānaka noiʻi.
• Inā hana ʻia ka hoʻomaʻamaʻa ʻana ma kēia ʻano ma o Clevi-x-platform, hiki ke hoʻomaʻamaʻa a hoʻoili ʻia nā hiʻohiʻona hana kiʻekiʻe e like me Reasoning, VLM, Physical AI, Coding Agent a me nā mea ʻē aʻe i loko o 10–15 lā.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

ʻĀkena palekana

5. Ka ʻokoʻa o ka ʻenehana a me ka maikaʻi o Clevi-x-platform

Ka hana a me ka hiki ke hoʻonui ʻia o ka hiʻohiʻona

• Kūlana kiʻekiʻe o ka noʻonoʻo ʻana (CoT/Reasoning): Ua hoʻokomo ʻo cip-5-x i ka hoʻomohala loiloi ma nā ʻanuʻu a me ka hōʻike ʻana i nā kumu i loko o kona akeakamai hoʻolālā, a hōʻike i ka hiki ke helu a wehewehe me ka hilinaʻi kiʻekiʻe i ka hoʻoponopono ʻana i nā pilikia ʻepekema, makemakika a me ka ʻenekinia. Ma muli o nā pae hoʻohālikelike kūloko, ke hoʻolālā ʻia a ke hoʻohana ʻia nei ia me ka pahuhopu o ka hiki ke hana ma ka pae GPT-5 a ʻoi aku paha, a mālama ʻia ka hiki ke hana hou a me ka hiki ke hōʻoia ma lalo o nā kūlana prompt like ma ke ʻano he hōʻailona nui o ka maikaʻi.

• Ka laulā holoʻokoʻa o ka multimodal: Hiki ke hana a hoʻohui ma luna o hoʻokahi paepae i ka VLM i kālele ʻia i ka pahuhopu (cip-5-vision), ka model hana multimodal nui (ivy-4-mm), a me ka model māmā no nā mea hana (ivy-3-text), i mea e koho ai i ka hui kūpono loa e like me ke ʻano o ka hana (huli/hoʻokaʻawale/hōʻuluʻulu vs. noʻonoʻo/wehewehe/hoʻokō).

Kūpono no ka hoʻohana ʻana i nā ʻoihana

• Ka palekana a me ka loaʻa mau ma on-premises: Hoʻohana ʻia ma loko o ka pūnaewele paʻa holoʻokoʻa (hoʻokomo-aʻo-lawelawe-kākoʻo), me ka hoʻolālā HA, ka hoʻonui modular, a me ka hoʻokaʻawale a me ka pale ʻana i ka ʻikepili a me nā palena model ma o SVCE (kaiapuni hoʻokō palekana i hoʻokaʻawale ʻia).
• Hoʻokomo a hoʻonui wikiwiki: Kākoʻo ʻo Ivy Chat (kamaʻilio multimodal/agent no ka hana) a me API Platform (SaaS maʻamau honua) i ka hoʻokō a me ka hoʻokele wikiwiki.

ʻOkoʻa ka Physical AI

• Ma ka hoʻohui ʻana i ka simulation ma muli o NVIDIA Isaac me ka hoʻoikaika aʻo e pili ana i ka evolution (Evolutionary RL), a me ka hoʻoili Sim2Real a me ke aʻo like ʻana me ka ʻikepili synthetic, ua hoʻonui ʻia ka pono o ke aʻo ʻana a me ka hiki ke hoʻololi i nā wahi hana. He kakaʻikahi nā koho ʻē aʻe e uhi ana mai ke aʻo kikohoʻe a me ka aʻo robotics a hiki i ka hoʻoili ʻana.

Ka maikaʻi o ka lawelawe a me ka governance

• Mālama ʻia ka mana o nā mana model/prompt/tool, ka evaluation suite (ʻike ʻōlelo Korea a me ka ʻōlelo Pelekania, nā hana no kēlā me kēia ʻoihana, nā hōʻailona hallucination a me ka palekana), ka hoʻokele hoʻololi (SLO/SLA), a me ka nānā ʻana i ka hana (latency, success rate, TCO) ma o nā kaʻina hana o hoʻokahi paepae.

Aia ma kahi o 300 a ʻoi aku nā ʻoihana lawelawe model AI ma Kōlea i kēia manawa, akā

ʻO CLEVI wale nō ka mea hiki ke hāʻawi i nā lawelawe on-premises a me cloud i ka manawa like ma o kāna foundation model kūʻokoʻa a me ka hana kiʻekiʻe.

6. Nā ala e hoʻohana ai i nā language model i nā ʻoihana

No ka mea e pono ai ka hoʻokomo ʻana i AI i ka hoʻopukapuka nui a me ka hōʻoiaʻiʻo piha, he mea pono ka hoʻohālikelike a me ka hoʻāʻo pololei ʻana e ʻike inā he hopena kōkua maoli ia no ka ʻoihana.

• ʻAʻole hana wale ʻo CLEVI i nā model, akā hāʻawi pū ʻo ia i nā hopena AI i hiki ke hoʻohana ʻia ma nā kahua ʻoihana maoli.
• No ka laʻana, ua hoʻolako piha ʻo ia i nā kahawai no nā ʻoihana, e like me Ivy Chat Platform, Clevi API Platform, ka hoʻopilikino ʻana no kēlā me kēia ʻoihana, a me ka hoʻokō ʻana i nā koi palekana.
• Loaʻa iā ia nā mākaukau ʻenehana paʻakikī ke loaʻa ma loko a ma waho o ka ʻāina, e like me ka AI kino, ka robotics, a me ka hoʻoponopono ʻana i nā ʻikepili multimodal.

Hāʻawi ʻo CLEVI i nā hopena AI maoli e kōkua ana i ka pono o ka hana maoli a me ka holomua o nā ʻoihana, me ka ʻike ʻana i ka AI ma ke ʻano he ‘mea hana’, ʻaʻole he ‘pahuhopu’. E ʻike pololei i ka ʻokoʻa o ka model From-scratch Foundation.

Nā nīnau a me nā noi no ka demo: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.