From-scratch Foundation Model CLEVI AI (ivy)

“Ndenge nini kompanyi moke ekokaki kosala modèle monene ya monɔkɔ ya AI oyo ezali na niveau ya mokili mobimba?”

Ndenge nini startup moke esalaki modèle monene ya monɔkɔ?

Wana ezali motuna oyo CLEVI ezwaki mingi koleka uta ebimisaki modèle na yango ya Foundation ya bonene ya 1,4 triliɔ́ ya paramètres.

Na bokeseni na bakompanyi mingi oyo basalaka kaka fine-tuning ya ba modèles open source, CLEVI esalaki yango moko nyonso, kobanda na kosangisa ba données, kosala modèle, koyekolisa yango na système distribué ya monene, tii na kotala qualité.

Na nse, tokolimbola na bozindo sekele mpe makoki oyo epesaka yango bokokani na momekano.

1. Kompanyi moke ekoki kosala modèle monene ya monɔkɔ?

Na sanza ya nsambo 2025, ntango CLEVI ebimisaki na zando modèle monene ya monɔkɔ ya AI oyo esalaki yango moko, bakiliya (basaleli) ebele bakamwaki mpe batondaki na mituna. “Ezali mpenza modèle oyo esali yango moko?” “Ezali te kaka kobongisa mwa moke modèle open source?”

Ya solo, bakompanyi mingi na kati mpe libanda ya mboka basalaka kaka transfert ya boyekoli (fine-tuning) na ba modèles open source, mpe balakisaka yango lokola modèle na bango moko.

Kasi CLEVI ebimisaki **‘From-scratch Foundation Model’**.

Elingi koloba ete esalaki mpe etambwisaki yango moko makambo nyonso, kobanda na kosangisa ba données, kosala modèle, koyekolisa yango na système distribué ya monene, tii na kotala qualité.

2. Ntina oyo kosala modèle monene ya monɔkɔ ezali mpasi

Mpo na koyekolisa From-Scratch Foundation Model, esengeli koyekolisa makambo nyonso oyo ezali awa na nse.

Esengeli kozala na ensemble ya ba données ya monene mpe ya qualité ya likolo

• Bokeseni: kozala na bokeseni ya minɔkɔ, ba domaines mpe ba formats (makomi, bililingi, mpe bongo na bongo)
• Bopɛtoli: kolongola makelele, kokamba qualité, mpe kofiltre ba données ezongelami to ya mabe
• Licence: koyebisa polele lotomo ya bakomi mpe ndingisa ya kosalela ba données

Infrastructure informatique ya monene

• Cluster ya ba GPU/TPU ya makasi: kosangisa bisaleli ya bankóto tii na bankóto zomi ya ba nodes mpo na kopesa lisungi na boyekoli distribué ya ba données ya monene
• Framework ya malamu mpo na boyekoli distribué: DeepSpeed, Megatron-LM, Ray, mpe bongo na bongo
• Stockage/réseau: kokɔtisa mpe kobimisa ba données ya monene, mpe kozala na environnement ya réseau ya mbangu

Bokeli ya architecture ya modèle

• Kosala ete ebongiseli ya sika emonana: Transformer, MoE(Mixture of Experts), makoki ya kosangisa mitindo mingi ya makambo, mpe bongo na bongo
• Scalability: kotalela bokoli ya motángo ya baparamɛtrɛ, motángo ya ba-layer, molai ya makambo oyo ekɔtisami, mpe bongo na bongo
• Bokoki ya kosalela malamu: kobongisa mbangu ya mateya/likanisi ya modèle mpe bosaleli ya mémoire

Mayele ya mateya mpe ba-algorithme

• Mokano ya pré-entraînement: modèle ya monɔkɔ (ndakisa: next token prediction), multimodal (ndakisa: contrastive learning), mpe bongo na bongo
• Mayele ya optimisation: mixed precision, gradient accumulation, learning rate schedule, mpe bongo na bongo
• Normalisation/stabilisation: dropout, layer norm, weight decay, mpe bongo na bongo

Système ya botali mpe bondimisi

• Biteni ya benchmark: kosalela ba-dataset ya momesano (Benchmarks)
• Botali ya kati: botali oyo etongami likoló ya ba-scenarios ya bosaleli ya solosolo
• Bokengi ya ntango nyonso: kotala lolenge, bias mpe bokengi na ntango mpe nsima ya mateya

Makoki ya bato mpe ya ebongiseli

• Bato ya bolukiluki ya AI/ML: kosala modèle mpe kosala ba-algorithme
• Ba-ingénieurs ya ba données: kosangisa, kopɛtola mpe kotambwisa ba données
• Ba-ingénieurs ya infrastructure: ba-systèmes distribués mpe boyangeli ya cloud/on-premises
• Mokambi ya projet: manaka, budget mpe boyangeli ya lolenge

Makambo ya etiki, mibeko mpe bokengi

• Etiki ya AI: bias, bokengi, polele mpe mokumba
• Kotosa mibeko: makambo ya moto, lotomo ya bokomi mpe bokonzi likoló ya ba données
• Bokengi: kopekisa kobima ya ba données/modèle mpe kopekisa nzela ya kokɔta

Na mokili mobimba, motángo ya bato oyo basalaka bolukiluki ya AI ezali pene na 2 000, mpe mingi kati na bango basangani na bakompanyi minene ya tekinoloji lokola META, Google mpe XAI. Na mboka, biteni oyo ekoki kosala équipe oyo ebongisaka yango moko makambo nyonso, kobanda na kosangisa ba données kino na infrastructure ya mateya monene, mpo na kosala modèle ya moboko, ezali moke mpenza.

3. Kosala modèle monene ya monɔkɔ na bato moke.

Na kolanda mayele oyo azwi na bolukiluki ya deep learning mpe machine learning koleka mbula 10, mokambi Lee Hwan-ho asalaki kompanyi (CLEVI) eleki mibu 3 na mokano ya “kosala AI oyo eleki malamu na mokili”.

Atongaki ye moko ba-processus nyonso, lokola pipeline ya ba données ya kompanyi, conception ya infrastructure distribuée ya deep learning monene, développement ya architecture ya modèle mpe validation ya qualité, mpe azwaki makoki oyo esengeli mpo na kosala modèle ya moboko.

Nsima ya koteya ba-modèles mbala mingi, sikawa azali na modèle Clevi-5-x oyo ekoki kokokanisama na ba-modèles ya nivo ya likoló mpenza na mokili.

Mpo na kolakisa malamu modèle monene ya nkota, esengeli na infrastructure oyo ekangisaka banki ya GPU kobanda nkama moko kino nkóto mingi na cluster, mpe oyo ekoki kosala mbala moko ba calculs oyo ekoki kokóma na ba dizaines ya quadrillions na segɔ́nde. Na mosala oyo, mayele ya kokitisa synchronisation ya ba calculs mpe retard ya communication na environnement distribué ya monene ezali na ntina mingi. Kino sikoyo, na mboka, ba entreprises mingi ezalaki kokoka te kolakisa malamu ba modèles mpo ezalaki na “algorithme ya contrôle précis” te. Na kosala yango ye moko, Directeur général Lee Hwan-ho ya CLEVI alongaki, mpo na mbala ya liboso na mboka, kolakisa modèle monene ya nkota oyo ezali na ba paramètres 1,4 trillion (1.4 Trillion).

4. Ntina oyo tokokaki kosala ba modèles ndenge na ndenge na motángo moke ya ba développeurs

Ata ba entreprises mingi ya big tech bazali na mayele ya ko contrôler ba infrastructures ya monene mpe ya ko purifier ba données.

Mpo na kotambwisa yango, esengeli na bankama kino bankóto ya balukiluki.

Kasi, CLEVI ezali kosala mpe kozala na ba modèles ndenge na ndenge na motángo moke ya balukiluki.

Ndenge nini ekokaki kosalema?

CLEVI esalaka mpe ebatelaka ba modèles ndenge na ndenge na motángo moke ya bato, na nzela ya mayele ya Teacher-Student Model(Knowledge Distilation).

Sikawa, tótala mayele ya Teacher-Student.

Teacher-Student (distillation ya boyebi)

Na maloba ya pete, mayele ya Teacher-Student ezali mayele ya kosala ete modèle ya mwana (Student Model) etalelama mpe epesama makanisi na nzela ya modèle monene ya nkota (Teacher Model), mpe na yango bato moke bakoki kozwama esika ya balukiluki nkama mingi mpo na kosala noki ba modèles ndenge na ndenge.

• Mother Model (modèle monene) etalelaka mpe epesaka makanisi na ba modèles ya makambo ndenge na ndenge, mpe ezwaka esika ya balukiluki nkama mingi.
• Soki boyekoli esalemi na lolenge oyo na nzela ya Clevi-x-platform, ba modèles ya makoki mingi lokola Reasoning, VLM, Physical AI, Coding Agent mpe bongo na bongo ekoki koyekolama mpe kopanzama na mikolo 10–15.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Agent ya bokengi

5. Bokeseni ya mayele mpe lolenge ya Clevi-x-platform

Bosali mpe kokóma monene ya modèle

• Bokasi ya bososoli (CoT/Reasoning): cip-5-x etyá bokebi ya kolandela makanisi na mabongisi mpe kopesa bantina na filozofi na yango ya kosala, mpe emonisaka makoki ya kotánga mpe kolimbola na bondimi ya likoló na bosilisi mikakatano ya siansi, matematiki mpe ingénierie. Na kolanda ba-benchmark ya kati, ezali kosalelama mpe kosalema na mokano ya kokokisa makoki ya nivo ya GPT-5 to koleka, mpe bozongisi oyo ekoki kozongisama mpe kotálisama na makambo ya prompt moko ezali etalelami lokola elembo ya ntina ya lolenge.

• Esika mobimba ya multimodal: na kobimisa mpe kosangisa na plateforme moko VLM oyo etali mokano (cip-5-vision), modèle ya monene ya bosali multimodal (ivy-4-mm), mpe modèle ya pɛpɛlɛ mpo na aparɛyi (ivy-3-text), ekoki kopona bosangisi oyo eleki malamu engebene na lolenge ya mosala (boluki/bokaboli/mokuse vs. bososoli/limboli/bosalisi).

Ekoki kosalelama na ba-enterprise

• Bokengi mpe bozali ya on-premises: esalemi na kati ya réseau oyo ekangami na biteni nyonso (kokɔtisa–kolakisa–kopesa service–kobomba), na design ya HA, bobakisi ya module, mpe SVCE (esika ya bobateli ya execution oyo ekabwani), mpo na kokabola mpe kobatela ba données mpe ba paramètres ya modèle.
• Kobanda mpe kokómisa monene noki: Ivy Chat (masolo/ba-agents multimodal mpo na mosala) mpe API Platform (SaaS ya norme mondiale) epesaka lisungi mpo na kosalela mpe kotambwisa yango noki.

Bokeseni ya AI physique (Physical AI)

• Na kosangisa simulation oyo etongami na NVIDIA Isaac na apprentissage renforcé oyo etongami na évolution (Evolutionary RL), mpe na apprentissage parallèle ya transfert Sim2Real mpe ba données synthétiques, bokasi ya apprentissage mpe makoki ya komesana na esika ya mosala ebakisami. Ezali mpasi kozwa mopesi mosusu oyo ezipaka kobanda na apprentissage numérique-robotique kino na déploiement.

Lolenge ya service mpe boyangeli

• Bokambi ya ba versions ya modèle/prompt/outil, suite ya botali (boyebi ya lokótá ya ekólo mpe ya Lingelesi, misala ya industrie mokomoko, bilembo ya hallucination mpe bokengi), bokambi ya mbongwana (SLO/SLA), mpe botali ya mosala (latence, taux ya elonga, TCO) etambwisami na lolenge ya procédure moko ya plateforme.

Sikawa, ezali na bakompanyi koleka 300 ya ba services ya ba modèles ya AI na mboka, kasi

Clevi nde ezali esika kaka moko oyo ekoki kopesa na ntango moko ba services ya on-premises mpe ya cloud na nzela ya modèle na yango moko ya fondation ya performance ya likoló.

6. Lolenge ya kosalela ba modèles ya lokótá na ba industries

Lokola kokɔtisa AI esɛngaka investissement monene mpe botali ya mozindo, ezali na ntina mingi kokokanisa mpe komeka yo moko soki solution yango esalisaka mpenza entreprise.

• CLEVI esuka kaka te na kosala ba modèles, kasi epesaka ba solutions ya AI oyo ekoki kosalelama na bisika ya mosala ya solo.
• Na ndakisa, ezali na ba chaînes ya entreprise oyo ekoki mobimba, lokola Ivy Chat Platform, Clevi API Platform, bobongisi oyo etali mombongo mokomoko, mpe boyokani na masengami ya bokengi.
• Ezali na makoki ya tekiniki oyo ezali mpasi komona na kati mpe na libanda ya mboka, lokola AI ya biloko ya mosala, robotique, mpe bosaleli ya ba données multimodales.

CLEVI epesaka ba solutions ya AI ya solo oyo etalelaka AI lokola ‘nzela’ kasi te lokola ‘mokano’, mpe oyo esalisaka na kobongisa mosala ya solo mpe na kobongola ba industries. Tokisa yo moko bokeseni ya modèle ya Foundation ya solo oyo esalemi uta ebandeli.

Mituna mpe bosengi ya démonstration: [email protected]

Copyright© 2025 Clevi Inc. Makoki nyonso ebatelami.