From-scratch Foundation Model CLEVI AI(ivy)

“Bagaimanakah sebuah syarikat kecil dapat membangunkan model bahasa AI berskala besar bertaraf dunia?”

Bagaimanakah sebuah syarikat pemula berskala kecil membangunkan model bahasa berskala besar?

Ini merupakan soalan yang paling kerap diterima selepas CLEVI memperkenalkan model Foundation berskala 1.4 trilion parameter.

Berbeza daripada kebanyakan syarikat yang hanya memperhalus model sumber terbuka, CLEVI menjalankan semua proses secara sendiri, daripada pengumpulan data, reka bentuk model, pembelajaran teragih berskala besar hingga pengesahan kualiti.

Di bawah, kami memperkenalkan rahsia dan daya saingnya dengan lebih terperinci.

1. Sebuah syarikat kecil membangunkan model bahasa berskala besar?

Pada Julai 2025, apabila CLEVI memperkenalkan model bahasa AI berskala besar yang dibangunkan sendiri ke pasaran, ramai pelanggan (pengguna) berasa terkejut dan ragu-ragu. “Adakah ini benar-benar dibangunkan sendiri?” “Bukankah ia hanya model sumber terbuka yang diubah sedikit?”

Hakikatnya, banyak syarikat di dalam dan luar negara hanya menjalankan pembelajaran pemindahan (fine-tuning) pada model sumber terbuka, kemudian mempromosikannya sebagai model sendiri.

Namun, CLEVI mengetengahkan **‘From-scratch Foundation Model’**.

Dengan kata lain, semua proses, daripada pengumpulan data, reka bentuk model, pembelajaran teragih berskala besar hingga pengesahan kualiti, direka bentuk dan dilaksanakan sendiri.

2. Sebab pembangunan model bahasa berskala besar sukar

Untuk melatih From-Scratch Foundation Model, semua perkara berikut perlu dipelajari.

Set data berkualiti tinggi berskala besar diperlukan

• Kepelbagaian: Memastikan kepelbagaian bahasa, domain dan format (teks, imej dan sebagainya)
• Pemurnian: Penyingkiran hingar, pengurusan kualiti, penapisan data pendua/berbahaya
• Lesen: Menjelaskan hak cipta dan hak penggunaan data

Infrastruktur pengkomputeran berskala besar

• Kluster GPU/TPU berprestasi tinggi: Teknologi sokongan untuk pembelajaran teragih berskala besar dengan menggabungkan peralatan yang terdiri daripada ribuan hingga puluhan ribu nod
• Rangka kerja pembelajaran teragih yang cekap: DeepSpeed, Megatron-LM, Ray dan sebagainya
• Storan/rangkaian: Input dan output data berskala besar serta persekitaran rangkaian berkelajuan tinggi

Reka bentuk seni bina model

• Mencerminkan struktur terkini: Transformer, MoE(Mixture of Experts), multimodal dan sebagainya
• Kebolehskalaan: Mempertimbangkan kebolehskalaan seperti bilangan parameter, bilangan lapisan, panjang input dan sebagainya
• Kecekapan: Mengoptimumkan kelajuan latihan/inferens, penggunaan memori

Strategi dan algoritma latihan

• Objektif pralatihan: Model bahasa (contohnya, next token prediction), multimodal (contohnya, contrastive learning) dan sebagainya
• Teknik pengoptimuman: mixed precision, gradient accumulation, learning rate schedule dan sebagainya
• Normalisasi/penstabilan: dropout, layer norm, weight decay dan sebagainya

Sistem penilaian dan pengesahan

• Set penanda aras: Menggunakan set data standard (Benchmarks)
• Penilaian dalaman: Penilaian berdasarkan senario penggunaan sebenar
• Pemantauan berterusan: Memeriksa kualiti, bias dan keselamatan semasa dan selepas latihan

Keupayaan tenaga kerja dan organisasi

• Penyelidik AI/ML: Reka bentuk model, pembangunan algoritma
• Jurutera data: Pengumpulan, pembersihan dan pengurusan data
• Jurutera infrastruktur: Pengurusan sistem teragih, awan/di premis
• Pengurus projek: Pengurusan jadual, belanjawan dan kualiti

Pertimbangan etika, undang-undang dan keselamatan

• Etika AI: Bias, keselamatan, ketelusan dan akauntabiliti
• Pematuhan undang-undang: Privasi, hak cipta dan kedaulatan data
• Keselamatan: Pencegahan kebocoran data/model, kawalan akses

Pada masa ini, tenaga kerja penyelidikan AI di seluruh dunia berjumlah kira-kira 2,000 orang, dan sebahagian besarnya tertumpu di syarikat teknologi besar seperti META, Google dan XAI. Di Korea Selatan, pasukan yang mampu mereka bentuk sendiri segala-galanya daripada pengumpulan data hingga infrastruktur latihan berskala besar untuk membangunkan Foundation model amat jarang ditemui.

3. Membangunkan model bahasa berskala besar dengan tenaga kerja yang kecil.

Berdasarkan pengalaman lebih 10 tahun dalam penyelidikan deep learning dan machine learning, Ketua Pegawai Eksekutif Lee Hwan-ho menubuhkan syarikat (Clevi) tiga tahun lalu dengan matlamat untuk “mencipta AI terbaik dunia”.

Dengan mereka bentuk sendiri setiap proses, termasuk membina saluran paip data syarikat, mereka bentuk infrastruktur deep learning teragih berskala besar, membangunkan seni bina model dan mengesahkan kualiti, syarikat ini telah memperoleh keupayaan yang diperlukan untuk membangunkan Foundation Model.

Hasil daripada beberapa pusingan latihan model, kami kini memiliki model Clevi-5-x yang mampu menandingi model bertaraf dunia.

Untuk melatih model bahasa berskala ultra besar dengan berkesan, infrastruktur diperlukan dengan menghubungkan ratusan hingga ribuan GPU dalam satu kluster bagi memproses secara serentak pengiraan yang mencecah berpuluh kuadrilion operasi sesaat. Dalam proses ini, teknologi untuk menyegerakkan pengiraan dalam persekitaran teragih berskala besar dan meminimumkan kelewatan komunikasi adalah penting. Sehingga kini, kebanyakan syarikat di Korea tidak dapat melatih model dengan baik kerana ketiadaan “algoritma kawalan berketepatan tinggi”. Dengan membangunkan algoritma kawalan pengiraan teragih yang tersendiri ini, Ketua Pegawai Eksekutif Clevi, Lee Hwan-ho, berjaya melatih model bahasa berskala ultra besar dengan 1.4 trilion (1.4 Trillion) parameter buat kali pertama di Korea.

4. Sebab pelbagai model dapat dibangunkan dengan hanya sebilangan kecil tenaga pembangunan

Kebanyakan syarikat teknologi besar juga mempunyai teknologi untuk mengawal infrastruktur berskala besar dan menulenkan data.

Ratusan hingga ribuan penyelidik diperlukan untuk menguruskannya.

Namun begitu, Clevi membangunkan dan memiliki pelbagai model dengan hanya sebilangan kecil penyelidik.

Bagaimanakah hal ini boleh dilakukan?

Clevi membangunkan dan memiliki pelbagai model dengan sebilangan kecil tenaga kerja melalui teknologi Teacher-Student Model(Knowledge Distilation).

Mari kita lihat teknologi Teacher-Student.

Teacher-Student (Penyulingan pengetahuan)

Secara ringkasnya, teknologi Teacher-Student ialah teknologi yang membolehkan pelbagai model dibangunkan dengan cepat walaupun hanya dengan sebilangan kecil tenaga kerja, dengan menggunakan model bahasa berskala ultra besar (Teacher Model) untuk menilai dan memberikan maklum balas kepada model anak (Student Model), sekali gus menggantikan ratusan penyelidik.

• Mother Model (model berskala ultra besar) menilai dan memberikan maklum balas terhadap model dalam pelbagai bidang, lalu menggantikan ratusan penyelidik.
• Dengan menjalankan latihan melalui Clevi-x-platform menggunakan kaedah ini, model berprestasi tinggi seperti Reasoning, VLM, Physical AI dan Coding Agent boleh dilatih dan digunakan dalam masa 10 hingga 15 hari.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Model Bahasa dan Penglihatan

Ejen keselamatan

5. Perbezaan teknologi dan kualiti Clevi-x-platform

Prestasi dan kebolehskalaan model

• Keunggulan inferens (CoT/Reasoning): cip-5-x merangkumi pengembangan logik berperingkat dan pembentangan asas dalam falsafah reka bentuknya, serta menunjukkan keupayaan pengiraan dan tafsiran berketepatan tinggi dalam penyelesaian masalah sains, matematik dan kejuruteraan. Berdasarkan penanda aras dalaman, ia direka bentuk dan dikendalikan dengan sasaran keupayaan prestasi sekurang-kurangnya setara GPT-5, manakala kebolehulangan dan kebolehpercayaan dalam keadaan gesaan yang sama diurus sebagai penunjuk kualiti utama.

• Spektrum penuh multimodal: Dengan menghasilkan dan menggabungkan VLM berorientasikan matlamat (cip-5-vision), model pemprosesan multimodal berkapasiti besar (ivy-4-mm) dan model ringan pada peranti (ivy-3-text) dalam satu platform, kombinasi optimum boleh dipilih mengikut ciri tugasan (carian/pengelasan/ringkasan berbanding inferens/penerangan/pelaksanaan).

Kesesuaian untuk perusahaan

• Keselamatan dan ketersediaan on-premise: Operasi dalam keseluruhan rangkaian tertutup (input-latihan-perkhidmatan-sandaran), reka bentuk HA, pengembangan modular dan SVCE (persekitaran pelaksanaan selamat berasingan) digunakan untuk melindungi data dan parameter model secara berasingan.
• Pelaksanaan dan pengembangan pantas: Ivy Chat (perbualan/agen multimodal berorientasikan tugas), API Platform (SaaS standard global) menyokong penerapan dan operasi pantas.

Perbezaan AI fizikal (Physical AI)

• Gabungan simulasi berasaskan NVIDIA Isaac dan pembelajaran pengukuhan berasaskan evolusi (Evolutionary RL), serta pemindahan Sim2Real dan pembelajaran selari menggunakan data sintetik, meningkatkan kecekapan pembelajaran dan keupayaan penyesuaian di lapangan. Liputan daripada pembelajaran digital-robotik hingga pelaksanaan menjadikan alternatif yang setara amat terhad.

Kualiti perkhidmatan dan tadbir urus

• Pengurusan versi model/gesaan/alat, suite penilaian (pengetahuan bahasa Korea dan Inggeris, tugas mengikut industri, metrik halusinasi dan keselamatan), pengurusan perubahan (SLO/SLA) serta pemerhatian operasi (latensi/kadar kejayaan/TCO) diurus melalui prosedur satu platform.

Pada masa ini, terdapat lebih daripada kira-kira 300 syarikat perkhidmatan model AI di Korea Selatan, tetapi

Clevi ialah satu-satunya syarikat yang mampu menyediakan perkhidmatan on-premise dan awan secara serentak melalui model asas berprestasi tinggi yang dibangunkan sendiri.

6. Cara menggunakan model bahasa dalam industri

Memandangkan penerapan AI memerlukan pelaburan besar dan pengesahan yang teliti, proses membandingkan dan mencuba sendiri sama ada sesuatu penyelesaian benar-benar membantu perusahaan adalah penting.

• CLEVI bukan sekadar membangunkan model, malah menyediakan penyelesaian AI yang boleh diterapkan dalam operasi industri sebenar.
• Sebagai contoh, kami menyediakan saluran perusahaan yang lengkap, termasuk Ivy Chat Platform, Clevi API Platform, penyesuaian mengikut industri dan pematuhan terhadap keperluan keselamatan.
• Kami memiliki keupayaan teknologi yang sukar ditemui di dalam dan luar negara, termasuk AI fizikal, robotik dan pemprosesan data multimodal.

CLEVI menyediakan penyelesaian AI yang nyata, dengan AI sebagai ‘sarana’, bukan ‘matlamat’, yang menyumbang kepada kecekapan kerja sebenar dan inovasi industri. Alami sendiri perbezaan model Foundation From-scratch yang sebenar.

Pertanyaan dan permintaan demo: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.