From-scratch Foundation Model CLEVI AI(ivy)

“Bagaimana perusahaan kecil dapat membuat model bahasa AI berskala besar terbaik di dunia?”

Bagaimana startup kecil membuat model bahasa berskala besar?

Ini adalah pertanyaan yang paling sering diterima setelah CLEVI mengumumkan Foundation model dengan skala 1,4 triliun parameter.

Berbeda dari banyak perusahaan yang hanya melakukan fine-tuning sederhana pada model open source, CLEVI menjalankan seluruh proses secara mandiri, mulai dari pengumpulan data, perancangan model, pelatihan terdistribusi berskala besar, hingga verifikasi kualitas.

Di bawah ini, kami memperkenalkan secara mendalam rahasia dan keunggulan kompetitifnya.

1. Perusahaan kecil membuat model bahasa berskala besar?

Pada Juli 2025, ketika CLEVI memperkenalkan model bahasa berskala besar yang dikembangkannya sendiri ke pasar, banyak pelanggan (pengguna) dibuat heboh karena terkejut dan ragu. “Benarkah ini benar-benar dikembangkan sendiri?” “Bukankah ini hanya sedikit memodifikasi model open source?”

Pada kenyataannya, banyak perusahaan di dalam maupun luar negeri hanya melakukan transfer learning (fine-tuning) sederhana pada model open source, lalu mempromosikannya sebagai model mereka sendiri.

Namun, CLEVI mengusung **‘From-scratch Foundation Model’**.

Dengan kata lain, CLEVI merancang dan menjalankan sendiri seluruh proses, mulai dari pengumpulan data, perancangan model, pelatihan terdistribusi berskala besar, hingga verifikasi kualitas.

2. Alasan pengembangan model bahasa berskala besar sulit

Untuk melatih From-Scratch Foundation Model, semua item berikut harus dipelajari.

Diperlukan dataset berkualitas tinggi dalam skala besar

• Keragaman: memastikan keragaman bahasa, domain, dan format (teks, gambar, dll.)
• Pemurnian: menghapus noise, mengelola kualitas, serta memfilter data duplikat/berbahaya
• Lisensi: memperjelas hak cipta dan hak penggunaan data

Infrastruktur komputasi berskala besar

• Klaster GPU/TPU berperforma tinggi: mengintegrasikan perangkat dengan ribuan hingga puluhan ribu node untuk mendukung pelatihan terdistribusi berskala besar
• Kerangka kerja pelatihan terdistribusi yang efisien: DeepSpeed, Megatron-LM, Ray, dll.
• Penyimpanan/jaringan: input dan output data dalam jumlah besar serta lingkungan jaringan berkecepatan tinggi

Perancangan arsitektur model

• Mencerminkan arsitektur terbaru: Transformer, MoE(Mixture of Experts), multimodal, dan lain-lain
• Skalabilitas: mempertimbangkan perluasan jumlah parameter, jumlah layer, panjang input, dan lain-lain
• Efisiensi: mengoptimalkan kecepatan pelatihan/inferensi dan penggunaan memori

Strategi dan algoritma pelatihan

• Tujuan prapelatihan: model bahasa (misalnya next token prediction), multimodal (misalnya contrastive learning), dan lain-lain
• Teknik optimisasi: mixed precision, gradient accumulation, learning rate schedule, dan lain-lain
• Normalisasi/stabilisasi: dropout, layer norm, weight decay, dan lain-lain

Sistem evaluasi dan validasi

• Set benchmark: memanfaatkan dataset standar (Benchmarks)
• Evaluasi internal: evaluasi berdasarkan skenario penggunaan nyata
• Pemantauan berkelanjutan: pemeriksaan kualitas, bias, dan keamanan selama/setelah pelatihan

Kompetensi tenaga kerja dan organisasi

• Peneliti AI/ML: perancangan model, pengembangan algoritma
• Insinyur data: pengumpulan/pemurnian/pengelolaan data
• Insinyur infrastruktur: sistem terdistribusi, pengelolaan cloud/on-premise
• Manajer proyek: pengelolaan jadwal, anggaran, dan kualitas

Pertimbangan etika, hukum, dan keamanan

• Etika AI: bias, keamanan, transparansi, akuntabilitas
• Kepatuhan hukum: privasi, hak cipta, kedaulatan data
• Keamanan: pencegahan kebocoran data/model, kontrol akses

Saat ini, jumlah tenaga peneliti AI di seluruh dunia sekitar 2.000 orang, dan sebagian besar di antaranya terkonsentrasi di perusahaan teknologi besar seperti META, Google, dan XAI. Di Korea Selatan, sangat sedikit tim yang mampu merancang dan membangun model Foundation secara langsung, mulai dari pengumpulan data hingga infrastruktur pelatihan berskala besar.

3. Membangun model bahasa berskala sangat besar dengan sedikit tenaga kerja.

Berdasarkan pengalaman meneliti deep learning dan machine learning selama lebih dari 10 tahun, tiga tahun lalu CEO Lee Hwan-ho mendirikan perusahaan (Clevi) dengan tujuan “menciptakan AI terbaik di dunia”.

Dengan merancang sendiri seluruh proses, termasuk pembangunan pipeline data internal perusahaan, desain infrastruktur deep learning terdistribusi berskala besar, pengembangan arsitektur model, dan validasi kualitas, perusahaan ini telah memiliki kompetensi yang diperlukan untuk mengembangkan Foundation Model.

Sebagai hasil dari melatih model beberapa kali, kini kami memiliki model Clevi-5-x yang mampu bersaing dengan model-model terbaik di dunia.

Untuk melatih model bahasa berskala sangat besar secara efektif, diperlukan infrastruktur yang menghubungkan ratusan hingga ribuan GPU dalam sebuah klaster sehingga dapat memproses secara bersamaan komputasi hingga puluhan kuadriliun operasi per detik. Dalam proses ini, teknologi untuk menyinkronkan komputasi dan meminimalkan latensi komunikasi dalam lingkungan terdistribusi berskala besar sangatlah penting. Hingga saat ini, di dalam negeri, sebagian besar perusahaan tidak dapat melatih model dengan baik karena tidak memiliki “algoritma kontrol presisi”. CEO Clevi, Lee Hwan-ho, mengembangkan sendiri algoritma kontrol komputasi terdistribusi yang unik ini, sehingga berhasil melatih model bahasa berskala sangat besar dengan 1,4 triliun (1.4 Trillion) parameter, yang pertama di Korea Selatan.

4. Alasan berbagai model dapat dikembangkan dengan sedikit tenaga pengembang

Sebagian besar perusahaan big tech juga memiliki teknologi untuk mengendalikan infrastruktur berskala besar dan memurnikan data.

Diperlukan ratusan hingga ribuan tenaga peneliti untuk mengelolanya.

Namun, Clevi mengembangkan dan memiliki berbagai model dengan sedikit tenaga peneliti.

Bagaimana hal itu dapat dilakukan?

Clevi mengembangkan dan memiliki berbagai model dengan sedikit tenaga melalui teknologi Teacher-Student Model(Knowledge Distilation).

Mari kita lihat teknologi Teacher-Student.

Teacher-Student (distilasi pengetahuan)

Teknologi Teacher-Student, secara sederhana, adalah teknologi yang mengevaluasi dan memberikan umpan balik kepada model anak (Student Model) melalui model bahasa berskala sangat besar (Teacher Model), sehingga dapat menggantikan ratusan tenaga peneliti dengan sedikit tenaga dan mengembangkan berbagai model dengan cepat.

• Mother Model (model berskala sangat besar) mengevaluasi dan memberikan umpan balik kepada model di berbagai bidang, sehingga menggantikan ratusan tenaga peneliti.
• Dengan melakukan pelatihan melalui Clevi-x-platform menggunakan metode ini, model berperforma tinggi seperti Reasoning, VLM, Physical AI, dan Coding Agent dapat dilatih dan diterapkan hanya dalam 10–15 hari.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Vision Language Model

Agen keamanan

5. Perbedaan teknologi dan kualitas Clevi-x-platform

Performa dan skalabilitas model

• Keunggulan inferensi (CoT/Reasoning): cip-5-x dirancang dengan pengembangan logika bertahap dan penyajian dasar pemikiran sebagai bagian dari filosofi desainnya, serta menunjukkan kemampuan komputasi dan interpretasi dengan keandalan tinggi dalam pemecahan masalah sains, matematika, dan teknik. Berdasarkan tolok ukur internal, sistem ini dirancang dan dioperasikan dengan target kemampuan kinerja setara atau lebih tinggi dari GPT-5, sementara reproduktibilitas dan verifiabilitas dalam kondisi prompt yang sama dikelola sebagai indikator kualitas utama.

• Spektrum multimodal yang lengkap: VLM berorientasi tujuan (cip-5-vision), model pemrosesan multimodal berkapasitas besar (ivy-4-mm), dan model ringan on-device (ivy-3-text) diproduksi dan dikombinasikan dalam satu platform, sehingga memungkinkan kombinasi optimal sesuai karakteristik tugas (pencarian/klasifikasi/peringkasan vs. inferensi/penjelasan/eksekusi).

Kesesuaian untuk penerapan enterprise

• Keamanan dan ketersediaan on-premise: pengoperasian di seluruh rangkaian jaringan tertutup (input-pelatihan-layanan-pencadangan), desain HA, ekspansi modular, serta pemisahan dan perlindungan data serta parameter model melalui SVCE (lingkungan eksekusi aman terisolasi).
• Implementasi dan perluasan cepat: mendukung penerapan dan pengoperasian secara cepat melalui Ivy Chat (percakapan/agen multimodal untuk pekerjaan) dan API Platform (SaaS standar global).

Diferensiasi Physical AI

• Menggabungkan simulasi berbasis NVIDIA Isaac dengan pembelajaran penguatan berbasis evolusi (Evolutionary RL), serta meningkatkan efisiensi pembelajaran dan kemampuan adaptasi di lapangan melalui transfer Sim2Real dan pelatihan paralel dengan data sintetis. Cakupan dari pembelajaran hingga penerapan digital-robotika menjadikannya memiliki sangat sedikit alternatif pengganti.

Kualitas layanan dan tata kelola

• Manajemen versi model/prompt/alata, rangkaian evaluasi (pengetahuan dalam bahasa Korea dan Inggris, tugas berdasarkan industri, metrik halusinasi dan keamanan), manajemen perubahan (SLO/SLA), serta observabilitas operasional (latensi/tingkat keberhasilan/TCO) dikelola melalui prosedur satu platform.

Saat ini, terdapat lebih dari sekitar 300 perusahaan layanan model AI di Korea Selatan,

namun CLEVI adalah satu-satunya perusahaan yang dapat menyediakan layanan on-premise dan cloud secara bersamaan melalui model fondasi independen berperforma tinggi.

6. Cara memanfaatkan model bahasa dalam industri

Karena penerapan AI memerlukan investasi besar dan verifikasi menyeluruh, proses membandingkan dan mencoba secara langsung apakah solusi tersebut benar-benar membantu perusahaan sangatlah penting.

• CLEVI tidak hanya membuat model, tetapi juga menyediakan solusi AI yang dapat diterapkan di lingkungan industri nyata.
• Sebagai contoh, CLEVI telah melengkapi kanal enterprise dengan Ivy Chat Platform, Clevi API Platform, kustomisasi per industri, serta dukungan terhadap persyaratan keamanan.
• CLEVI memiliki kemampuan teknis yang sulit ditemukan di dalam maupun luar negeri, seperti AI fisik, robotika, dan pemrosesan data multimodal.

CLEVI menyediakan solusi AI nyata yang berkontribusi pada efisiensi kerja dan inovasi industri, dengan menjadikan AI sebagai ‘sarana’, bukan ‘tujuan’. Rasakan sendiri perbedaan From-scratch Foundation model yang sesungguhnya.

Pertanyaan dan permintaan demo: [email protected]

Hak Cipta© 2025 Clevi Inc. Semua hak dilindungi.