Sumber: Lee Won-ji, Electronic Times
Kutipan lengkap artikel “CLEVI, dengan modelnya sendiri yang dikembangkan from scratch meraih 79,07% di GAIA... masuk 2,5% teratas dari 3.090 model”
Tanggal terbit: 2026-04-07
Tautan: https://www.etnews.com/20260407000203
lima agen dalam tumpukan model independen cip-5.5-agent·cip-5.5-mm semuanya meraih skor di atas 70
Dengan memperhitungkan hilangnya informasi, tingkat jawaban benar mencapai lebih dari 98%, melampaui manusia (92%)
Startup AI 'CLEVI' mencatat tingkat jawaban benar sebesar 79,07% dalam 'GAIA', tolok ukur agen AI global, dengan memanfaatkan modelnya sendiri yang dikembangkan from scratch, dan berhasil masuk dalam 2,5% teratas dari total 3.090 model yang terdaftar.
Menurut penjelasan industri, di pasar tolok ukur AI, GAIA dinilai secara akurat mencerminkan kemampuan 'agen AI praktis'. Tolok ukur ini dikembangkan bersama oleh Meta AI, HuggingFace, Universitas Paris-Saclay, dan lainnya, serta pertama kali diperkenalkan pada November 2023.
Ada tiga hal utama yang membedakan GAIA dari tolok ukur lainnya. Pertama, karena jawabannya tidak dipublikasikan, overfitting tidak dimungkinkan. Kedua, karena memerlukan penalaran gabungan multilangkah dan multimodal, skor tinggi tidak dapat dicapai hanya dengan pencocokan pola sederhana. Ketiga, lebih dari 3.090 model dari seluruh dunia bersaing dalam kondisi yang sama melalui papan peringkat resmi Hugging Face.
Set pengujian terdiri dari total 301 pertanyaan. Level 1 mencakup penggunaan satu alat dan penalaran sederhana, Level 2 memerlukan kombinasi beberapa alat dan penalaran tingkat menengah, sedangkan Level 3 merupakan pertanyaan dengan tingkat kesulitan tertinggi yang memerlukan perencanaan dan pelaksanaan agen sebanyak lima langkah atau lebih. Saat tolok ukur ini diumumkan, angkanya hanya sekitar 15% berdasarkan model GPT (dengan plugin), sementara saat ini tim-tim teratas telah meningkatkannya ke kisaran 70–80%.
Dalam hal ini, CLEVI menekankan bahwa aspek yang paling penting secara teknis dari pencapaian tersebut adalah tidak digunakannya sama sekali API LLM eksternal seperti GPT, Claude, atau Gemini. Ciri khas CLEVI adalah penggunaan dua model yang dikembangkan secara independen dengan pendekatan from scratch.
cip-5.5-agent adalah model AI agentic yang berperan sebagai otak inti dalam pipeline agen yang secara mandiri merencanakan (planning), melaksanakan (execution), dan memverifikasi (verification) tugas-tugas kompleks. cip-5.5-mm adalah model multimodal serbaguna berperforma tinggi yang memahami dan melakukan penalaran atas berbagai format file, termasuk suara, gambar, dan video. Karena sebagian besar pertanyaan GAIA mencakup input nonteks seperti PDF, gambar, dan file audio, kemampuan multimodal ini menjadi faktor kunci dalam meraih skor tinggi.
Berdasarkan dua model internal ini, CLEVI mengikutsertakan 5 konfigurasi agen yang berbeda dalam GAIA, dan semuanya mencatatkan skor di atas 70.
Menurut penjelasan perusahaan, hasil yang menarik dikonfirmasi dalam tinjauan pascaevaluasi internal CLEVI. Dari total 301 pertanyaan, sebagian di antaranya saat ini telah kehilangan dasar pembuktian jawabannya di web publik. Informasi yang sebelumnya dapat dikonfirmasi secara online atau melalui mesin pencari telah dihapus atau diubah sehingga tidak lagi dapat diakses. Ketika dievaluasi ulang berdasarkan cakupan informasi yang saat ini dapat dikonfirmasi secara publik oleh manusia, tingkat jawaban benar CLEVI tercatat di atas 98%. Angka ini sudah melampaui rata-rata manusia sebesar 92%.
Perwakilan CLEVI menjelaskan, “CLEVI mencatatkan skor 70+ untuk seluruh 5 agen dan masuk ke dalam 2,5% teratas pada benchmark publik hanya dengan model internal from scratch dan solusi AI agent internal, tanpa mencampurkan model eksternal. Melalui peningkatan model internal dan solusi agen ke depannya, skor resmi juga diperkirakan masih dapat meningkat. Pencapaian ini sangat bermakna karena menunjukkan 'kepercayaan yang terverifikasi' melalui pengukuran pada benchmark publik global, merupakan pencapaian perusahaan pengembang AI domestik berbasis model internal from scratch, merupakan hasil dari tumpukan model independen dan bukan campuran model eksternal, serta memiliki nilai interpretasi yang melampaui skor itu sendiri dengan mempertimbangkan hilangnya informasi pada sebagian pertanyaan.”