1. Catastrophic Forgetting dan had RAG
Apabila AI diperkenalkan dalam operasi sebenar, salah satu kebimbangan terbesar ialah fenomena pelupaan malapetaka (Catastrophic Forgetting) yang berlaku apabila pengetahuan sedia ada ditala halus menggunakan data baharu.
Ini ialah fenomena apabila AI berasaskan rangkaian neural kehilangan pengetahuan atau corak yang telah dipelajari sebelum ini dengan cepat semasa mempelajari maklumat baharu.
Sebagai contoh, jika LLM sumber terbuka ditala halus menggunakan data khusus sesebuah syarikat, pengetahuan umum atau keupayaan bahasanya mungkin merosot.
Untuk mengelakkan masalah ini, teknologi RAG(Retrieval-Augmented Generation) digunakan secara meluas, namun RAG juga mempunyai batasan.
Had utama RAG
- Pemprosesan data berstruktur yang tidak mencukupi (Structured Data QA): Sistem RAG dioptimumkan terutamanya untuk dokumen teks tidak berstruktur, menyebabkan sistem tidak dapat memahami atau menggunakan makna dan hubungan data berstruktur (jadual, pangkalan data, hamparan dan sebagainya) dengan betul.
- Had PDF kompleks/dokumen tidak berstruktur (Complex PDFs): Dokumen PDF kompleks (termasuk jadual, berbilang lajur, imej dan sebagainya) boleh menyebabkan maklumat hilang atau konteks terpesong semasa proses chunking (pembahagian). Akibatnya, data penting mungkin tidak diindeks atau sukar dicari.
- Ketiadaan model Fallback (Fallback Model(s)): Apabila sistem RAG tidak dapat mencari jawapan yang sesuai, logik untuk beralih kepada model alternatif (sandaran) mungkin tidak mencukupi atau tidak cekap. Akibatnya, alternatif yang memuaskan pengguna tidak dapat diberikan apabila jawapan gagal dijana.
- Kerentanan keselamatan (LLM Security): Pertahanan terhadap kerentanan keselamatan LLM itu sendiri (seperti suntikan prom dan kebocoran data) tidak mencukupi, lalu meningkatkan risiko pendedahan maklumat sensitif.
- Kekurangan kebolehskalaan (Data Ingestion Scalability): Masalah kebolehskalaan berlaku semasa proses pengindeksan dan penyimpanan data dalam jumlah besar. Apabila jumlah data meningkat, kelajuan chunking, penyimpanan dan carian menurun, manakala beban sistem meningkat.
- Kehilangan maklumat penting (Missing Content): Kandungan penting dalam dokumen sering hilang semasa proses chunking atau tidak diindeks. Akibatnya, pengguna tidak dapat mencari maklumat yang diingini.
- Kehilangan kedudukan teratas (Missed Top Ranked): chunk yang sebenarnya paling relevan (kedudukan teratas) mungkin tidak muncul dalam hasil carian. Puncanya termasuk had algoritma carian, kualiti embedding yang rendah dan ralat pemeringkatan.
- Ketidakpadanan konteks (Not in Context): chunk yang dicari sering tidak sepadan dengan konteks sebenar soalan. Ini berpunca daripada keterbatasan carian berasaskan persamaan semata-mata, yang mempunyai hubungan semantik yang tidak mencukupi.
- Ralat format (Wrong Format): Format chunk yang dicari mungkin tidak sesuai untuk diproses oleh LLM atau mungkin berbeza daripada format jawapan yang dikehendaki pengguna. Sebagai contoh, maklumat boleh terpesong apabila jadual ditukar kepada teks.
- Kegagalan pengekstrakan maklumat (Not Extracted): Maklumat yang diperlukan mungkin tidak diekstrak dengan betul daripada chunk, atau LLM mungkin tidak mengenali maklumat tersebut. Hal ini kerap berlaku pada struktur ayat yang kompleks, jadual, imej dan sebagainya.
- Skop/kedalaman maklumat yang tidak sesuai (Incorrect Specificity): Jawapan mungkin terlalu umum atau, sebaliknya, terlalu terperinci berbanding soalan, lalu tidak sepadan dengan keperluan sebenar pengguna. Melaraskan skop dan kedalaman maklumat adalah sukar.
- Jawapan tidak lengkap (Incomplete): Jawapan yang dijana akhirnya mungkin tidak lengkap atau hanya memberikan sebahagian maklumat, sehingga tidak memenuhi keperluan pengguna sepenuhnya. Puncanya termasuk kegagalan menggabungkan maklumat daripada beberapa chunk atau LLM hanya menggunakan sebahagian maklumat.
Oleh sebab RAG terlalu bergantung pada carian persamaan vektor mudah dan pengindeksan berasaskan chunk, batasannya dari segi kebolehpercayaan, kebolehskalaan dan ketepatan dalam tugas sebenar adalah jelas.
2. Pangkalan Data Semantik CLEVI yang mengatasi batasan RAG
Untuk mengatasi batasan ini, CLEVI telah membangunkan infrastruktur pengetahuan AI generasi seterusnya yang dioptimumkan untuk hubungan semantik, penaakulan kompleks dan respons berasaskan bukti, iaitu Clevi Semantic Database.
Ini ialah penyelesaian yang dimungkinkan kerana kami memiliki model Reasoning tersendiri, AI multimodal dan model AI berasaskan ejen, serta merupakan salah satu teknologi berkuasa unik CLEVI yang menjadikan AI benar-benar berguna dalam dunia nyata.
Sebagai analogi, jika pangkalan data yang menyimpan maklumat diibaratkan sebagai perpustakaan, pangkalan data semantik CLEVI boleh dianggap mempunyai seorang pustakawan yang sangat cekap. (Apabila anda meminta maklumat yang diperlukan daripada pustakawan, anda boleh menerima respons yang tepat dan pantas.)
Pengguna boleh menambah maklumat baharu ke perpustakaan dan mendapatkan maklumat yang diperlukan pada bila-bila masa.
Selain itu, pengurusan versi data dan kebenaran akses juga boleh ditetapkan mengikut keperluan.
Oleh sebab semua tindakan pustakawan direkodkan dalam log (rekod), sebarang kesilapan boleh dibetulkan.
<Clevi Semantic Database Structure>
Ciri-ciri utama dan struktur teknologi
Penyimpanan data semantik
- Bukan sekadar vector DB berasaskan chunk, tetapi menyimpan hubungan semantik antara data (konteks, hierarki, sebab-akibat dan sebagainya) dalam graph DB
- Mudah dikembangkan dan dilengkapkan dalam bentuk knowledge graph/semantic network
Carian dan penaakulan hibrid
- CTA+Context Query: Mengambil kira konteks (Context) pertanyaan dan CTA secara bersama
- Hybrid Retrieval: Menggabungkan persamaan vektor dengan carian berasaskan peraturan/graf
- Intelligent Folder Hits: Mencari folder/kategori yang berkaitan secara semantik secara automatik
Pemprosesan serentak multimodal
- Mentafsir serentak pelbagai jenis data seperti teks, imej, jadual dan suara melalui TextReader Pool, VisionReader Pool dan sebagainya
- Walaupun RAG sedia ada kebanyakannya hanya dapat memproses teks, pangkalan data semantik mempunyai keupayaan pemprosesan multimodal yang unggul
Respons berasaskan bukti dan pengesahan kebolehpercayaan
- Ringkasan Dokumen & Petikan, Penemuan Jadual dan lain-lain — penjanaan automatik ringkasan dokumen dan sumber
- Gabung & Sahkan: Penyepaduan semantik maklumat daripada pelbagai sumber serta pengesahan kebolehpercayaan
- Pek Bukti: Penyediaan pakej respons berasaskan bukti
Penaakulan kompleks dan perancang
- Planner/DAG: Perancangan langkah demi langkah dan penaakulan berasaskan DAG (Directed Acyclic Graph) untuk pertanyaan kompleks
Struktur ejen bersepadu
- Penyelia cip-5-agent: Ejen peringkat tertinggi yang mengurus dan menyelaras keseluruhan proses carian, penaakulan dan penyepaduan
3. Ringkasan dan perbandingan struktur
Ringkasnya, Semantic DB menerima data dalam pelbagai bentuk (suara, teks, imej, video dan lain-lain) sebagai input, lalu mengelaskan pengetahuan dengan menghubungkan bukan sahaja Chunk yang ringkas, malah hubungan semantik antara data (konteks, hierarki, sebab-akibat dan lain-lain).
Berdasarkan hal ini, ia melaksanakan carian dan penaakulan menggunakan hubungan semantik, bukannya carian berasaskan kata kunci atau keserupaan seperti RAG, sekali gus membolehkan anda memperoleh semula maklumat dan jawapan yang lebih tepat daripada AI.
Selain itu, kerana ia disimpan dalam bentuk graf pengetahuan/rangkaian semantik, pengembangan dan penambahbaikan berterusan dapat dilakukan dengan mudah.
Clevi telah mengenal pasti batasan sistem RAG dalam era transformasi AI dan kini dapat memberikan respons pantas kepada pelanggan dengan data yang lebih tepat dan boleh dipercayai melalui pangkalan data semantik serta model AI proprietari yang dapat menyelesaikan batasan tersebut.
Sistem AI Clevi dapat menjadikan data berharga milik pelanggan, tanpa mengira jenis domain dan dalam apa jua persekitaran.
Clevi akan terus berusaha sedaya upaya untuk memaksimumkan nilai data pelanggan dan menyediakan pengalaman AI yang inovatif.
Alamilah masa depan AI yang baharu bersama Clevi.
Pertanyaan dan permintaan demo: [email protected]
Copyright© 2025 Clevi Inc. All rights reserved.