1. Batasan Catastrophic Forgetting dan RAG
Apabila AI diperkenalkan ke dalam tugas sebenar, salah satu kebimbangan terbesar ialah fenomena pelupaan bencana (Catastrophic Forgetting) yang berlaku apabila pengetahuan sedia ada ditala halus menggunakan data baharu.
Ini ialah fenomena apabila AI berasaskan rangkaian neural kehilangan pengetahuan atau corak yang dipelajari sebelum ini dengan cepat semasa mempelajari maklumat baharu.
Sebagai contoh, apabila LLM sumber terbuka ditala halus menggunakan data syarikat tertentu, pengetahuan umum atau keupayaan bahasa mungkin merosot.
Untuk mengelakkan masalah ini, teknologi RAG (Retrieval-Augmented Generation) digunakan secara meluas, tetapi RAG juga mempunyai batasan.
Batasan utama RAG
- Pemprosesan data berstruktur yang tidak mencukupi (Structured Data QA): Sistem RAG terutamanya dioptimumkan untuk dokumen teks tidak berstruktur, jadi ia tidak dapat memahami atau memanfaatkan makna dan hubungan data berstruktur (jadual, pangkalan data, hamparan elektronik dan sebagainya) dengan baik.
- Had PDF kompleks/dokumen tidak berstruktur (Complex PDFs): Dokumen PDF kompleks (termasuk jadual, berbilang lajur, imej dan sebagainya) mungkin kehilangan maklumat atau mengalami herotan konteks semasa proses chunking (pembahagian). Akibatnya, data penting mungkin tidak diindeks atau sukar dicari.
- Ketiadaan model Fallback (Fallback Model(s)): Apabila sistem RAG gagal menemui jawapan yang sesuai, logik untuk beralih kepada model alternatif (sandaran) mungkin tidak mencukupi atau tidak cekap. Akibatnya, apabila jawapan gagal diberikan, alternatif yang memuaskan pengguna tidak dapat disediakan.
- Kerentanan keselamatan (LLM Security): Pertahanan terhadap kerentanan keselamatan LLM itu sendiri (seperti suntikan prompt, kebocoran data dan sebagainya) tidak mencukupi, lalu mewujudkan risiko pendedahan maklumat sensitif.
- Kekurangan kebolehskalaan (Data Ingestion Scalability): Masalah kebolehskalaan berlaku semasa proses pengindeksan dan penyimpanan data bervolume besar. Apabila jumlah data meningkat, kelajuan chunking, penyimpanan dan carian merosot, manakala beban sistem meningkat.
- Kehilangan maklumat penting (Missing Content): Kandungan penting dalam dokumen sering hilang semasa proses chunking atau tidak diindeks. Akibatnya, pengguna tidak dapat mencari maklumat yang dikehendaki.
- Kehilangan kedudukan teratas (Missed Top Ranked): Dalam hasil carian, chunk yang sebenarnya paling relevan (kedudukan teratas) mungkin tidak muncul. Puncanya termasuk had algoritma carian, kemerosotan kualiti embedding dan kesilapan pemeringkatan.
- Tidak sepadan dengan konteks (Not in Context): Chunk yang dicari sering tidak sepadan dengan konteks sebenar soalan. Hal ini berpunca daripada keterbatasan carian berasaskan persamaan semata-mata, yang mempunyai hubungan semantik yang tidak mencukupi.
- Ralat format (Wrong Format): Format chunk yang dicari mungkin tidak sesuai untuk diproses oleh LLM atau berbeza daripada format jawapan yang dikehendaki pengguna. Contohnya, apabila jadual ditukar kepada teks sehingga maklumat mengalami herotan.
- Kegagalan mengekstrak maklumat (Not Extracted): Maklumat yang diperlukan mungkin tidak diekstrak dengan betul daripada chunk, atau LLM mungkin gagal mengenal pasti maklumat tersebut. Hal ini kerap berlaku pada struktur ayat yang kompleks, jadual, imej dan sebagainya.
- Skop/kedalaman maklumat tidak sesuai (Incorrect Specificity): Jawapan mungkin terlalu umum untuk soalan tersebut atau, sebaliknya, terlalu khusus sehingga tidak menepati keperluan sebenar pengguna. Pelarasan skop dan kedalaman maklumat adalah sukar.
- Jawapan tidak lengkap (Incomplete): Jawapan yang dijana pada akhirnya mungkin tidak lengkap atau hanya memberikan sebahagian maklumat, lalu gagal memenuhi keperluan pengguna sepenuhnya. Puncanya termasuk kegagalan menggabungkan maklumat daripada beberapa chunk atau LLM hanya menggunakan sebahagian daripadanya.
Budući da se RAG pretjerano oslanja na jednostavno pretraživanje vektorske sličnosti i indeksiranje zasnovano na segmentima, njegova ograničenja u pogledu pouzdanosti, skalabilnosti i preciznosti u stvarnom poslovanju jasno su izražena.
2. Clevijeva semantička baza podataka koja prevazilazi ograničenja RAG-a
Kako bi prevazišao ova ograničenja, Clevi je razvio infrastrukturu znanja sljedeće generacije za AI, optimizovanu za semantičko povezivanje, složeno zaključivanje i odgovore zasnovane na dokazima, Clevi Semantic Database.
To je rješenje moguće zahvaljujući tome što posjeduje vlastite modele zaključivanja, multimodalni AI i agentne AI modele, te predstavlja jednu od moćnih tehnologija svojstvenih Cleviju koja omogućava da AI bude zaista koristan u stvarnom svijetu.
Kao analogiju, zamislimo bazu podataka u kojoj su pohranjene informacije kao biblioteku, a Clevijevu semantičku bazu podataka kao izuzetno sposobnog bibliotekara. (Ako od bibliotekara zatražite potrebne informacije, dobit ćete tačan i brz odgovor.)
Korisnici mogu u bilo kojem trenutku dodavati nove informacije u biblioteku i preuzimati potrebne informacije.
Osim toga, upravljanje verzijama podataka i prava pristupa mogu se postaviti prema želji.
Sve radnje bibliotekara ostaju zabilježene u zapisnicima, tako da se greške mogu ispraviti čak i ako do njih dođe.
<Clevi Semantic Database Structure>
Glavne karakteristike i tehnička struktura
Semantičko pohranjivanje podataka
- Pohranjivanje semantičkih odnosa između podataka (kontekst, hijerarhija, uzročnost itd.) u grafovskoj bazi podataka, a ne u jednostavnoj vektorskoj bazi podataka zasnovanoj na segmentima
- Jednostavno proširivanje i dopunjavanje u obliku grafa znanja/semantičke mreže
Hibridno pretraživanje i zaključivanje
- CTA+Context Query: istovremeno uzimanje u obzir konteksta upita (Context) i CTA-a
- Hybrid Retrieval: kombinovanje pretraživanja na osnovu vektorske sličnosti i pravila/grafa
- Intelligent Folder Hits: automatsko pronalaženje semantički povezanih mapa/kategorija
Istovremena multimodalna obrada
- Istovremeno tumačenje različitih vrsta podataka, kao što su tekst, slike, tabele i govor, putem TextReader Pool-a, VisionReader Pool-a itd.
- Dok postojeći RAG uglavnom može obrađivati samo tekst, semantička baza podataka odlikuje se izvrsnom sposobnošću multimodalne obrade
Odgovori zasnovani na dokazima i provjera pouzdanosti
- အကြောင်းအရာအနှစ်ချုပ်နှင့် ကိုးကားချက်များ၊ ဇယားတွေ့ရှိချက်များ စသည်တို့အပါအဝင် စာရွက်စာတမ်းအနှစ်ချုပ်နှင့် အရင်းအမြစ်များကို အလိုအလျောက်ဖန်တီးခြင်း
- ပေါင်းစည်းခြင်းနှင့် အတည်ပြုခြင်း- ရင်းမြစ်များစွာမှ အချက်အလက်များကို အဓိပ္ပာယ်အရ ပေါင်းစည်းခြင်းနှင့် ယုံကြည်စိတ်ချရမှုကို အတည်ပြုခြင်း
- အထောက်အထားပက်ကေ့ချ်- အထောက်အထားအခြေပြု တုံ့ပြန်မှု ပက်ကေ့ချ်များ ပံ့ပိုးပေးခြင်း
ရှုပ်ထွေးသော ဆင်ခြင်တွေးခေါ်မှုနှင့် အစီအစဉ်ရေးဆွဲသူ
- Planner/DAG: ရှုပ်ထွေးသော မေးမြန်းချက်များအတွက် အဆင့်လိုက်အစီအစဉ်နှင့် DAG(Directed Acyclic Graph) အခြေပြု ဆင်ခြင်တွေးခေါ်မှု
ပေါင်းစည်းထားသော အေးဂျင့်ဖွဲ့စည်းပုံ
- cip-5-agent Supervisor: ရှာဖွေခြင်း/ဆင်ခြင်တွေးခေါ်ခြင်း/ပေါင်းစည်းခြင်း လုပ်ငန်းစဉ်တစ်ခုလုံးကို စီမံခန့်ခွဲ၍ ညှိနှိုင်းပေးသော အမြင့်ဆုံးအဆင့် အေးဂျင့်
3. ဖွဲ့စည်းပုံအနှစ်ချုပ်နှင့် နှိုင်းယှဉ်ချက်
အနှစ်ချုပ်အားဖြင့် Semantic DB သည် အသံ၊ စာသား၊ ပုံ၊ ဗီဒီယို စသည်ဖြင့် ပုံစံအမျိုးမျိုးရှိသော ဒေတာများကို လက်ခံပြီး ရိုးရိုး Chunk များအဖြစ်သာမက ဒေတာများအကြားရှိ အဓိပ္ပာယ်ဆိုင်ရာ ဆက်နွယ်မှုများ (အကြောင်းအရာ၊ အဆင့်ဆင့်ဖွဲ့စည်းပုံ၊ အကြောင်းရင်းနှင့် အကျိုးဆက် စသည်တို့) ကိုပါ ချိတ်ဆက်ကာ အသိပညာများကို အမျိုးအစားခွဲခြားပေးပါသည်။
၎င်းကို အခြေခံ၍ RAG ကဲ့သို့သော သော့ချက်စကားလုံး/ဆင်တူမှုအခြေပြု ရှာဖွေခြင်းမဟုတ်ဘဲ အဓိပ္ပာယ်ဆိုင်ရာ ဆက်နွယ်မှုများကို အသုံးပြု၍ ရှာဖွေခြင်းနှင့် ဆင်ခြင်တွေးခေါ်ခြင်းကို ပြုလုပ်သောကြောင့် AI ထံမှ ပိုမိုတိကျသော သတင်းအချက်အလက်ရှာဖွေမှုနှင့် အဖြေများကို ရရှိနိုင်ပါသည်။
ထို့အပြင် အသိပညာဂရပ်/စီမန်တစ်ကွန်ရက် ပုံစံဖြင့် သိမ်းဆည်းထားသောကြောင့် စဉ်ဆက်မပြတ် ချဲ့ထွင်ခြင်းနှင့် ဖြည့်စွက်မွမ်းမံခြင်းတို့ကို လွယ်ကူစွာ ပြုလုပ်နိုင်ပါသည်။
ကျွန်ုပ်တို့ Clevi သည် AI အသွင်ကူးပြောင်းမှုခေတ်တွင် RAG စနစ်၏ ကန့်သတ်ချက်များကို ရှာဖွေတွေ့ရှိခဲ့ပြီး ၎င်းတို့ကို ဖြေရှင်းနိုင်သည့် စီမန်တစ်ဒေတာဘေ့စ်နှင့် ကိုယ်ပိုင် AI မော်ဒယ်များမှတစ်ဆင့် သုံးစွဲသူများထံ ပိုမိုတိကျပြီး ယုံကြည်စိတ်ချရသော ဒေတာများကို လျင်မြန်စွာ တုံ့ပြန်ပေးနိုင်လာပါသည်။
ကျွန်ုပ်တို့ Clevi ၏ AI စနစ်သည် မည်သည့်ပတ်ဝန်းကျင်တွင်မဆို ဒိုမိန်းအမျိုးအစားနှင့် မသက်ဆိုင်ဘဲ သုံးစွဲသူများ၏ တန်ဖိုးရှိသော ဒေတာများကို တန်ဖိုးရှိအောင် ဖန်တီးပေးနိုင်ပါသည်။
ရှေ့ဆက်၍လည်း Clevi သည် သုံးစွဲသူများ၏ ဒေတာတွင် ပါဝင်သော တန်ဖိုးကို အမြင့်ဆုံးမြှင့်တင်ရန်နှင့် ဆန်းသစ်သော AI အတွေ့အကြုံများကို ပေးအပ်ရန် အကောင်းဆုံးကြိုးပမ်းသွားပါမည်။
Clevi နှင့်အတူ AI ၏ အနာဂတ်အသစ်ကို တွေ့ကြုံခံစားကြည့်ပါ။
စုံစမ်းမေးမြန်းခြင်းနှင့် ဒီမိုတောင်းဆိုခြင်း: [email protected]
Copyright© 2025 Clevi Inc. All rights reserved.