Hifadhidata ya Semantiki ya Clevi

1. Catastrophic Forgetting na mapungufu ya RAG

AI inapoanzishwa katika kazi halisi, mojawapo ya changamoto kubwa ni hali ya kusahaulika kwa janga (Catastrophic Forgetting) inayotokea wakati wa kufanya urekebishaji maalum wa maarifa yaliyofunzwa awali kwa kutumia data mpya.

Hii ni hali ambapo AI inayotegemea mitandao ya neva hupoteza kwa ghafla maarifa au mifumo iliyojifunza awali wakati wa kujifunza taarifa mpya.

Kwa mfano, kufanya urekebishaji maalum wa LLM ya chanzo huria kwa kutumia data ya kampuni fulani kunaweza kupunguza maarifa ya jumla au uwezo wa lugha.

Ili kuepuka tatizo hili, teknolojia ya RAG(Retrieval-Augmented Generation) inatumika sana, lakini RAG pia ina mapungufu.

Mapungufu makuu ya RAG

• Uchakataji usio wa kutosha wa data iliyoundwa (Structured Data QA): Mifumo ya RAG imeboreshwa hasa kwa hati za maandishi zisizo na muundo, hivyo hushindwa kuelewa au kutumia ipasavyo maana na uhusiano wa data iliyoundwa (maj at a, hifadhidata, lahajedwali, n.k.).
• Vikomo vya PDF changamano/hati zisizo na muundo (Complex PDFs): Hati changamano za PDF (zinazojumuisha majedwali, safu nyingi, picha, n.k.) zinaweza kupoteza taarifa au kupotosha muktadha wakati wa mchakato wa chunking (kugawanya). Kwa sababu hiyo, data muhimu huenda isiwekwe kwenye faharasa au ikawa vigumu kutafutwa.
• Ukosefu wa modeli ya Fallback (Fallback Model(s)): Mfumo wa RAG unaposhindwa kupata jibu linalofaa, mantiki ya kubadilisha kwenda kwenye modeli mbadala (ya kuhifadhi nakala) inaweza kuwa haitoshi au isiyofaa. Kwa sababu hiyo, mtumiaji hapewi njia mbadala inayoridhisha jibu linaposhindikana.
• Udhaifu wa usalama (LLM Security): Ulinzi dhidi ya udhaifu wa usalama wa LLM yenyewe (kama vile prompt injection na kuvuja kwa data) hautoshi, hivyo kuna hatari ya taarifa nyeti kufichuka.
• Ukosefu wa uwezo wa kupanuka (Data Ingestion Scalability): Matatizo ya uwezo wa kupanuka hutokea wakati wa kuweka kwenye faharasa na kuhifadhi data nyingi. Kadiri data inavyoongezeka, kasi ya chunking, uhifadhi na utafutaji hupungua, huku mzigo wa mfumo ukiongezeka.
• Taarifa muhimu kukosekana (Missing Content): Maudhui muhimu katika hati mara nyingi hukosekana wakati wa mchakato wa chunking au hayawekwi kwenye faharasa. Kwa sababu hiyo, mtumiaji hawezi kutafuta taarifa anayohitaji.
• Kukosekana kwa nafasi za juu (Missed Top Ranked): chunk inayohusiana zaidi kwa uhalisia (iliyo katika nafasi ya juu) inaweza kukosekana katika matokeo ya utafutaji. Sababu ni pamoja na vikwazo vya kanuni ya utafutaji, kushuka kwa ubora wa embedding na makosa ya upangaji wa nafasi.
• Kutolingana kwa muktadha (Not in Context): Mara nyingi chunk iliyotafutwa haiendani na muktadha halisi wa swali. Hili hutokana na vikwazo vya utafutaji unaotegemea tu ufanano, hivyo muunganisho wa kimaana huwa hautoshi.
• Hitilafu ya muundo (Wrong Format): Muundo wa chunk iliyotafutwa unaweza kutofaa kwa LLM kuuchakata au kutofautiana na muundo wa jibu anaotaka mtumiaji. Kwa mfano, maelezo ya jedwali yanaweza kubadilishwa kuwa maandishi na hivyo kupotosha taarifa.
• Kushindwa kutoa taarifa (Not Extracted): Taarifa inayohitajika huenda isitoewe ipasavyo kutoka kwenye chunk, au LLM ikashindwa kuitambua. Hili hutokea mara kwa mara katika miundo changamano ya sentensi, majedwali, picha, n.k.
• Upeo/undani wa taarifa usiofaa (Incorrect Specificity): Jibu linaweza kuwa pana sana kuhusu swali au, kinyume chake, mahususi kupita kiasi, hivyo lisilingane na mahitaji halisi ya mtumiaji. Ni vigumu kudhibiti upeo na undani wa taarifa.
• Jibu lisilokamilika (Incomplete): Jibu linalozalishwa hatimaye linaweza kuwa lisilokamilika au kutoa baadhi tu ya taarifa, na hivyo kushindwa kutosheleza mahitaji ya mtumiaji. Sababu zinaweza kuwa kutoweza kuunganisha taarifa kutoka kwenye chunks nyingi au LLM kutumia sehemu tu ya taarifa.

Kwa kuwa RAG inategemea kupita kiasi utafutaji wa mfanano wa vekta rahisi na uwekaji wa faharasa unaotegemea vipande, ina mipaka iliyo wazi katika suala la kutegemeka, upanuzi na usahihi katika kazi halisi.

2. Hifadhidata ya kisemantiki ya CLEVI iliyoshinda mipaka ya RAG

Ili kushinda mipaka hii, CLEVI imetengeneza miundombinu ya kizazi kijacho ya maarifa ya AI, iliyoboreshwa kwa miunganisho ya kisemantiki, uelekezaji changamano na majibu yanayotegemea ushahidi, yaani Clevi Semantic Database.

Hili ni suluhisho linalowezekana kwa sababu CLEVI inamiliki modeli zake za Reasoning, AI ya multimodali na modeli za AI za aina ya mawakala, na ni mojawapo ya teknolojia zenye nguvu za kipekee za CLEVI zinazofanya AI iweze kusaidia kweli katika ulimwengu halisi.

Kwa mfano, ikiwa hifadhidata inayohifadhi taarifa ni maktaba, unaweza kufikiria kwamba hifadhidata ya kisemantiki ya CLEVI ina mtunza maktaba bora sana. (Ukimwomba mtunza maktaba taarifa unayohitaji, utapokea jibu sahihi na la haraka.)

Watumiaji wanaweza kuongeza taarifa mpya kwenye maktaba na kupata taarifa wanazohitaji wakati wowote.

Pia wanaweza kuweka udhibiti wa matoleo ya data na ruhusa za ufikiaji wanavyotaka.

Kwa kuwa kila kitendo cha mtunza maktaba huhifadhiwa kama logi (rekodi), makosa yakitokea yanaweza kurekebishwa.

<Clevi Semantic Database Structure>

Sifa kuu na muundo wa teknolojia

Uhifadhi wa data wa kisemantiki

• Haihifadhi tu vekta za vipande kwenye DB ya vekta, bali huhifadhi mahusiano ya kisemantiki kati ya data (muktadha, ngazi, sababu na athari, n.k.) kwenye DB ya grafu
• Ni rahisi kupanua na kuboresha katika mfumo wa grafu ya maarifa/mtandao wa kisemantiki

Utafutaji na uelekezaji mseto

• CTA+Context Query: Huakisi kwa pamoja muktadha (Context) wa swali na CTA
• Hybrid Retrieval: Huunganisha mfanano wa vekta na utafutaji unaotegemea kanuni/grafu
• Intelligent Folder Hits: Huchunguza kiotomatiki folda/kategoria zinazohusiana kisemantiki

Uchakataji wa wakati mmoja wa data ya multimodali

• Hutafsiri kwa wakati mmoja data mbalimbali kama maandishi, picha, majedwali na sauti kupitia TextReader Pool, VisionReader Pool, n.k.
• Ingawa RAG ya kawaida inaweza kuchakata hasa maandishi pekee, hifadhidata ya kisemantiki ina uwezo bora wa kuchakata data ya multimodali

Majibu yanayotegemea ushahidi na uthibitishaji wa kutegemeka

• Muhtasari wa Hati na Marejeo, Utafutaji wa Matokeo ya Majedwali
• Unganisha na Thibitisha: Uunganishaji wa kimantiki wa taarifa kutoka vyanzo vingi na uthibitishaji wa uaminifu
• Kifurushi cha Ushahidi: Kutoa kifurushi cha majibu yanayotegemea ushahidi

Utoaji wa Hoja Changamano na Mpangaji

• Planner/DAG: Upangaji wa hatua kwa hatua na utoaji wa hoja unaotegemea DAG (Directed Acyclic Graph) kwa maswali changamano

Muundo Jumuishi wa Wakala

• cip-5-agent Supervisor: Wakala wa ngazi ya juu anayesimamia na kuratibu mchakato mzima wa utafutaji, utoaji wa hoja na ujumuishaji

3. Muhtasari na Ulinganisho wa Muundo

Kwa muhtasari, Semantic DB hupokea data za aina mbalimbali (sauti, maandishi, picha, video, n.k.) na kuainisha maarifa kwa kuunganisha si Chunk pekee, bali pia mahusiano ya kimaana kati ya data (muktadha, ngazi, sababu na matokeo, n.k.).

Kwa msingi huu, kwa kuwa hufanya utafutaji na utoaji wa hoja kwa kutumia miunganisho ya kimaana badala ya utafutaji unaotegemea maneno muhimu/ufanano kama RAG, unaweza kupata utafutaji wa taarifa na majibu sahihi zaidi kutoka kwa AI.

Pia, kwa kuwa huhifadhiwa katika muundo wa grafu ya maarifa/mtandao wa kisemantiki, ni rahisi kuipanua na kuikamilisha kwa kuendelea.

CLEVI iligundua mipaka ya mifumo ya RAG katika enzi ya mabadiliko makubwa ya AI, na kupitia hifadhidata ya kisemantiki na modeli ya AI ya kipekee inayoweza kutatua mipaka hiyo, sasa inaweza kuwajibu wateja kwa haraka kwa data sahihi na yenye uaminifu zaidi.

Mfumo wa AI wa CLEVI unaweza kufanya data muhimu ya wateja iwe na thamani, bila kujali aina ya kikoa na katika mazingira yoyote.

CLEVI itaendelea kujitahidi kuongeza thamani ya data za wateja na kutoa uzoefu wa kiubunifu wa AI.

Tafadhali pokea mustakabali mpya wa AI pamoja na CLEVI.

Maulizo na ombi la onyesho: [email protected]

Copyright© 2025 Clevi Inc. Haki zote zimehifadhiwa.