1. Catastrophic Forgetting na oke RAG
Mgbe a na-etinye AI n’ọrụ n’ezie, otu n’ime nchegbu kachasị ukwuu bụ ihe a na-akpọ ichefu ihe n’ụzọ ọdachi (Catastrophic Forgetting) nke na-eme mgbe a na-eji data ọhụrụ emeziwanye ihe ọmụma ọ mụtaworị.
Nke a bụ ihe na-eme mgbe AI dabere na netwọk akwara na-amụta ozi ọhụrụ ma tufuo ngwa ngwa ihe ọmụma ma ọ bụ ụkpụrụ ọ mụtaworị.
Dịka ọmụmaatụ, ọ bụrụ na e jiri data otu ụlọ ọrụ meeziwanye open-source LLM, ihe ọmụma izugbe ma ọ bụ ikike asụsụ ya nwere ike ibelata.
Iji zere nsogbu ndị a, a na-eji teknụzụ RAG(Retrieval-Augmented Generation) n'ọtụtụ ebe, mana RAG nwekwara oke ya.
Oke ndị bụ isi nke RAG
- Nhazi data ahaziri adịghị mma (Structured Data QA): A na-ahazi usoro RAG tumadi maka akwụkwọ ederede na-enweghị nhazi, ya mere ọ naghị aghọta ma ọ bụ jiri nke ọma ihe pụtara na mmekọrịta dị n’etiti data ahaziri (tebụl, nchekwa data, spreadsheet, wdg.).
- Mmachi nke PDF dị mgbagwoju anya/akwụkwọ na-enweghị nhazi (Complex PDFs): N’akwụkwọ PDF dị mgbagwoju anya (gụnyere tebụl, kọlụm dị iche iche, onyonyo, wdg.), ozi nwere ike ifu ma ọ bụ gbagọọ ihe ndị gbara ya gburugburu n’oge chunking (nkewa). N’ihi nke a, enwere ike ghara ịdebanye data dị mkpa n’ime index ma ọ bụ mee ka o sie ike ịchọ ya.
- Enweghị ụdị ndabere (Fallback Model(s)): Mgbe usoro RAG na-enweghị ike ịchọta azịza kwesịrị ekwesị, logic nke ịgbanwe gaa na ụdị ọzọ (ndabere) nwere ike ịdị ntakịrị ma ọ bụ ghara ịrụ ọrụ nke ọma. N’ihi nke a, mgbe azịza dara, a naghị enye onye ọrụ ụzọ ọzọ ga-eju ya afọ.
- Adịghị ike nchekwa (LLM Security): Nchebe megide adịghị ike nchekwa nke LLM n’onwe ya (prompt injection, mwepu data, wdg.) ezughị oke, nke na-ebute ihe ize ndụ na ozi nwere mmetụta nwere ike ịpụta n’èzí.
- Enweghị scalability (Data Ingestion Scalability): Nsogbu scalability na-apụta n’oge a na-edepụta nnukwu data n’ime index ma na-echekwa ya. Ka data na-abawanye, ọsọ nke chunking, nchekwa na ọchụchọ na-ebelata, ebe ibu usoro na-abawanye.
- Ozi dị mkpa na-efu (Missing Content): Ọtụtụ mgbe, ọdịnaya dị mkpa nwere ike ifu n’oge chunking ma ọ bụ ghara ịbanye n’ime index. N’ihi nke a, onye ọrụ enweghị ike ịchọta ozi ọ chọrọ.
- Enweghị ọkwa kachasị elu (Missed Top Ranked): Chunk kacha nwee njikọ n’ezie (ọkwa kachasị elu) nwere ike ghara ịpụta n’ihe ndị ọchụchọ chọpụtara. Ihe kpatara ya nwere ike ịbụ oke algorithm ọchụchọ, mbelata ogo embedding, njehie n’ịtọ ọkwa, wdg.
- Adịghị n’ime gburugburu ajụjụ (Not in Context): Ọtụtụ mgbe, chunk a chọtara adabaghị na gburugburu ajụjụ ahụ n’ezie. N’ihi oke ọchụchọ dabere naanị na myirịta, njikọ pụtara ihe na-adị ntakịrị.
- Ụdị ezighi ezi (Wrong Format): Ụdị chunk a chọtara nwere ike ghara ịdabara maka LLM ịhazi ya, ma ọ bụ dị iche na ụdị azịza onye ọrụ chọrọ. Dịka ọmụmaatụ, mgbe a gbanwere tebụl ka ọ bụrụ ederede, ozi nwere ike gbagọọ.
- Enweghị mwepụta ozi (Not Extracted): Ozi dị mkpa nwere ike ghara ịpụtachapụ nke ọma site na chunk, ma ọ bụ LLM nwere ike ghara ịmata ozi ahụ. Nke a na-emekarị n’ahịrịokwu nwere nhazi dị mgbagwoju anya, tebụl, onyonyo, wdg.
- Nha/omimi ozi na-ekwesịghị ekwesị (Incorrect Specificity): Azịza nwere ike ịdị obosara nke ukwuu n’ihe gbasara ajụjụ ahụ, ma ọ bụ n’aka nke ọzọ bụrụ kpọmkwem nke ukwuu, nke na-eme ka ọ ghara ikwekọ n’ihe onye ọrụ chọrọ n’ezie. Ọ na-esiri ike ịhazigharị nha na omimi ozi.
- Azịza ezughị oke (Incomplete): Azịza e mepụtara n’ikpeazụ nwere ike ezughị oke, ma ọ bụ nye naanị akụkụ ụfọdụ nke ozi, ya mere ọ naghị emeju ihe onye ọrụ chọrọ nke ọma. Ihe kpatara ya nwere ike ịbụ enweghị ike ijikọta ozi sitere na chunks dị iche iche, ma ọ bụ LLM jiri naanị akụkụ ụfọdụ mee ihe.
N’ihi na RAG na-adabere nke ukwuu n’ịchọ myirịta vector dị mfe na indexing dabere na chunk, oke ya n’ihe gbasara ntụkwasị obi, ikike ịgbasawanye, na izi ezi n’ọrụ n’ezie pụtara ìhè.
2. Clevi Semantic Database nke meriri oke RAG
Iji merie oke ndị a, CLEVI mepụtara akụrụngwa ihe ọmụma AI nke ọgbọ na-abịa, nke e haziri maka njikọ nke pụtara ihe, echiche dị mgbagwoju anya, na nzaghachi dabere na ihe akaebe, nke bụ Clevi Semantic Database.
Nke a bụ ngwọta ga-ekwe omume n’ihi na o nwere ụdị Reasoning nke ya, multimodal AI, na ụdị AI nwere omume dịka onye nnọchi anya; ọ bụkwa otu n’ime teknụzụ siri ike pụrụ iche nke CLEVI na-eji eme ka AI baa uru n’ezie n’ụwa.
N’ụzọ atụnyere, ọ bụrụ na anyị ewere nchekwa data nwere ozi dị ka ọbá akwụkwọ, ị nwere ike iche na Clevi Semantic Database nwere onye na-elekọta ọbá akwụkwọ mara ezigbo ihe. (Ọ bụrụ na ị rịọ onye na-elekọta ọbá akwụkwọ ahụ ozi ịchọrọ, ị ga-enweta nzaghachi ziri ezi ma dịkwa ngwa.)
Onye ọrụ nwere ike itinye ozi ọhụrụ n’ọbá akwụkwọ ma wepụta ozi dị mkpa n’oge ọ bụla.
Ọzọkwa, ị nwere ike hazie njikwa ụdị data na ikike ịnweta ya dịka ịchọrọ.
A na-edekọ omume niile onye na-elekọta ọbá akwụkwọ ahụ na log (ndekọ), ya mere enwere ike idozi mmejọ ọ bụla ma ọ bụrụ na o mee.
<Clevi Semantic Database Structure>
Njirimara ndị bụ isi na nhazi teknụzụ
Nchekwa data nke pụtara ihe
- Kama ịbụ vector DB dị mfe nke dabere na chunk, ọ na-echekwa mmekọrịta pụtara ihe dị n’etiti data (ọnọdụ, ọkwa, ihe kpatara ihe, wdg) na graph DB
- Ọ dị mfe ịgbasa ma mejuo ya n’ụdị knowledge graph/semantic network
Ọchụchọ ngwakọ na echiche
- CTA+Context Query: Na-atụle Context nke ajụjụ na CTA ọnụ
- Hybrid Retrieval: Na-ejikọta myirịta vector na ọchụchọ dabere na iwu/graph
- Intelligent Folder Hits: Na-achọpụta folda/ụdị ngalaba ndị nwere njikọ pụtara ihe na-akpaghị aka
Nhazi multimodal n’otu oge
- TextReader Pool, VisionReader Pool wdg na-akọwa data dị iche iche dịka ederede, onyonyo, tebụl, na olu n’otu oge
- Ọ bụ ezie na RAG ọdịnala na-enwekarị ike ịhazi naanị ederede, Semantic Database nwere ikike nhazi multimodal dị elu
Nzaghachi dabere na ihe akaebe na nyocha ntụkwasị obi
- Nchịkọta Akwụkwọ & Ntụaka, Nchọpụta Tebụl na ihe ndị ọzọ — imepụta nchịkọta akwụkwọ na isi mmalite na-akpaghị aka
- Merge & Verify: ijikọ ozi sitere n'ọtụtụ isi mmalite n'ụzọ pụtara ihe na nyochaa ntụkwasị obi ya
- Evidence Pack: inye ngwugwu nzaghachi dabere na ihe akaebe
Ntụgharị uche dị mgbagwoju anya na onye nhazi atụmatụ
- Planner/DAG: imepụta atụmatụ nzọụkwụ site na nzọụkwụ na ntụgharị uche dabere na DAG (Directed Acyclic Graph) maka ajụjụ dị mgbagwoju anya
Nhazi onye nnọchi anya jikọtara ọnụ
- cip-5-agent Supervisor: onye nnọchi anya kachasị elu na-ahụ maka ma na-ahazi usoro ọchụchọ/ntụgharị uche/ijikọta niile
3. Nchịkọta na ntụnyere nhazi
N'ịchịkọta, Semantic DB na-anata data n'ụdị dị iche iche (olu, ederede, onyonyo, vidio na ihe ndị ọzọ), na-ekewa ihe ọmụma site n'ijikọ ọ bụghị naanị Chunk dị mfe, kamakwa mmekọrịta pụtara ihe dị n'etiti data (ihe gbara ya gburugburu, ọkwa, ihe kpatara ya na ihe ndị ọzọ).
N'iji nke a mee ihe, kama ịchọ dabere na mkpụrụokwu/myirịta dị ka RAG, ọ na-eme ọchụchọ na ntụgharị uche site na iji njikọ pụtara ihe, yabụ ị nwere ike nweta ọchụchọ ozi na azịza ziri ezi karịa site n'aka AI.
Ọzọkwa, ebe a na-echekwa ya n'ụdị knowledge graph/semantic network, ọ dị mfe ịgbasa na imeziwanye ya mgbe niile.
CLEVI anyị chọpụtara oke nke usoro RAG n'oge mgbanwe AI buru ibu, ma site na Semantic DB na ụdị AI nke anyị mepụtara, anyị enweela ike ịza ndị ahịa data ziri ezi ma ntụkwasị obi karịa ngwa ngwa.
Usoro AI nke CLEVI anyị nwere ike ime ka data ndị ahịa dị oke ọnụ ahịa bụrụ ihe bara uru n'agbanyeghị ụdị ngalaba ma ọ bụ gburugburu ebe obibi ọ bụla.
CLEVI ga-aga n'ihu na-eme ike ya niile iji kwalite uru data ndị ahịa ruo n'ọkwa kachasị elu ma nye ahụmịhe AI ọhụrụ.
Biko soro CLEVI nweta ahụmịhe nke ọdịnihu AI ọhụrụ.
Ajụjụ na arịrịọ ngosi: [email protected]
Copyright© 2025 Clevi Inc. Ikikere niile echekwabara.