Clevi Semantic Database

1. Malire a Catastrophic Forgetting ndi RAG

Pamene AI iyamba kugwiritsidwa ntchito pa ntchito zenizeni, chimodzi mwa zodetsa nkhawa zazikulu ndi zochitika za kuiwala koopsa (Catastrophic Forgetting) zomwe zimachitika podzaphunzitsanso chidziwitso chomwe chinaphunziridwa kale pogwiritsa ntchito deta yatsopano.

Izi ndi zochitika pamene AI yozikidwa pa ma neural network imataya mwadzidzidzi chidziwitso kapena mawonekedwe omwe inaphunzira kale pamene ikuphunzira zambiri zatsopano.

Mwachitsanzo, mukaphunzitsanso LLM yotseguka pogwiritsa ntchito deta ya kampani inayake, chidziwitso cha zinthu zonse kapena luso la chinenero lingachepe.

Pofuna kupewa vutoli, ukadaulo wa RAG(Retrieval-Augmented Generation) umagwiritsidwa ntchito kwambiri, koma RAG nawonso uli ndi malire.

Malire odziwika a RAG

• Kusagwira bwino deta yokonzedwa (Structured Data QA): Makina a RAG amakonzedwa makamaka kuti agwire zikalata za malemba osakonzedwa, choncho sangathe kumvetsa kapena kugwiritsa ntchito bwino tanthauzo ndi ubale wa deta yokonzedwa (matebulo, ma database, ma spreadsheet ndi zina).
• Zolepheretsa pa ma PDF ovuta/zikalata zosakonzedwa (Complex PDFs): Ma PDF ovuta (okhala ndi matebulo, mizere ingapo ya malemba, zithunzi ndi zina) angataye zambiri kapena kusokoneza nkhani panthawi ya chunking (kugawa). Chifukwa cha izi, deta yofunika singalowetsedwe mu index kapena kusaka kungakhale kovuta.
• Kusowa kwa mtundu wosinthira (Fallback Model(s)): Makina a RAG akalephera kupeza yankho loyenera, malamulo osinthira kupita ku mtundu wina wothandizira angakhale osakwanira kapena osagwira bwino. Chifukwa cha izi, wogwiritsa ntchito sapatsidwa njira ina yokhutiritsa yankho likalephera.
• Zowopsa za chitetezo (LLM Security): Chitetezo ku zofooka za LLM yokha (prompt injection, kutayikira kwa deta ndi zina) sichokwanira, zomwe zingayambitse kuwululidwa kwa zinsinsi.
• Kusowa kwa scalability (Data Ingestion Scalability): Mavuto a scalability amabuka panthawi yolowetsa mu index ndi kusunga deta yambiri. Deta ikachuluka, liwiro la chunking, kusunga ndi kusaka limatsika, ndipo katundu wa makina ukuwonjezeka.
• Kusowa kwa zambiri zofunika (Missing Content): Zinthu zofunika m'zikalata nthawi zambiri zimasowa panthawi ya chunking kapena sizilowetsedwa mu index. Chifukwa cha izi, wogwiritsa ntchito sangathe kusaka zomwe akufuna.
• Kusowa kwa ma chunk omwe ali paudindo wapamwamba (Missed Top Ranked): Chunk yomwe ili yogwirizana kwambiri (yomwe ili paudindo wapamwamba) ingasowe pa zotsatira za kusaka. Zifukwa zake zingakhale malire a algorithm yosakira, kuchepa kwa khalidwe la embedding kapena zolakwika za maudindo.
• Kusagwirizana ndi nkhani (Not in Context): Nthawi zambiri chunk yosakidwa sigwirizana ndi nkhani yeniyeni ya funso. Izi zimachitika chifukwa cha malire a kusaka komwe kumadalira kufanana kokha, komwe kulibe kulumikizana kokwanira kwa matanthauzo.
• Fomati yolakwika (Wrong Format): Fomati ya chunk yosakidwa ingakhale yosayenera kuti LLM iikonze kapena ingakhale yosiyana ndi fomati ya yankho yomwe wogwiritsa ntchito akufuna. Mwachitsanzo, tebulo lingasinthidwe kukhala mawu, zomwe zingasokoneze zambiri.
• Kulephera kuchotsa zambiri (Not Extracted): Zambiri zofunika sizingachotsedwe bwino mu chunk, kapena LLM singathe kuzizindikira. Izi zimachitika kawirikawiri pa kapangidwe ka ziganizo kovuta, matebulo ndi zithunzi.
• Kusayenerera kwa kuchuluka/kuzama kwa zambiri (Incorrect Specificity): Yankho lingakhale lotambasuka kwambiri pa funso kapena, m'malo mwake, likhale lachindunji kwambiri moti siligwirizana ndi zomwe wogwiritsa ntchito akufuna. Kusintha kuchuluka ndi kuzama kwa zambiri kumakhala kovuta.
• Yankho losakwanira (Incomplete): Yankho lopangidwa pamapeto lingakhale losakwanira kapena lingapereke zambiri zina zokha, motero silikwaniritsa mokwanira zomwe wogwiritsa ntchito akufuna. Zifukwa zake zingakhale kulephera kuphatikiza zambiri kuchokera kuma chunk angapo kapena LLM kugwiritsa ntchito gawo limodzi lokha la zinthuzo.

Monga chonchi, chifukwa RAG imadalira kwambiri kusaka kofanana kwa ma vector komanso indexing yochokera pa ma chunk, malire ake pa kudalirika, kukulitsa, ndi kulondola pa ntchito zenizeni amaonekera bwino.

2. Clevi Semantic Database yomwe yathetsa malire a RAG

Pofuna kuthana ndi malirewa, CLEVI yapanga maziko atsopano a chidziwitso cha AI, Clevi Semantic Database, omwe amakongoletsedwa ndi kulumikizana kwa tanthauzo·kuganiza kovuta kophatikiza·mayankho ozikidwa pa umboni.

Izi ndi yankho lotheka chifukwa ili ndi Reasoning model yake, multimodal AI, ndi agentic AI model, ndipo ndi imodzi mwa matekinoloje amphamvu a CLEVI omwe amathandiza AI kukhala yothandiza kwenikweni m’moyo weniweni.

Mwachitsanzo, ngati database yosungiramo zambiri tingaiyerekezere ndi laibulale, ndiye Clevi Semantic Database tingaiyerekezere ndi kukhala ndi woyang’anira laibulale waluso kwambiri. (Mukapempha woyang’anira laibulaleyo chidziwitso chomwe mukufuna, mumalandira yankho lolondola komanso lachangu.)

Ogwiritsa ntchito atha kuwonjezera zidziwitso zatsopano ku laibulale nthawi iliyonse, komanso kutulutsa zidziwitso zofunika.

Komanso, kasamalidwe ka mitundu ya data komanso zilolezo zofikira zitha kukhazikitsidwa momwe mukufunira.

Zochita zonse za woyang’anira laibulale zimasungidwa ngati log (mbiri), choncho ngakhale cholakwa chichitike, chitha kukonzedwa.

<Clevi Semantic Database Structure>

Zinthu zazikulu ndi kapangidwe kaukadaulo

Kusunga data potengera tanthauzo

• M’malo mwa chunk vectorDB yosavuta, maubwenzi a tanthauzo pakati pa data (nkhani, magawo, zoyambitsa ndi zina) amasungidwa mu graph DB
• Ndizosavuta kukulitsa ndi kuwonjezera ngati knowledge graph/semantic network

Kusaka kwa hybrid ndi kulingalira

• CTA+Context Query: Kuganizira pamodzi nkhani ya funso (Context) ndi CTA
• Hybrid Retrieval: Kuphatikiza kusaka kotengera kufanana kwa ma vector ndi kusaka kotengera malamulo/graph
• Intelligent Folder Hits: Kupeza zokha mafoda/magulu omwe ali ogwirizana potengera tanthauzo

Kukonza ma modality angapo nthawi imodzi

• TextReader Pool, VisionReader Pool ndi zina zimatanthauzira nthawi imodzi data zosiyanasiyana monga mawu, zithunzi, matebulo, ndi mawu ojambulidwa
• Ngakhale RAG yakale imatha kukonza makamaka mawu okha, semantic database ili ndi luso lapamwamba kwambiri lokonza ma modality angapo

Mayankho ozikidwa pa umboni ndi kutsimikizira kudalirika

• Muhtasari wa Nyaraka na Marejeleo, Matokeo ya Majedwali, n.k. — kutengeneza kiotomatiki muhtasari wa nyaraka na vyanzo
• Unganisha na Thibitisha: kuunganisha taarifa kutoka vyanzo vingi kwa maana na kuthibitisha uaminifu
• Kifurushi cha Ushahidi: kutoa kifurushi cha majibu yanayotegemea ushahidi

Ufikiriaji changamano na mpangaji

• Planner/DAG: kupanga hatua kwa hatua na kufikiri kwa msingi wa DAG (Directed Acyclic Graph) kwa maswali changamano

Muundo jumuishi wa mawakala

• cip-5-agent Supervisor: wakala wa juu zaidi anayesimamia na kuratibu mchakato mzima wa utafutaji, ufikiriaji na ujumuishaji

3. Muhtasari na ulinganisho wa muundo

Kwa muhtasari, Semantic DB hupokea data za aina mbalimbali (sauti, maandishi, picha, video, n.k.) na kuainisha maarifa kwa kuunganisha si Chunk pekee, bali pia mahusiano ya kimaana kati ya data (muktadha, ngazi, sababu na matokeo, n.k.).

Kwa msingi huu, badala ya kutafuta kwa kutumia maneno muhimu au ufanano kama RAG, hutumia miunganisho ya kimaana katika utafutaji na ufikiri, hivyo kukuwezesha kupata taarifa na majibu sahihi zaidi kutoka kwa AI.

Pia, kwa kuwa huhifadhiwa katika mfumo wa grafu ya maarifa/mtandao wa kimaana, ni rahisi kuipanua na kuikamilisha kila wakati.

CLEVI imegundua mipaka ya mifumo ya RAG katika enzi ya mabadiliko makubwa ya AI, na kupitia hifadhidata ya data ya kimaana pamoja na modeli ya kipekee ya AI inayoweza kutatua mipaka hiyo, sasa inaweza kuwajibu wateja kwa haraka kwa data sahihi na yenye kuaminika zaidi.

Mfumo wa AI wa CLEVI unaweza kufanya data muhimu ya wateja iwe na thamani, bila kujali aina ya kikoa na katika mazingira yoyote.

CLEVI itaendelea kufanya kila iwezalo ili kuongeza thamani ya data ya wateja na kutoa uzoefu wa ubunifu wa AI.

Tafadhali furahia mustakabali mpya wa AI pamoja na CLEVI.

Maulizo na ombi la onyesho: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.