1. Avmarkingar við Catastrophic Forgetting og RAG
Tá AI verður tikin í nýtslu í veruligum arbeiði, er ein av størstu stúranunum fyribrigdið við katastrofalari gloymsku (Catastrophic Forgetting), sum kann standast, tá vitliga vitanin, ið longu er lær, verður fínjusterað við nýggjum dátum.
Hetta er eitt fyribrigdi, har taugarnetgrundað AI brádliga missir vitan ella mynstur, sum tað áður hevur lært, meðan tað lærir nýggjar upplýsingar.
Til dømis kann alment tøkt LLM missa almennan kunnleika ella málførleika, um tað verður fínjusterað við dátum frá einum ávísum fyritøku.
Fyri at sleppa undan hesum trupulleika verður RAG(Retrieval-Augmented Generation)-tøkni nógv nýtt, men RAG hevur eisini avmarkingar.
Vanligar avmarkingar við RAG
- Ónógv viðgerð av struktureruðum dátum (Structured Data QA): RAG-skipanir eru fyrst og fremst optimeraðar til óstruktureruð tekstskjøl og megna tí ikki altíð at skilja ella nýta merking og samband í struktureruðum dátum (talvum, dátugrunnum, rokniørkum o.s.fr.).
- Avmarkingar við kompleksum PDF-skjølum/óstruktureruðum skjølum (Complex PDFs): Í kompleksum PDF-skjølum (við talvum, fleiri teigum, myndum o.s.fr.) kunnu upplýsingar hvørva ella samanhangurin verða skeivur í chunking(deilingar)tilgongdini. Hetta kann hava við sær, at týdningarmiklar dátur ikki verða indekseraðar ella verða torførar at leita eftir.
- Manglandi Fallback(backup)-modell (Fallback Model(s)): Tá RAG-skipanin ikki finnur eitt hóskandi svar, er logikkurin til at skifta til eitt alternativt (backup) modell ov veikur ella óvirkin. Hetta ger, at brúkarin ikki fær eitt nøktandi alternativ, tá svarið miseydnast.
- Trygdarsvagleikar (LLM Security): Verjan móti trygdarsvagleikum í sjálvum LLM-inum (prompt injection, dátuleki o.s.fr.) er ov veik, og tí er vandi fyri, at viðkvæmar upplýsingar verða avdúkaðar.
- Manglandi skalerbarleiki (Data Ingestion Scalability): Skalerbarleikatrupulleikar kunnu koma upp í sambandi við indeksering og goymslu av stórum mongdum av dátum. Meira dátan veksur, meira versna ferðin á chunking, goymslu og leiting, og størri verður belastingin á skipanini.
- Týdningarmiklar upplýsingar mangla (Missing Content): Týdningarmikið innihald í skjølum kann ofta hvørva í chunkingtilgongdini ella ikki verða indekserað. Hetta ger, at brúkarin ikki kann leita eftir teimum upplýsingum, hann ynskir.
- Ovasta rangeringin manglar (Missed Top Ranked): Mest viðkomandi chunk(ovasta rangeringin) kann mangla í leitiúrslitunum. Orsøkirnar kunnu vera avmarkingar í leitialgoritmunum, verri embedding-góðska ella villur í rangeringini.
- Samhangur ikki í samsvari (Not in Context): Leitaði chunk kann ofta vera ósamsvarandi við samanhangin í veruligu spurninginum. Hetta kemst av avmarkingum við leiting, sum einans er grundað á líkleika, og harvið manglar merkingarligt samband.
- Sniðvillur (Wrong Format): Sniðið á leitaða chunk kann vera óhóskandi til viðgerðar hjá LLM, ella tað kann vera øðrvísi enn sniðið, brúkarin ynskir fyri svarið. Eitt dømi er, tá ein talva verður umgjørd til tekst, so upplýsingarnar verða skeivleikaðar.
- Miseydnað kunningarúttøka (Not Extracted): Neyðugar upplýsingar verða ikki rætt útdregnar úr chunk, ella LLM kennir ikki upplýsingarnar aftur. Hetta kemur ofta fyri í fløktum setningsbygnaði, talvum, myndum o.s.fr.
- Óhóskandi vídd/dýpd í upplýsingunum (Incorrect Specificity): Svarið kann vera ov vítt ella hinvegin ov ítøkiligt í mun til spurningin og samsvarar tí ikki veruligu tørvunum hjá brúkaranum. Tað er torført at stýra víddini og dýpdini í upplýsingunum.
- Ófullfíggjað svar (Incomplete): Endaliga framleidda svarið kann vera ófullfíggjað ella bert geva partar av upplýsingunum og tí ikki nøkta tørvin hjá brúkaranum nóg væl. Orsøkirnar kunnu vera, at upplýsingar úr fleiri chunk ikki verða savnaðar, ella at LLM bert nýtir ein part av teimum.
Soleiðis er RAG, av tí at tað er ov nógv treytað av einfaldari vektorlíkheitsleiting og chunk-grundaðari indeksering, greitt avmarkað í veruligum arbeiði, tá ið tað snýr seg um álítandi virksemi, skalanleika og neyvleika.
2. Clevi Semantic Database, sum hevur vunnið á avmarkingunum hjá RAG
Fyri at vinna á hesum avmarkingum hevur CLEVI ment næsta ættarliðs AI-vitanarundirstøðukervið, optimerað til merkingarligar sambindingar, samsetta røkhugsan og grundarlagsgrundað svør, Clevi Semantic Database.
Hetta er ein loysn, sum er møgulig, tí CLEVI hevur síni egnu Reasoning-modell, multimodala AI og agentlík AI-modell, og er ein av teimum sterku tøknunum hjá CLEVI, sum gera AI veruliga nyttiga í veruleikanum.
Sum líking kanst tú hugsa um ein bókasavnsbókavørð, tá ið dátugrundarlagið, har upplýsingarnar eru goymdar, verður samanborið við eitt bókasavn. (Tá ið tú biður bókasavnsbókavørðin um neyðugu upplýsingarnar, fært tú eitt neyvt og skjótt svar.)
Brúkarin kann altíð leggja nýggjar upplýsingar aftrat í bókasavninum og heinta tær upplýsingarnar, sum tørvur er á.
Eisini kanst tú stilla útgávustýringina av dátunum og atgongdarrættindini eftir ynski.
Allar gerðir hjá bókasavnsbókavørðinum verða skrásettar í loggum (skrásetingum), so tær kunnu rættast, um ein feilur hendir.
<Clevi Semantic Database Structure>
Høvuðseiginleikar og tøknilig uppbygningur
Merkingarlig dátugoymsla
- Ikki einans ein einfaldur chunk-vektorDB, men eisini merkingarlig sambond millum dátur (samhengi, stigskipan, orsøk o.s.fr.) goymd í einum grafa-DB
- Lætt at víðka og komplettera sum vitanargrafur/merkingarverk
Blandað leiting og røkhugsan
- CTA+Context Query: Tekur bæði samhengi (Context) og CTA hjá fyrispurninginum við
- Hybrid Retrieval: Sameinir vektorlíkheitsleiting við leiting, sum er grundað á reglur/grafar
- Intelligent Folder Hits: Finnur sjálvvirkandi fram til merkingarliga tengdar eindir/flokkar
Samtíðar viðgerð av multimodali
- TextReader Pool, VisionReader Pool o.s.fr. tulka samtíðis ymiskar dátur, so sum tekst, myndir, talvur og rødd
- Meðan vanlig RAG fyrst og fremst kann viðgera tekst, hevur merkingarliga dátugrundarlagið framúrskarandi førleika til multimodala viðgerð
Grundarlagsgrundað svør og álítandi váttan
- Skjalasamandráttir og keldutilvísingar, funnir í talvum o.s.fr. sjálvvirkandi
- Sameina og vátta: Merkingarlig sameining og álítisvátting av upplýsingum úr fleiri keldum
- Prógvgreiðsla: Veiting av próvgrundaðum svarsgerðum
Fløkt hugsan og planleggjari
- Planner/DAG: Stigvís ætlan og DAG (Directed Acyclic Graph)-grundað hugsan til fløktar fyrispurningar
Sameind agent-arkitektur
- cip-5-agent Supervisor: Yvirskipaði agenturin, sum umsitur og samskipar alt leitingar-, hugsanar- og sameiningarferlið
3. Samandráttur og samanbering av bygnaði
Samanumtikið tekur Semantic DB ímóti dátum í ymiskum sniðum (ljóði, teksti, myndum, video o.s.fr.) og flokkar vitan við at knýta ikki bara einfaldar Chunk, men eisini merkingarlig sambond millum dátur (samhengi, stigskipan, orsøk og ávirkan o.s.fr.).
Við støði í hesum verða leiting og hugsan framdar við at nýta merkingarlig sambond í staðin fyri lyklaorða- og líkleikagrundaða leiting sum í RAG, og tí ber til at fáa nágreiniligari upplýsingaleiting og svar frá AI.
Harumframt verða dátuni goymd sum eitt vitanarrit/netverk, og tí er lætt at víðka og bøta støðugt um tær.
Hjá Clevi funnu vit í tíðini við AI-umskifti avmarkingarnar í RAG-skipanum, og við einari semantiskari dátugrunni og okkara egna AI-modelli, sum kunnu loysa hesar avmarkingar, kunnu vit nú geva kundum skjótari svar við nágreiniligari og meira álítandi dátum.
AI-skipanin hjá Clevi kann í øllum umhvørvum og óansæð øki gera virðismiklar dátur hjá kundum okkara.
Eisini frameftir fer Clevi at gera sítt ítarsta fyri at hámarka virðið í dátum hjá kundum okkara og veita nýskapandi AI-upplivingar.
Uppliv framtíðina hjá nýggjari AI saman við Clevi.
Fyrispurningar og umbøn um demo: [email protected]
Copyright© 2025 Clevi Inc. All rights reserved.