1. Avgrensingane ved Catastrophic Forgetting og RAG
Når AI blir teken i bruk i det faktiske arbeidet, er eit av dei største problema fenomenet katastrofal gløymsle (Catastrophic Forgetting), som oppstår når kunnskap som allereie er lært, blir finjustert med nye data.
Dette er eit fenomen der nevrale nettverksbaserte AI-system brått mistar kunnskap eller mønster dei tidlegare har lært, medan dei lærer ny informasjon.
Når ein til dømes finjusterer ein open source-LLM med data frå ei bestemt verksemd, kan allmennkunnskap eller språklege evner bli svekte.
For å unngå dette problemet blir RAG(Retrieval-Augmented Generation)-teknologi mykje brukt, men RAG har òg sine avgrensingar.
Typiske avgrensingar ved RAG
- Mangelfull behandling av strukturerte data (Structured Data QA): RAG-system er hovudsakleg optimaliserte for ustrukturerte tekstdokument, og klarer ikkje å forstå eller utnytte tydinga og samanhengane i strukturerte data (tabellar, databasar, rekneark osv.) på ein tilfredsstillande måte.
- Avgrensingar ved komplekse PDF-ar/ustrukturerte dokument (Complex PDFs): Komplekse PDF-dokument (med tabellar, fleire spalter, bilete osv.) kan føre til at informasjon går tapt eller at konteksten blir forvrengd under chunking (inndeling). Dette kan gjere at viktige data ikkje blir indekserte eller blir vanskelege å søkje etter.
- Manglande Fallback-modell (Fallback Model(s)): Når RAG-systemet ikkje finn eit passande svar, er logikken for å byte til ein alternativ (backup-)modell mangelfull eller ineffektiv. Dette gjer at brukaren ikkje får eit tilfredsstillande alternativ når svarleveringa mislukkast.
- Sårbarheiter i tryggleiken (LLM Security): Mangelfullt vern mot tryggleiksproblem i sjølve LLM-en (prompt-injeksjon, datalekkasje osv.) medfører risiko for at sensitiv informasjon blir eksponert.
- Manglande skalerbarheit (Data Ingestion Scalability): Det oppstår skaleringsproblem ved indeksering og lagring av store datamengder. Når datamengda aukar, blir chunking, lagring og søking langsamare, og belastninga på systemet aukar.
- Manglande viktig informasjon (Missing Content): Viktig innhald i dokument kan ofte gå tapt under chunking eller ikkje bli indeksert. Dette gjer at brukaren ikkje kan søkje etter informasjonen han eller ho ønskjer.
- Manglande treff på høgast rangerte resultat (Missed Top Ranked): Dei mest relevante chunka (høgast rangerte) kan mangle i søkjeresultata. Årsakene kan vere avgrensingar i søkjealgoritmen, dårlegare kvalitet på embeddingar eller rangeringsfeil.
- Manglande samsvar med konteksten (Not in Context): Det hender ofte at dei henta chunka ikkje passar med konteksten i det faktiske spørsmålet. Dette kjem av avgrensingane ved søk basert berre på likskap, som gir manglande semantisk samanheng.
- Feil format (Wrong Format): Formatet på dei henta chunka kan vere ueigna for behandling av LLM-en eller avvike frå formatet på svaret brukaren ønskjer. Til dømes kan ein tabell bli konvertert til tekst, slik at informasjonen blir forvrengd.
- Informasjon blir ikkje henta ut (Not Extracted): Nødvendig informasjon blir ikkje henta ut frå chunka på ein tilfredsstillande måte, eller LLM-en klarer ikkje å identifisere informasjonen. Dette skjer ofte ved komplekse setningsstrukturar, tabellar, bilete osv.
- Ueigna omfang/djupn på informasjonen (Incorrect Specificity): Svaret kan vere for omfattande eller omvendt for detaljert i høve til spørsmålet, og dermed ikkje passe med dei faktiske behova til brukaren. Det er vanskeleg å justere omfanget og djupna på informasjonen.
- Ufullstendig svar (Incomplete): Det endeleg genererte svaret kan vere ufullstendig eller berre innehalde noko av informasjonen, slik at det ikkje i tilstrekkeleg grad oppfyller behova til brukaren. Årsakene kan vere at informasjon frå fleire chunka ikkje blir samla, eller at LLM-en berre nyttar delar av informasjonen.
Sidan RAG på denne måten er for avhengig av enkelt vektorsøkj og chunk-basert indeksering, har teknologien klare avgrensingar i praktisk arbeid når det gjeld pålitelegheit, skalerbarheit og presisjon.
2. Clevi sin semantiske database som overvann avgrensingane til RAG
For å overvinne desse avgrensingane har Clevi utvikla ein ny generasjon AI-kunnskapsinfrastruktur optimalisert for semantiske koplingar, samansett resonnering og evidensbaserte svar, Clevi Semantic Database.
Dette er ei løysing som er mogleg fordi Clevi har eigne Reasoning-modellar, multimodale AI-modellar og agentbaserte AI-modellar, og er ein av Clevi sine kraftfulle teknologiar som gjer AI verkeleg nyttig i den verkelege verda.
Som ei samanlikning: Dersom databasen der informasjonen er lagra, er eit bibliotek, kan du sjå på Clevi sin semantiske database som eit bibliotek med ein svært dyktig bibliotekar. (Når du ber bibliotekaren om informasjonen du treng, får du eit presist og raskt svar.)
Brukarar kan når som helst leggje til ny informasjon i biblioteket og hente fram informasjonen dei treng.
Dei kan òg stille inn versjonsstyring og tilgangsløyve for data etter ønskje.
Alle handlingane til bibliotekaren blir lagra i loggar (registreringar), slik at dei kan rettast opp sjølv om det oppstår feil.
<Clevi Semantic Database Structure>
Viktige funksjonar og teknisk struktur
Semantisk datalagring
- Lagrar semantiske forhold mellom data (kontekst, hierarki, årsakssamanhengar osb.) i ein grafdatabase, i staden for ein enkel chunk-vektorDB
- Enkelt å utvide og komplettere i form av kunnskapsgrafar/semantiske nettverk
Hybrid søking og resonnering
- CTA+Context Query: Tek omsyn til både konteksten (Context) i førespurnaden og CTA
- Hybrid Retrieval: Kombinerer vektorsøk med regel-/grafbasert søking
- Intelligent Folder Hits: Finn automatisk mapper/kategoriar som er semantisk relaterte
Samtidig multimodal behandling
- Tolkar ulike datatypar samtidig, som tekst, bilete, tabellar og lyd, gjennom TextReader Pool, VisionReader Pool osb.
- Medan tradisjonell RAG hovudsakleg kan behandle tekst, har semantiske databasar framifrå evne til multimodal behandling
Evidensbaserte svar og pålitelegheitsverifisering
- Dokumentsamandrag og kjeldetilvisingar, tabellfunn osv. Automatisk generering av dokumentsamandrag og kjelder
- Merge & Verify: Semantisk integrering og pålitelegheitskontroll av informasjon frå fleire kjelder
- Evidence Pack: Levering av evidensbaserte svarpakkar
Kompleks resonnering og planleggjar
- Planner/DAG: Stegvis planlegging og DAG-basert (Directed Acyclic Graph) resonnering for komplekse spørsmål
Integrert agentarkitektur
- cip-5-agent Supervisor: Overordna agent som administrerer og koordinerer heile søkje-, resonnerings- og integrasjonsprosessen
3. Struktursamandrag og samanlikning
For å oppsummere kategoriserer Semantic DB data i ulike format (tale, tekst, bilete, video osv.) ved å kople saman ikkje berre enkle Chunk, men også semantiske relasjonar mellom data (kontekst, hierarki, årsakssamanhengar osv.).
På dette grunnlaget kan ein, i staden for søk basert på nøkkelord og likskap som i RAG, utføre søk og resonnering ved hjelp av semantiske koplingar, slik at ein kan få meir nøyaktig informasjonssøk og meir presise svar frå AI.
Ettersom kunnskapen også blir lagra i form av kunnskapsgrafar og semantiske nettverk, er det enkelt å utvide og supplere han fortløpande.
Hos CLEVI oppdaga vi avgrensingane ved RAG-system i den store AI-omveltinga, og gjennom ein semantisk database og eigne AI-modellar som kan løyse desse utfordringane, kan vi no raskt gi kundane meir nøyaktige og pålitelege data.
AI-systemet til CLEVI kan, uavhengig av miljø og domene, gjere kundane sine verdifulle data meir verdifulle.
Også framover vil CLEVI gjere sitt beste for å maksimere verdien av kundane sine data og tilby innovative AI-opplevingar.
Vi inviterer deg til å oppleve framtida til den nye AI-en saman med CLEVI.
Førespurnader og demoførespurnader: [email protected]
Copyright© 2025 Clevi Inc. All rights reserved.