1. Catastrophic Forgetting en de beperkingen van RAG
Wanneer AI in de praktijk wordt ingezet, is een van de grootste zorgen het fenomeen van catastrofaal vergeten (Catastrophic Forgetting) dat optreedt wanneer eerder geleerde kennis wordt gefinetuned met nieuwe gegevens.
Dit is het fenomeen waarbij AI op basis van neurale netwerken tijdens het leren van nieuwe informatie eerder opgedane kennis of patronen plotseling verliest.
Wanneer bijvoorbeeld een open-source-LLM wordt gefinetuned met gegevens van een specifiek bedrijf, kunnen algemene kennis of taalvaardigheden achteruitgaan.
Om dit probleem te voorkomen wordt de technologie RAG(Retrieval-Augmented Generation) veelvuldig gebruikt, maar ook RAG heeft beperkingen.
Belangrijkste beperkingen van RAG
- Onvoldoende verwerking van gestructureerde gegevens (Structured Data QA): RAG-systemen zijn voornamelijk geoptimaliseerd voor ongestructureerde tekstdocumenten en kunnen de betekenis en relaties van gestructureerde gegevens (tabellen, databases, spreadsheets enzovoort) niet goed begrijpen of benutten.
- Beperkingen bij complexe PDF's/ongestructureerde documenten (Complex PDFs): Bij complexe PDF-documenten (met tabellen, meerdere kolommen, afbeeldingen enzovoort) kan tijdens het chunking-proces (opsplitsing) informatie verloren gaan of kan de context worden vervormd. Hierdoor worden belangrijke gegevens mogelijk niet geïndexeerd of zijn ze moeilijk te doorzoeken.
- Ontbreken van fallback-modellen (Fallback Model(s)): Wanneer een RAG-systeem geen passend antwoord kan vinden, ontbreekt logica om over te schakelen naar een alternatief (fallback-)model, of is deze inefficiënt. Hierdoor wordt bij een mislukte beantwoording geen bevredigend alternatief aan de gebruiker geboden.
- Beveiligingskwetsbaarheden (LLM Security): Er is onvoldoende bescherming tegen beveiligingskwetsbaarheden van LLM's zelf (zoals promptinjectie en gegevenslekken), waardoor het risico bestaat dat gevoelige informatie wordt blootgesteld.
- Onvoldoende schaalbaarheid (Data Ingestion Scalability): Tijdens het indexeren en opslaan van grote hoeveelheden gegevens ontstaan schaalbaarheidsproblemen. Naarmate de hoeveelheid gegevens toeneemt, nemen de snelheid van chunking, opslag en zoekopdrachten af en neemt de systeembelasting toe.
- Ontbrekende belangrijke informatie (Missing Content): Belangrijke inhoud uit documenten gaat tijdens het chunking-proces vaak verloren of wordt niet geïndexeerd. Hierdoor kunnen gebruikers de gewenste informatie niet vinden.
- Ontbrekende hoogst gerangschikte resultaten (Missed Top Ranked): In de zoekresultaten kan de chunk die daadwerkelijk het meest relevant is (de hoogst gerangschikte) ontbreken. Mogelijke oorzaken zijn beperkingen van het zoekalgoritme, een verminderde kwaliteit van embeddings en rangschikkingsfouten.
- Niet in de juiste context (Not in Context): De gevonden chunk sluit vaak niet aan bij de context van de daadwerkelijke vraag. Dit komt door de beperkingen van zoeken op basis van louter gelijkenis, waardoor semantische samenhang ontbreekt.
- Onjuiste indeling (Wrong Format): De indeling van de gevonden chunk kan ongeschikt zijn voor verwerking door de LLM of afwijken van de gewenste antwoordindeling van de gebruiker. Zo kan een tabel bijvoorbeeld naar tekst worden geconverteerd, waardoor de informatie wordt vervormd.
- Informatie niet geëxtraheerd (Not Extracted): De benodigde informatie wordt mogelijk niet correct uit de chunk geëxtraheerd, of de LLM herkent de informatie niet. Dit komt vaak voor bij complexe zinsstructuren, tabellen en afbeeldingen.
- Onjuiste specificiteit (Incorrect Specificity): Het antwoord is mogelijk te algemeen voor de vraag of juist te specifiek, waardoor het niet aansluit bij de daadwerkelijke behoeften van de gebruiker. Het is moeilijk om de reikwijdte en diepgang van de informatie goed af te stemmen.
- Onvolledig antwoord (Incomplete): Het uiteindelijk gegenereerde antwoord is mogelijk onvolledig of bevat slechts een deel van de informatie, waardoor het niet volledig aan de behoeften van de gebruiker voldoet. Mogelijke oorzaken zijn dat informatie uit meerdere chunks niet wordt samengevoegd of dat de LLM slechts een deel ervan benut.
Omdat RAG op deze manier te sterk afhankelijk is van eenvoudige zoekopdrachten op basis van vectorgelijkenis en chunk-gebaseerde indexering, zijn de beperkingen op het gebied van betrouwbaarheid, schaalbaarheid en nauwkeurigheid in de praktijk duidelijk.
2. Clevi’s semantische database, die de beperkingen van RAG overwint
Om deze beperkingen te overwinnen, heeft Clevi de volgende generatie AI-kennisinfrastructuur ontwikkeld: geoptimaliseerd voor semantische verbindingen, complexe gevolgtrekkingen en op bewijs gebaseerde antwoorden, Clevi Semantic Database.
Dit is een oplossing die mogelijk is doordat Clevi beschikt over eigen Reasoning-modellen, multimodale AI en agentische AI-modellen. Het is een van Clevi’s krachtige technologieën om AI in de praktijk daadwerkelijk nuttig te maken.
Bij wijze van vergelijking: als we de database waarin informatie is opgeslagen beschouwen als een bibliotheek, kun je de semantische database van Clevi zien als een bibliotheek met een zeer bekwame bibliothecaris. (Wanneer je de bibliothecaris om de benodigde informatie vraagt, krijg je een nauwkeurig en snel antwoord.)
Gebruikers kunnen op elk moment nieuwe informatie aan de bibliotheek toevoegen en de benodigde informatie opvragen.
Daarnaast kunnen ook versiebeheer en toegangsrechten voor de gegevens naar wens worden ingesteld.
Alle handelingen van de bibliothecaris worden als logs (registraties) opgeslagen, zodat fouten kunnen worden gecorrigeerd wanneer die zich voordoen.
<Clevi Semantic Database Structure>
Belangrijkste kenmerken en technische structuur
Semantische gegevensopslag
- In plaats van een eenvoudige chunk-vectorDB worden semantische relaties tussen gegevens (context, hiërarchie, causaliteit enz.) opgeslagen in een grafiekdatabase
- Eenvoudig uit te breiden en aan te vullen in de vorm van een kennisgrafiek/semantisch netwerk
Hybride zoekopdrachten en gevolgtrekkingen
- CTA+Context Query: houdt gezamenlijk rekening met de context van de query (Context) en de CTA
- Hybrid Retrieval: combineert zoeken op basis van vectorgelijkenis met zoeken op basis van regels/grafen
- Intelligent Folder Hits: verkent automatisch mappen/categorieën die semantisch gerelateerd zijn
Gelijktijdige multimodale verwerking
- Interpreteert gelijktijdig verschillende soorten gegevens, zoals tekst, afbeeldingen, tabellen en spraak, met TextReader Pool, VisionReader Pool enz.
- Waar bestaande RAG-oplossingen voornamelijk alleen tekst kunnen verwerken, blinkt de semantische database uit in multimodale verwerking
Op bewijs gebaseerde antwoorden en betrouwbaarheidsverificatie
- Documentoverzichten en bronvermeldingen, automatische generatie van tabelbevindingen en dergelijke
- Merge & Verify: semantische integratie en betrouwbaarheidsverificatie van informatie uit meerdere bronnen
- Evidence Pack: levering van op bewijs gebaseerde antwoordpakketten
Complexe redenering en planner
- Planner/DAG: stapsgewijze planning en op DAG (Directed Acyclic Graph) gebaseerde redenering voor complexe vragen
Geïntegreerde agentarchitectuur
- cip-5-agent Supervisor: de overkoepelende agent die het volledige zoek-, redeneer- en integratieproces beheert en coördineert
3. Structurele samenvatting en vergelijking
Kort samengevat ontvangt de Semantic DB gegevens in verschillende vormen (spraak, tekst, afbeeldingen, video enzovoort) en classificeert deze als kennis door niet alleen eenvoudige chunks, maar ook semantische relaties tussen gegevens (context, hiërarchie, causaliteit enzovoort) met elkaar te verbinden.
Omdat hiermee, anders dan bij RAG, niet op basis van trefwoorden of gelijkenis wordt gezocht, maar gebruik wordt gemaakt van semantische verbanden voor zoeken en redeneren, kunt u nauwkeurigere informatieresultaten en antwoorden van AI verkrijgen.
Bovendien wordt de kennis opgeslagen in de vorm van een kennisgrafiek of semantisch netwerk, waardoor voortdurende uitbreiding en aanvulling eenvoudig zijn.
Clevi heeft in het tijdperk van de grootschalige AI-transformatie de beperkingen van RAG-systemen ontdekt en stelt klanten dankzij een semantische database en eigen AI-modellen in staat om sneller te reageren met nauwkeurigere en betrouwbaardere gegevens.
Het AI-systeem van Clevi kan de waardevolle gegevens van klanten in elke omgeving en ongeacht het domein waardevol maken.
Ook in de toekomst zal Clevi zich volledig blijven inzetten om de waarde van klantgegevens te maximaliseren en innovatieve AI-ervaringen te bieden.
Ervaar samen met Clevi de toekomst van nieuwe AI.
Neem contact op en vraag een demo aan: [email protected]
Copyright© 2025 Clevi Inc. Alle rechten voorbehouden.