1. Catastrophic Forgettingu ja RAG-i piirangud
Kui tehisintellekt võetakse kasutusele tegelikus töös, on üks suurimaid muresid katastroofilise unustamise (Catastrophic Forgetting) nähtus, mis tekib olemasolevate teadmiste uute andmetega peenhäälestamisel.
See on nähtus, mille puhul närvivõrgupõhine tehisintellekt kaotab uue teabe õppimise käigus kiiresti varem omandatud teadmised või mustrid.
Näiteks kui avatud lähtekoodiga LLM-i peenhäälestada konkreetse ettevõtte andmetega, võivad üldteadmised või keeleoskus halveneda.
Selle probleemi vältimiseks kasutatakse laialdaselt RAG-i (Retrieval-Augmented Generation) tehnoloogiat, kuid ka RAG-il on piirangud.
RAG-i peamised piirangud
- Struktureeritud andmete ebapiisav töötlemine (Structured Data QA): RAG-süsteemid on peamiselt optimeeritud struktureerimata tekstidokumentide jaoks, mistõttu ei suuda need sageli struktureeritud andmete (tabelid, andmebaasid, arvutustabelid jne) tähendust ja seoseid õigesti mõista ega kasutada.
- Keerukate PDF-ide ja struktureerimata dokumentide piirangud (Complex PDFs): keerukate PDF-dokumentide (sh tabelid, mitmeveeruline paigutus ja pildid) puhul võib teabe chunking’u (tükeldamise) käigus kaduma minna või kontekst moonutuda. Selle tulemusel ei pruugita olulisi andmeid indekseerida või on neid keeruline otsida.
- Fallback-mudeli puudumine (Fallback Model(s)): kui RAG-süsteem ei leia sobivat vastust, on alternatiivsele (varu-)mudelile ülemineku loogika ebapiisav või ebatõhus. Seetõttu ei pakuta kasutajale vastuse ebaõnnestumise korral rahuldavat alternatiivi.
- Turvanõrkused (LLM Security): LLM-i enda turvanõrkuste (prompt injection, andmelekked jne) vastane kaitse on ebapiisav, mistõttu võib tundlik teave lekkida.
- Skaleeritavuse puudumine (Data Ingestion Scalability): suurte andmemahtude indekseerimisel ja salvestamisel tekivad skaleeritavuse probleemid. Andmemahu suurenedes aeglustuvad chunking, salvestamine ja otsing ning süsteemi koormus kasvab.
- Olulise teabe puudumine (Missing Content): dokumendi oluline sisu võib chunking’u käigus kaduma minna või jääda indekseerimata. Seetõttu ei leia kasutaja otsitavat teavet.
- Kõrgeima asetusega tulemuse puudumine (Missed Top Ranked): otsingutulemustest võib puududa tegelikult kõige asjakohasem chunk (kõrgeima asetusega tulemus). Põhjuseks võivad olla otsingualgoritmi piirangud, embedding’u kvaliteedi langus või järjestusvead.
- Konteksti sobimatus (Not in Context): leitud chunk ei pruugi sageli vastata tegelikule küsimuse kontekstile. See tuleneb lihtsal sarnasusel põhineva otsingu piirangutest ja semantiliste seoste vähesusest.
- Vale vorming (Wrong Format): leitud chunki vorming võib olla LLM-i jaoks töötlemiseks sobimatu või erineda kasutaja soovitud vastusevormingust. Näiteks võib tabeli tekstiks teisendamisel teave moonutuda.
- Teabe eraldamine ebaõnnestub (Not Extracted): vajalikku teavet ei pruugita chunk’ist õigesti eraldada või LLM ei pruugi seda ära tunda. Seda juhtub sageli keerukate lausekonstruktsioonide, tabelite ja piltide puhul.
- Teabe ulatus või detailsus ei sobi (Incorrect Specificity): vastus võib olla küsimuse kohta liiga üldine või vastupidi liiga üksikasjalik ega vasta seetõttu tegelikult kasutaja vajadustele. Teabe ulatust ja detailsust on keeruline sobivalt reguleerida.
- Mittetäielik vastus (Incomplete): lõplikult genereeritud vastus võib olla mittetäielik või sisaldada ainult osa teabest, mistõttu ei rahulda see kasutaja vajadusi piisavalt. Põhjuseks võib olla suutmatus koondada teavet mitmest chunk’ist või see, et LLM kasutab ainult osa teabest.
Seetõttu on RAG-il, mis tugineb liigselt lihtsale vektorilise sarnasuse otsingule ja chunk-põhisele indekseerimisele, tegelikus töös selged piirangud usaldusväärsuse, skaleeritavuse ja täpsuse osas.
2. CLEVI semantiline andmebaas, mis ületab RAG-i piirangud
Nende piirangute ületamiseks töötas CLEVI välja järgmise põlvkonna tehisintellekti teadmiste infrastruktuuri , mis on optimeeritud semantilistele seostele, komplekssele järeldamisele ja tõenduspõhistele vastustele: Clevi Semantic Database.
See lahendus on võimalik tänu sellele, et CLEVI-l on olemas nii oma Reasoning-mudelid, multimodaalne tehisintellekt kui ka agentne tehisintellekti mudel, ning see on üks CLEVI ainulaadsetest võimsatest tehnoloogiatest, mis muudab tehisintellekti tegelikus elus tõeliselt kasulikuks.
Võrdluseks: kui andmebaasi, kuhu teave on salvestatud, pidada raamatukoguks, siis võib CLEVI semantilist andmebaasi kujutleda nii, et seal töötab väga hea raamatukoguhoidja. (Kui palute raamatukoguhoidjalt vajalikku teavet, saate täpse ja kiire vastuse.)
Kasutajad saavad raamatukogus igal ajal uut teavet lisada ja vajalikku teavet laadida.
Samuti saab andmete versioonihaldust ja juurdepääsuõigusi seadistada vastavalt soovile.
Kuna kõik raamatukoguhoidja tegevused salvestatakse logina (kirjena), saab vea tekkimisel selle parandada.
<Clevi Semantic Database Structure>
Peamised omadused ja tehniline struktuur
Semantiline andmete salvestamine
- Andmete vahelised semantilised suhted (kontekst, hierarhia, põhjuslikkus jne) salvestatakse graafandmebaasi, mitte lihtsalt chunk-vektorDB-sse
- Lihtne laiendada ja täiendada teadmistegraafi/semantilise võrgustiku kujul
Hübriidotsing ja järeldamine
- CTA+Context Query: võtab samaaegselt arvesse päringu konteksti (Context) ja CTA-d
- Hybrid Retrieval: ühendab vektorilise sarnasuse ning reeglitel/graafikul põhineva otsingu
- Intelligent Folder Hits: semantiliselt seotud kaustade/kategooriate automaatne otsimine
Multimodaalne samaaegne töötlemine
- TextReader Pool, VisionReader Pool jne tõlgendavad samaaegselt mitmesuguseid andmeid, nagu tekst, pildid, tabelid ja heli
- Kui senine RAG suudab töödelda peamiselt ainult teksti, siis semantiline andmebaas paistab silma suurepärase multimodaalse töötlemisvõime poolest
Tõenduspõhised vastused ja usaldusväärsuse kontroll
- Dokumentide kokkuvõtted ja viited, tabeli leidude automaatne genereerimine
- Merge & Verify: mitmest allikast pärineva teabe semantiline ühendamine ja usaldusväärsuse kontrollimine
- Evidence Pack: tõenduspõhiste vastuste pakettide pakkumine
Keerukas arutlus ja planeerija
- Planner/DAG: keerukatele päringutele samm-sammuliste plaanide koostamine ja DAG-il (Directed Acyclic Graph) põhinev arutlus
Integreeritud agendi arhitektuur
- cip-5-agent Supervisor: kogu otsingu-, arutlus- ja integreerimisprotsessi haldav ja koordineeriv tipptaseme agent
3. Struktuuri kokkuvõte ja võrdlus
Kokkuvõttes võtab Semantic DB vastu eri vormingutes andmeid (kõne, tekst, pildid, video jne) ning liigitab teadmisi, ühendades mitte ainult lihtsaid chunke, vaid ka andmete vahelisi semantilisi seoseid (kontekst, hierarhia, põhjuslikkus jne).
Selle põhjal ei toimu otsing ja arutlus nagu RAG-i puhul märksõnadele või sarnasusele tuginedes, vaid semantilisi seoseid kasutades, mistõttu on võimalik saada AI-lt täpsemat teabeotsingut ja vastuseid.
Kuna andmeid salvestatakse teadmiste graafi või semantilise võrgustiku kujul, on neid lihtne pidevalt laiendada ja täiendada.
Clevi avastas AI põhjaliku ümberkujundamise ajastul RAG-süsteemide piirangud ning võimaldab nüüd semantilise andmebaasi ja iseseisvalt välja töötatud AI-mudeli abil klientidele kiiresti täpsemaid ja usaldusväärsemaid andmeid edastada.
Clevi AI-süsteem suudab igas keskkonnas, olenemata valdkonnast, muuta klientide väärtuslikud andmed väärtuslikuks varaks.
Ka edaspidi annab Clevi endast parima, et maksimeerida klientide andmete väärtust ja pakkuda uuenduslikku AI-kogemust.
Kutsume teid koos Cleviga kogema AI uut tulevikku.
Päringud ja demo taotlused: [email protected]
Copyright© 2025 Clevi Inc. Kõik õigused kaitstud.