1. Ograničenja katastrofalnog zaboravljanja i RAG-a
Kada se AI uvede u stvarne poslovne procese, jedna od najvećih briga je fenomen katastrofalnog zaboravljanja (Catastrophic Forgetting), koji se javlja prilikom finog podešavanja prethodno naučenog znanja pomoću novih podataka.
To je fenomen u kojem AI zasnovan na neuronskim mrežama naglo gubi prethodno naučeno znanje ili obrasce tokom procesa učenja novih informacija.
Na primjer, ako se LLM otvorenog koda fino podesi pomoću podataka određene kompanije, opće znanje ili jezičke sposobnosti mogu oslabiti.
Kako bi se izbjegao ovaj problem, tehnologija RAG (Retrieval-Augmented Generation) se široko koristi, ali i RAG ima određena ograničenja.
Tipična ograničenja RAG-a
- Nedovoljna obrada strukturiranih podataka (QA strukturiranih podataka): RAG sistemi su uglavnom optimizovani za nestrukturirane tekstualne dokumente, pa ne mogu pravilno razumjeti ili koristiti značenje i odnose strukturiranih podataka (tabele, baze podataka, proračunske tablice itd.).
- Ograničenja složenih PDF-ova/nestrukturiranih dokumenata (složeni PDF-ovi): Kod složenih PDF dokumenata (koji uključuju tabele, više kolona, slike itd.), informacije se mogu izgubiti ili se kontekst može iskriviti tokom procesa chunkinga (podjele). Zbog toga se važni podaci možda neće indeksirati ili će ih biti teško pretraživati.
- Nedostatak rezervnog modela (rezervni modeli): Kada RAG sistem ne pronađe odgovarajući odgovor, logika za prebacivanje na zamjenski (rezervni) model je nedovoljna ili neefikasna. Zbog toga se, u slučaju neuspjeha odgovora, korisniku ne pruža zadovoljavajuća alternativa.
- Sigurnosne ranjivosti (sigurnost LLM-a): Zaštita od sigurnosnih ranjivosti samog LLM-a (prompt injection, curenje podataka itd.) je nedovoljna, pa postoji rizik od izlaganja osjetljivih informacija.
- Nedostatak skalabilnosti (skalabilnost unosa podataka): Problemi sa skalabilnošću nastaju tokom indeksiranja i pohrane velikih količina podataka. Što je više podataka, to se više smanjuju brzine chunkinga, pohrane i pretraživanja, a opterećenje sistema raste.
- Izostavljanje važnih informacija (nedostajući sadržaj): Važan sadržaj iz dokumenata često se izgubi tokom procesa chunkinga ili se ne indeksira. Zbog toga korisnik ne može pronaći željene informacije.
- Izostavljanje najviše rangiranih rezultata (izostavljeni rezultati s najvišim rangom): Najrelevantniji chunk (s najvišim rangom) može biti izostavljen iz rezultata pretraživanja. Uzroci mogu biti ograničenja algoritma pretraživanja, slab kvalitet embeddinga, greške u rangiranju itd.
- Nepodudaranje konteksta (nije u kontekstu): Pretraženi chunk često nije usklađen sa stvarnim kontekstom pitanja. Zbog ograničenja pretraživanja zasnovanog samo na sličnosti, semantička povezanost je nedovoljna.
- Pogrešan format: Format pretraženog chunka može biti neprikladan za obradu u LLM-u ili se može razlikovati od formata odgovora koji korisnik želi. Na primjer, informacije se mogu iskriviti kada se tabela pretvori u tekst.
- Neuspješno izdvajanje informacija (nije izdvojeno): Potrebne informacije možda neće biti pravilno izdvojene iz chunka ili ih LLM možda neće prepoznati. To se često dešava kod složenih struktura rečenica, tabela, slika itd.
- Neodgovarajući opseg/dubina informacija (neodgovarajuća specifičnost): Odgovor može biti previše opšti za pitanje ili, obrnuto, pretjerano konkretan, pa ne odgovara stvarnim potrebama korisnika. Teško je prilagoditi opseg i dubinu informacija.
- Nepotpun odgovor: Konačno generisani odgovor može biti nepotpun ili pružati samo dio informacija, zbog čega ne ispunjava u potpunosti korisničke zahtjeve. Uzroci mogu biti nemogućnost objedinjavanja informacija iz više chunkova ili to što LLM koristi samo dio informacija.
Na ovaj način, budući da se RAG pretjerano oslanja na pretragu zasnovanu na jednostavnoj vektorskoj sličnosti i indeksiranje zasnovano na chunkovima, njegova ograničenja u pogledu pouzdanosti, skalabilnosti i tačnosti u stvarnom poslovanju jasno dolaze do izražaja.
2. Clevijeva semantička baza podataka koja prevazilazi ograničenja RAG-a
Kako bi prevazišao ova ograničenja, Clevi je razvio novu generaciju AI infrastrukture znanja, optimizovane za semantičko povezivanje, složeno zaključivanje i odgovore zasnovane na dokazima, Clevi Semantic Database.
Ovo rješenje je moguće zahvaljujući tome što posjedujemo vlastite Reasoning modele, multimodalni AI i agentske AI modele, a ujedno predstavlja jednu od Clevijevih moćnih tehnologija koje omogućavaju da AI zaista bude koristan u stvarnom svijetu.
Ako bazu podataka u kojoj su pohranjene informacije zamislimo kao biblioteku, Clevijevu semantičku bazu podataka možemo zamisliti kao biblioteku s izuzetno sposobnim bibliotekarom. (Kada od bibliotekara zatražite potrebne informacije, možete dobiti tačan i brz odgovor.)
Korisnici u svakom trenutku mogu dodavati nove informacije u biblioteku i učitavati potrebne informacije.
Osim toga, upravljanje verzijama podataka i prava pristupa mogu se podesiti prema željama.
Budući da se svaka radnja bibliotekara bilježi u dnevniku (zapisu), moguće je izvršiti ispravke čak i ako dođe do greške.
<Clevi Semantic Database Structure>
Glavne karakteristike i tehnička struktura
Semantičko pohranjivanje podataka
- Pohranjivanje semantičkih odnosa između podataka (kontekst, hijerarhija, uzročnost itd.) u grafovsku bazu podataka, a ne u jednostavnu vektorsku bazu podataka zasnovanu na chunkovima
- Jednostavno proširivanje i dopunjavanje u obliku grafa znanja/semantičke mreže
Hibridna pretraga i zaključivanje
- CTA+Context Query: istovremeno uzimanje u obzir konteksta upita (Context) i CTA-a
- Hybrid Retrieval: kombinovanje vektorske sličnosti s pretragom zasnovanom na pravilima/grafovima
- Intelligent Folder Hits: automatsko pronalaženje semantički povezanih foldera/kategorija
Istovremena multimodalna obrada
- Istovremeno tumačenje različitih vrsta podataka, kao što su tekst, slike, tabele i govor, putem TextReader Poola, VisionReader Poola itd.
- Dok postojeći RAG uglavnom može obrađivati samo tekst, semantička baza podataka izuzetno je sposobna za multimodalnu obradu
Odgovori zasnovani na dokazima i provjera pouzdanosti
- Automatsko generisanje sažetaka dokumenata i citata, nalaza iz tabela itd.
- Merge & Verify: semantička integracija informacija iz više izvora i provjera pouzdanosti
- Evidence Pack: pružanje paketa odgovora zasnovanog na dokazima
Složeno zaključivanje i planer
- Planner/DAG: planiranje korak po korak i zaključivanje zasnovano na DAG-u (usmjerenom acikličkom grafu) za složene upite
Integrisana agentska arhitektura
- cip-5-agent Supervisor: vrhovni agent koji upravlja i koordinira cjelokupnim procesom pretrage, zaključivanja i integracije
3. Sažetak strukture i poređenje
Ukratko, Semantic DB prima podatke u različitim oblicima (glas, tekst, slike, video itd.) i klasifikuje znanje povezivanjem ne samo jednostavnih dijelova, već i semantičkih odnosa između podataka (kontekst, hijerarhija, uzročnost itd.).
Na osnovu toga, za razliku od pretrage zasnovane na ključnim riječima ili sličnosti kao kod RAG-a, koristi semantičke veze za pretragu i zaključivanje, što omogućava dobijanje preciznijeg pretraživanja informacija i odgovora od AI sistema.
Osim toga, budući da se podaci pohranjuju u obliku grafa znanja ili semantičke mreže, njihovo kontinuirano proširivanje i dopunjavanje je jednostavno.
Kompanija Clevi je u eri velike transformacije pomoću AI-ja prepoznala ograničenja RAG sistema i, zahvaljujući semantičkoj bazi podataka i vlastitom AI modelu koji mogu riješiti te probleme, omogućila korisnicima da brže dobijaju preciznije i pouzdanije podatke.
Clevijev AI sistem može, u bilo kojem okruženju i bez obzira na vrstu domene, pretvoriti dragocjene podatke korisnika u vrijedne resurse.
I ubuduće će Clevi ulagati maksimalne napore kako bi povećao vrijednost podataka korisnika i pružio inovativno AI iskustvo.
Pozivamo vas da zajedno s Clevijem iskusite budućnost nove generacije AI-ja.
Upiti i zahtjevi za demonstraciju: [email protected]
Copyright© 2025 Clevi Inc. Sva prava zadržana.