1. Catastrophic Forgetting və RAG-in məhdudiyyətləri
Süni intellekt real iş proseslərinə tətbiq edildikdə, ən böyük narahatlıqlardan biri əvvəllər öyrənilmiş bilikləri yeni məlumatlarla incə sazlama zamanı baş verən katastrofik unutma (Catastrophic Forgetting) hadisəsidir.
Bu, neyron şəbəkə əsaslı süni intellektin yeni məlumatları öyrənməsi prosesində əvvəllər mənimsənilmiş bilikləri və ya nümunələri sürətlə itirməsi hadisəsidir.
Məsələn, açıq mənbəli LLM-i müəyyən bir şirkətin məlumatları ilə incə sazladıqda, ümumi sağlam düşüncə və ya dil qabiliyyəti zəifləyə bilər.
Bu problemdən qaçmaq üçün RAG(Retrieval-Augmented Generation) texnologiyasından geniş istifadə olunur, lakin RAG-in də məhdudiyyətləri mövcuddur.
RAG-in əsas məhdudiyyətləri
- Strukturlaşdırılmış məlumatların emalının yetərsizliyi (Structured Data QA): RAG sistemləri əsasən strukturlaşdırılmamış mətn sənədləri üçün optimallaşdırıldığından, strukturlaşdırılmış məlumatların (cədvəllər, verilənlər bazaları, elektron cədvəllər və s.) mənasını və əlaqələrini düzgün qavraya və ya onlardan istifadə edə bilmir.
- Mürəkkəb PDF/strukturlaşdırılmamış sənədlərin məhdudiyyətləri (Complex PDFs): Mürəkkəb PDF sənədləri (cədvəllər, çoxsütunlu mətn, şəkillər və s. daxil olmaqla) chunking (hissələrə bölmə) prosesi zamanı məlumat itkisinə və ya kontekstin təhrif olunmasına səbəb ola bilər. Nəticədə mühüm məlumatlar indeksləşdirilmir və ya onları axtarmaq çətinləşir.
- Fallback (ehtiyat) modelinin olmaması (Fallback Model(s)): RAG sistemi uyğun cavab tapa bilmədikdə, alternativ (ehtiyat) modelə keçid məntiqi ya kifayət qədər inkişaf etdirilməyib, ya da səmərəsizdir. Buna görə cavab uğursuz olduqda istifadəçiyə qənaətbəxş alternativ təqdim edilmir.
- Təhlükəsizlik zəiflikləri (LLM Security): LLM-in öz təhlükəsizlik zəifliklərinə (prompt inyeksiyası, məlumat sızması və s.) qarşı müdafiə kifayət qədər olmadığından, həssas məlumatların açıqlanması riski yaranır.
- Miqyaslandırma çatışmazlığı (Data Ingestion Scalability): Böyük həcmli məlumatların indeksləşdirilməsi və saxlanması prosesində miqyaslandırma problemləri yaranır. Məlumatların həcmi artdıqca chunking, saxlama və axtarış sürəti azalır, sistemə düşən yük artır.
- Mühüm məlumatların buraxılması (Missing Content): Sənəddəki mühüm məzmun chunking prosesi zamanı buraxıla və ya indeksləşdirilməyə bilər. Nəticədə istifadəçi istədiyi məlumatı axtarıb tapa bilmir.
- Yüksək reytinqli nəticələrin buraxılması (Missed Top Ranked): Axtarış nəticələrində əslində ən uyğun olan chunk (yüksək reytinqli hissə) buraxıla bilər. Buna axtarış alqoritminin məhdudiyyətləri, embedding keyfiyyətinin aşağı olması və reytinqləndirmə xətaları səbəb ola bilər.
- Kontekst uyğunsuzluğu (Not in Context): Tapılmış chunk çox vaxt sualın faktiki kontekstinə uyğun gəlmir. Bu, sadə oxşarlıq əsaslı axtarışın məhdudiyyətindən irəli gəlir və semantik əlaqəlilik kifayət qədər olmur.
- Format xətası (Wrong Format): Tapılmış chunk-ın formatı LLM-in emalı üçün uyğun olmaya və ya istifadəçinin istədiyi cavab formatından fərqlənə bilər. Məsələn, cədvəlin mətnə çevrilməsi nəticəsində məlumat təhrif oluna bilər.
- Məlumatların çıxarılmasının uğursuzluğu (Not Extracted): Lazımi məlumat chunk-dan düzgün çıxarılmaya və ya LLM məlumatı tanımaya bilər. Bu hal mürəkkəb cümlə strukturlarında, cədvəllərdə, şəkillərdə və s. tez-tez baş verir.
- Məlumat əhatəsinin/dərinliyinin uyğunsuzluğu (Incorrect Specificity): Cavab suala münasibətdə həddindən artıq ümumi və ya əksinə, həddindən artıq konkret ola bilər və buna görə istifadəçinin real tələbatına uyğun gəlməyə bilər. Məlumatın əhatə dairəsini və dərinliyini tənzimləmək çətindir.
- Natamam cavab (Incomplete): Yekunda yaradılmış cavab natamam ola və ya yalnız məlumatın bir hissəsini təqdim edə bilər; nəticədə istifadəçinin tələbatı tam ödənilmir. Buna bir neçə chunk-dan məlumatların ümumiləşdirilə bilməməsi və ya LLM-in məlumatın yalnız bir hissəsindən istifadə etməsi səbəb ola bilər.
Beləliklə, RAG sadə vektor oxşarlığı axtarışına və chunk əsaslı indeksləşdirməyə həddindən artıq güvəndiyindən, real iş proseslərində etibarlılıq, miqyaslana bilmə və dəqiqlik baxımından məhdudiyyətləri aydın görünür.
2. RAG-ın məhdudiyyətlərini aradan qaldıran Clevi-nin semantik verilənlər bazası
Clevi bu məhdudiyyətləri aradan qaldırmaq üçün semantik əlaqə, mürəkkəb nəticə çıxarma və əsaslandırılmış cavablar üçün optimallaşdırılmış yeni nəsil AI bilik infrastrukturu olan Clevi Semantic Database-ı hazırlayıb.
Bu, öz Reasoning modelinə, multimodal AI-yə və agent əsaslı AI modellərinə sahib olduğu üçün mümkün olan bir həll yoludur və AI-nin real həyatda həqiqətən faydalı olmasını təmin edən Clevi-yə məxsus güclü texnologiyalardan biridir.
Bənzətmə olaraq, məlumatların saxlandığı verilənlər bazasını kitabxana hesab etsək, Clevi-nin semantik verilənlər bazasını çox bacarıqlı bir kitabxanaçı kimi düşünə bilərsiniz. (Kitabxanaçıdan sizə lazım olan məlumatı istədikdə, dəqiq və sürətli cavab ala bilərsiniz.)
İstifadəçi istənilən vaxt kitabxanaya yeni məlumat əlavə edə və lazım olan məlumatı əldə edə bilər.
Bundan əlavə, məlumatların versiya idarəetməsini və giriş icazələrini də istədiyiniz kimi təyin edə bilərsiniz.
Kitabxanaçının bütün hərəkətləri jurnal qeydi kimi saxlanıldığı üçün, hətta səhv baş versə belə, onu düzəltmək mümkündür.
<Clevi Semantic Database Structure>
Əsas xüsusiyyətlər və texniki struktur
Semantik məlumatların saxlanması
- Sadə chunk vektor DB-si deyil, məlumatlar arasındakı semantik əlaqələri (kontekst, iyerarxiya, səbəb-nəticə və s.) qraf DB-də saxlayır
- Bilik qrafiki/semantik şəbəkə formasında genişləndirmək və tamamlamaq asandır
Hibrid axtarış və nəticə çıxarma
- CTA+Context Query: Sorğunun kontekstini (Context) və CTA-nı birlikdə nəzərə alır
- Hybrid Retrieval: Vektor oxşarlığı ilə qayda/qraf əsaslı axtarışı birləşdirir
- Intelligent Folder Hits: Semantik cəhətdən əlaqəli qovluqları/kateqoriyaları avtomatik tapır
Multimodal məlumatların eyni vaxtda emalı
- TextReader Pool, VisionReader Pool və digər vasitələrlə mətn, şəkil, cədvəl, səs və s. müxtəlif məlumatları eyni vaxtda şərh edir
- Mövcud RAG əsasən yalnız mətni emal edə bildiyi halda, semantik verilənlər bazası multimodal emal qabiliyyəti ilə üstündür
Əsaslandırılmış cavablar və etibarlılığın yoxlanması
- Sənəd xülasələri və istinadlar, cədvəl nəticələri və s. — sənədlərin avtomatik xülasəsinin və mənbələrinin yaradılması
- Birləşdir və yoxla: bir neçə mənbədən olan məlumatların semantik inteqrasiyası və etibarlılığının yoxlanılması
- Sübut paketi: sübutlara əsaslanan cavab paketlərinin təqdim edilməsi
Mürəkkəb mühakimə və planlayıcı
- Planlayıcı/DAG: mürəkkəb sorğular üçün mərhələli planlaşdırma və DAG (Directed Acyclic Graph) əsaslı mühakimə
İnteqrasiya edilmiş agent strukturu
- cip-5-agent Supervisor: bütün axtarış, mühakimə və inteqrasiya proseslərini idarə edən və koordinasiya edən ən yüksək səviyyəli agent
3. Strukturun xülasəsi və müqayisəsi
Xülasə olaraq, Semantic DB müxtəlif formalı (səs, mətn, şəkil, video və s.) məlumatları qəbul edərək onları sadəcə Chunk-lara deyil, məlumatlar arasındakı semantik əlaqələrə (kontekst, iyerarxiya, səbəb-nəticə və s.) də bağlayaraq bilikləri təsnif edir.
Bunun əsasında RAG kimi açar sözlərə və oxşarlığa əsaslanan axtarış əvəzinə semantik əlaqələrdən istifadə edərək axtarış və mühakimə aparıldığı üçün süni intellektdən daha dəqiq məlumat axtarışı və cavablar əldə etmək mümkündür.
Bundan əlavə, bilik qrafiki və ya semantik şəbəkə formasında saxlanıldığı üçün onu davamlı şəkildə genişləndirmək və təkmilləşdirmək asandır.
Biz, Clevi olaraq, süni intellektə böyük keçid dövründə RAG sistemlərinin məhdudiyyətlərini aşkar etdik və bunları həll edə bilən semantik verilənlər bazası və özünəməxsus süni intellekt modelimiz sayəsində müştərilərimizə daha dəqiq və etibarlı məlumatları sürətlə təqdim edə bilirik.
Clevi-nin süni intellekt sistemi istənilən mühitdə, domenin növündən asılı olmayaraq, müştərilərinizin dəyərli məlumatlarını faydalı edə bilər.
Bundan sonra da Clevi müştərilərinin məlumatlarının dəyərini maksimum dərəcədə artırmaq və innovativ süni intellekt təcrübəsi təqdim etmək üçün əlindən gələni edəcək.
Clevi ilə birlikdə süni intellektin yeni gələcəyini təcrübədən keçirməyə dəvət edirik.
Əlaqə və demo sorğusu: [email protected]
Copyright© 2025 Clevi Inc. Bütün hüquqlar qorunur.