1. Catastrophic Forgetting и ограничувањата на RAG
Една од најголемите грижи при воведувањето на AI во реалното работење е феноменот на катастрофално заборавање (Catastrophic Forgetting), што се појавува при дообучување на претходно стекнатото знаење со нови податоци.
Ова е феномен при кој AI базиран на невронски мрежи нагло го губи претходно стекнатото знаење или претходно научените шеми во процесот на учење нови информации.
На пример, ако отворен LLM се дообучи со податоци од одредена компанија, може да се намалат општото знаење или јазичните способности.
За да се избегне овој проблем, широко се користи технологијата RAG (Retrieval-Augmented Generation), но и RAG има свои ограничувања.
Типични ограничувања на RAG
- Недоволна обработка на структурирани податоци (Structured Data QA): RAG системите главно се оптимизирани за неструктурирани текстуални документи, па не можат правилно да го разберат или искористат значењето и односите во структурираните податоци (табели, бази на податоци, табеларни пресметки итн.).
- Ограничувања кај сложени PDF/неструктурирани документи (Complex PDFs): Кај сложените PDF документи (со табели, повеќе колони, слики итн.), информациите може да се изгубат или контекстот да се изобличи во процесот на chunking (поделба). Поради тоа, важните податоци може да не се индексираат или да биде тешко да се пребараат.
- Недостиг на Fallback(резервен) модел (Fallback Model(s)): Кога RAG системот не може да најде соодветен одговор, логиката за префрлање на алтернативен (резервен) модел е недоволна или неефикасна. Поради тоа, при неуспешен одговор не се обезбедува алтернатива што би го задоволила корисникот.
- Безбедносни слабости (LLM Security): Заштитата од безбедносните слабости на самиот LLM (инјектирање промптови, истекување податоци итн.) е недоволна, што создава ризик од изложување чувствителни информации.
- Недоволна скалабилност (Data Ingestion Scalability): Се појавуваат проблеми со скалабилноста при индексирањето и складирањето големи количини податоци. Како што се зголемува количината на податоци, се намалуваат брзините на chunking, складирање и пребарување, а се зголемува оптоварувањето на системот.
- Испуштање важни информации (Missing Content): Важната содржина во документите често се испушта во процесот на chunking или не се индексира. Поради тоа, корисниците не можат да ги пребараат информациите што им се потребни.
- Испуштање на највисоко рангираните резултати (Missed Top Ranked): Во резултатите од пребарувањето може да недостасува chunk-от што всушност е најрелевантен (највисоко рангираниот). Причини може да бидат ограничувањата на алгоритмот за пребарување, намалениот квалитет на embedding-от, грешките при рангирањето итн.
- Несовпаѓање на контекстот (Not in Context): Пребараниот chunk често не се совпаѓа со контекстот на самото прашање. Поради ограничувањата на пребарувањето засновано само на сличност, семантичката поврзаност е недоволна.
- Погрешен формат (Wrong Format): Форматот на пребараниот chunk може да биде несоодветен за обработка од LLM или да се разликува од форматот на одговорот што го бара корисникот. На пример, табелата може да се претвори во текст, со што информациите се изобличуваат.
- Неуспешно извлекување информации (Not Extracted): Потребните информации може да не се извлечат правилно од chunk-от или LLM да не ги препознае. Ова често се случува кај сложени реченични структури, табели, слики итн.
- Несоодветен опсег/длабочина на информациите (Incorrect Specificity): Одговорот може да биде премногу општ за прашањето или, обратно, премногу специфичен, па да не одговара на реалните потреби на корисникот. Тешко е да се прилагодат опсегот и длабочината на информациите.
- Нецелосен одговор (Incomplete): Конечно генерираниот одговор може да биде нецелосен или да содржи само дел од информациите, па недоволно ги задоволува барањата на корисникот. Причини може да бидат неможноста да се синтетизираат информации од повеќе chunk-ови или тоа што LLM користи само дел од нив.
На овој начин, бидејќи RAG премногу се потпира на пребарување според едноставна векторска сличност и индексирање базирано на chunk, неговите ограничувања во однос на сигурноста, скалабилноста и точноста се јасни во реалната работа.
2. Семантичката база на податоци на CLEVI, која ги надминува ограничувањата на RAG
За да ги надмине овие ограничувања, CLEVI ја разви Clevi Semantic Database, инфраструктура за знаење од следната генерација на AI, оптимизирана за семантичко поврзување, сложено расудување и одговори засновани на докази.
Ова решение е возможно бидејќи поседува сопствени Reasoning модели, мултимодална AI и агентски AI модели, и претставува една од моќните технологии на CLEVI што овозможуваат AI навистина да биде корисна во реалниот свет.
По аналогија, ако базата на податоци во која се чуваат информациите ја замислиме како библиотека, семантичката база на податоци на CLEVI може да се замисли како библиотека со исклучително способен библиотекар. (Кога од библиотекарот ќе побарате потребна информација, можете да добиете точен и брз одговор.)
Корисниците можат во секое време да додаваат нови информации во библиотеката и да ги повикуваат потребните информации.
Исто така, управувањето со верзиите на податоците и дозволите за пристап може да се постави според желбите.
Секое дејство на библиотекарот се зачувува во дневник (запис), па дури и ако се случи грешка, таа може да се исправи.
<Clevi Semantic Database Structure>
Главни карактеристики и техничка структура
Семантичко складирање податоци
- Наместо едноставна chunk векторска база на податоци, семантичките односи меѓу податоците (контекст, хиерархија, каузалност и сл.) се складираат во графичка база на податоци
- Лесно проширување и дополнување во форма на граф на знаење/семантичка мрежа
Хибридно пребарување и расудување
- CTA+Context Query: истовремено ги зема предвид контекстот (Context) на барањето и CTA
- Hybrid Retrieval: комбинира пребарување според векторска сличност со пребарување базирано на правила/графови
- Intelligent Folder Hits: автоматски истражува семантички поврзани папки/категории
Истовремена мултимодална обработка
- Истовремено толкување на различни видови податоци, како текст, слики, табели и говор, преку TextReader Pool, VisionReader Pool и други
- Додека постојниот RAG главно може да обработува само текст, семантичката база на податоци има одлични можности за мултимодална обработка
Одговори засновани на докази и проверка на сигурноста
- Автоматско генерирање резимеа и цитати на документи, наоди од табели итн.
- Спојување и проверка: семантичка интеграција и проверка на веродостојноста на информации од повеќе извори
- Пакет со докази: обезбедување пакети со одговори засновани на докази
Сложено расудување и планер
- Planner/DAG: планирање по чекори и расудување засновано на DAG (Directed Acyclic Graph) за сложени прашања
Интегрирана агентска структура
- cip-5-agent Supervisor: највисок агент кој управува и го координира целокупниот процес на пребарување/расудување/интеграција
3. Резиме и споредба на структурата
Накратко, Semantic DB прима податоци во различни форми (глас, текст, слики, видео итн.) и ги класифицира знаењата преку поврзување не само на едноставни Chunk-ови, туку и на семантичките односи меѓу податоците (контекст, хиерархија, причинско-последични врски итн.).
Бидејќи, врз основа на ова, овозможува пребарување и расудување со користење семантички врски, наместо пребарување засновано на клучни зборови/сличност како кај RAG, AI може да обезбеди попрецизно пребарување информации и одговори.
Дополнително, бидејќи се складира во форма на граф на знаења/семантичка мрежа, неговото континуирано проширување и дополнување е лесно.
Ние, CLEVI, ги препознавме ограничувањата на RAG системите во ерата на големата трансформација со AI и, преку Semantic DB и сопствени AI модели што можат да ги надминат овие ограничувања, им овозможивме на клиентите брзо да добиваат попрецизни и посигурни податоци.
AI системот на CLEVI може да ги претвори вредните податоци на клиентите во вредност, без оглед на видот на доменот и во каква било средина.
И понатаму, CLEVI ќе вложува максимални напори за да ја зголеми вредноста на податоците на клиентите и да обезбеди иновативно AI искуство.
Искусете ја иднината на новиот AI заедно со CLEVI.
Контакт и барање демо: [email protected]
Copyright© 2025 Clevi Inc. All rights reserved.