1. Catastrophic Forgetting и ограниченията на RAG
Когато ИИ се внедрява в реалната работа, едно от най-големите предизвикателства е явлението на катастрофално забравяне (Catastrophic Forgetting), което възниква при дообучаване на вече усвоените знания с нови данни.
Това е явление, при което базираният на невронни мрежи ИИ рязко губи по-рано усвоени знания или модели в процеса на изучаване на нова информация.
Например, ако дообучите LLM с отворен код с данни на конкретна компания, общите познания или езиковите способности могат да се влошат.
За да се избегне този проблем, широко се използва технологията RAG (Retrieval-Augmented Generation), но и RAG има своите ограничения.
Основни ограничения на RAG
- Недостатъчна обработка на структурирани данни (Structured Data QA): RAG системите са оптимизирани предимно за неструктурирани текстови документи и не могат правилно да разберат или използват значението и връзките в структурирани данни (таблици, бази данни, електронни таблици и др.).
- Ограничения при сложни PDF/неструктурирани документи (Complex PDFs): При сложни PDF документи (включващи таблици, няколко колони, изображения и др.) може да се загуби информация или контекстът да бъде изкривен в процеса на chunking (разделяне). В резултат на това важни данни може да не бъдат индексирани или да бъдат трудни за намиране.
- Липса на резервен модел (Fallback Model(s)): Когато RAG системата не успее да намери подходящ отговор, логиката за преминаване към алтернативен (резервен) модел е недостатъчна или неефективна. Поради това при неуспешен отговор на потребителя не се предоставя удовлетворяваща алтернатива.
- Уязвимости в сигурността (LLM Security): Защитата срещу уязвимости в сигурността на самия LLM (инжектиране на подсказки, изтичане на данни и др.) е недостатъчна, което създава риск от разкриване на чувствителна информация.
- Недостатъчна мащабируемост (Data Ingestion Scalability): При индексирането и съхранението на големи обеми данни възникват проблеми с мащабируемостта. С увеличаването на количеството данни скоростта на chunking, съхранение и търсене намалява, а натоварването на системата се увеличава.
- Пропускане на важна информация (Missing Content): Важна информация от документите често се пропуска в процеса на chunking или не се индексира. В резултат на това потребителят не може да намери желаната информация.
- Пропускане на най-високо класираните резултати (Missed Top Ranked): В резултатите от търсенето може да липсва chunk-ът с най-висока действителна релевантност (най-високо класираният). Причините включват ограничения на алгоритъма за търсене, ниско качество на embedding-ите и грешки при класирането.
- Несъответствие на контекста (Not in Context): Често извлеченият chunk не съответства на контекста на реалния въпрос. Това се дължи на ограниченията на търсенето, основано само на сходство, при което липсва семантична свързаност.
- Грешен формат (Wrong Format): Форматът на извлечения chunk може да е неподходящ за обработка от LLM или да се различава от желания от потребителя формат на отговора. Например таблица може да бъде преобразувана в текст, което да изкриви информацията.
- Неуспешно извличане на информация (Not Extracted): Необходимата информация не се извлича правилно от chunk-а или LLM не успява да я разпознае. Това често се случва при сложни изречения, таблици, изображения и др.
- Неподходящ обхват/дълбочина на информацията (Incorrect Specificity): Отговорът може да е твърде общ или, обратно, прекалено конкретен спрямо въпроса и така да не съответства на реалните потребности на потребителя. Трудно е да се регулират обхватът и дълбочината на информацията.
- Непълен отговор (Incomplete): В крайна сметка генерираният отговор може да е непълен или да предоставя само част от информацията, като не удовлетворява достатъчно изискванията на потребителя. Причините включват невъзможност за обобщаване на информацията от няколко chunk-а или използване само на част от нея от LLM.
По този начин RAG има ясни ограничения по отношение на надеждността, мащабируемостта и точността в реалната работа, тъй като прекомерно разчита на търсене чрез обикновено векторно сходство и индексиране, базирано на chunk.
2. Семантичната база данни на Clevi, преодоляла ограниченията на RAG
За да преодолее тези ограничения, Clevi разработи следващо поколение AI инфраструктура за знания, оптимизирана за семантични връзки, комплексно разсъждение и отговори, основани на доказателства — Clevi Semantic Database.
Това е решение, възможно благодарение на факта, че Clevi разполага със собствени Reasoning модели, мултимодален AI и агентни AI модели, и е една от мощните технологии, характерни за Clevi, която прави AI реално полезен в действителността.
Като аналогия, ако библиотеката с информацията се разглежда като база данни, семантичната база данни на Clevi може да се представи като библиотека с изключително компетентен библиотекар. (Ако поискате необходимата информация от библиотекаря, ще получите точен и бърз отговор.)
Потребителите могат по всяко време да добавят нова информация в библиотеката и да извличат необходимата им информация.
Освен това можете да задавате управлението на версиите на данните и правата за достъп според желанието си.
Тъй като всички действия на библиотекаря се записват в логове (история), дори при възникване на грешка тя може да бъде коригирана.
<Clevi Semantic Database Structure>
Основни характеристики и технологична структура
Семантично съхранение на данни
- Вместо в обикновена chunk векторна база данни, семантичните връзки между данните (контекст, йерархия, причинно-следствени връзки и др.) се съхраняват в графова база данни
- Лесно разширяване и допълване под формата на граф на знанията/семантична мрежа
Хибридно търсене и разсъждение
- CTA+Context Query: Едновременно отчитане на контекста (Context) на заявката и CTA
- Hybrid Retrieval: Комбиниране на векторно сходство и търсене, базирано на правила/графи
- Intelligent Folder Hits: Автоматично откриване на семантично свързани папки/категории
Едновременна мултимодална обработка
- Едновременно интерпретиране на различни типове данни, като текст, изображения, таблици и глас, чрез TextReader Pool, VisionReader Pool и др.
- Докато съществуващият RAG може да обработва предимно текст, семантичната база данни се отличава с отлични възможности за мултимодална обработка
Отговори, основани на доказателства, и проверка на надеждността
- Автоматично генериране на обобщения и цитирани източници на документи, открития в таблици и др.
- Обединяване и проверка: семантично интегриране на информация от множество източници и проверка на надеждността
- Пакет с доказателства: предоставяне на пакетирани отговори, базирани на доказателства
Комплексно разсъждение и планировчик
- Планировчик/DAG: поетапно планиране и разсъждение, базирано на DAG (насочен ацикличен граф), за сложни заявки
Интегрирана агентна архитектура
- cip-5-agent Supervisor: най-високо ниво агент, който управлява и координира целия процес на търсене, разсъждение и интеграция
3. Структурно обобщение и сравнение
В обобщение, Semantic DB приема данни в различни форми (глас, текст, изображения, видео и др.) и ги класифицира като знания, като свързва не само отделни Chunk-ове, а и семантичните отношения между данните (контекст, йерархия, причинно-следствени връзки и др.).
Тъй като въз основа на това извършва търсене и разсъждение чрез семантични връзки, а не чрез търсене, базирано на ключови думи или сходство, както при RAG, от AI могат да бъдат получени по-точно извличане на информация и отговори.
Освен това, тъй като се съхранява под формата на граф на знанията/семантична мрежа, непрекъснатото разширяване и допълване са лесни.
В епохата на голямата AI трансформация ние, Clevi, открихме ограниченията на RAG системите и чрез семантична база данни и собствен AI модел, които могат да ги преодолеят, вече можем бързо да предоставяме на клиентите по-точни и надеждни данни.
AI системата на Clevi може да превърне ценните данни на клиентите в стойност, независимо от вида на домейна и средата.
И занапред Clevi ще полага всички усилия, за да увеличава максимално стойността на данните на клиентите и да предоставя иновативно AI изживяване.
Изживейте бъдещето на новия AI заедно с Clevi.
Запитвания и заявки за демонстрация: [email protected]
Авторски права© 2025 Clevi Inc. Всички права запазени.