1. Ограничения Catastrophic Forgetting и RAG
При внедрении ИИ в реальные рабочие процессы одной из главных проблем становится явление катастрофического забывания (Catastrophic Forgetting), возникающее при дообучении ранее усвоенных знаний на новых данных.
Это явление, при котором ИИ на основе нейронной сети в процессе обучения новой информации резко утрачивает ранее усвоенные знания или закономерности.
Например, при дообучении LLM с открытым исходным кодом на данных конкретной компании могут ухудшиться общие знания или языковые способности.
Чтобы избежать этой проблемы, широко используется технология RAG(Retrieval-Augmented Generation), однако у RAG также есть ограничения.
Основные ограничения RAG
- Недостаточная обработка структурированных данных (Structured Data QA): системы RAG в основном оптимизированы для неструктурированных текстовых документов, поэтому они не могут должным образом распознавать или использовать смысл и взаимосвязи структурированных данных (таблиц, баз данных, электронных таблиц и т. д.).
- Ограничения сложных PDF/неструктурированных документов (Complex PDFs): в процессе chunking (разбиения) сложных PDF-документов (с таблицами, несколькими колонками, изображениями и т. д.) может происходить потеря информации или искажение контекста. В результате важные данные могут не индексироваться или становиться трудными для поиска.
- Отсутствие резервной модели (Fallback Model(s)): когда система RAG не может найти подходящий ответ, логика переключения на альтернативную (резервную) модель может быть недостаточной или неэффективной. В результате при сбое ответа пользователю не предоставляется приемлемая альтернатива.
- Уязвимости безопасности (LLM Security): недостаточная защита от уязвимостей безопасности самой LLM (инъекций промптов, утечек данных и т. д.) создает риск раскрытия конфиденциальной информации.
- Недостаточная масштабируемость (Data Ingestion Scalability): при индексации и хранении больших объемов данных возникают проблемы с масштабируемостью. По мере увеличения объема данных снижается скорость chunking, хранения и поиска, а нагрузка на систему возрастает.
- Пропуск важной информации (Missing Content): важное содержимое документа часто теряется в процессе chunking или не индексируется. В результате пользователь не может найти нужную ему информацию.
- Пропуск наиболее релевантных результатов (Missed Top Ranked): среди результатов поиска может отсутствовать фактически наиболее релевантный chunk (результат с самым высоким рейтингом). Причинами могут быть ограничения алгоритма поиска, низкое качество эмбеддингов, ошибки ранжирования и т. д.
- Несоответствие контексту (Not in Context): найденный chunk часто не соответствует контексту фактического вопроса. Это связано с ограничениями поиска на основе простого сходства и недостаточной смысловой связностью.
- Неверный формат (Wrong Format): формат найденного chunk может быть непригоден для обработки LLM или отличаться от желаемого пользователем формата ответа. Например, таблица может быть преобразована в текст, что приводит к искажению информации.
- Сбой извлечения информации (Not Extracted): необходимая информация может быть некорректно извлечена из chunk, либо LLM может не распознать ее. Такое часто происходит со сложными структурами предложений, таблицами, изображениями и т. д.
- Неподходящий охват/уровень детализации информации (Incorrect Specificity): ответ может быть слишком общим или, наоборот, чрезмерно конкретным для данного вопроса и поэтому не соответствовать фактическим требованиям пользователя. Настройка охвата и глубины информации представляет сложность.
- Неполный ответ (Incomplete): итоговый сгенерированный ответ может быть неполным или содержать лишь часть информации, из-за чего не удовлетворяет требованиям пользователя в полной мере. Причиной может быть неспособность объединить информацию из нескольких chunk или использование LLM только части доступных данных.
Таким образом, поскольку RAG чрезмерно зависит от поиска на основе простой векторной схожести и индексации на основе chunk, в реальных рабочих процессах его ограничения с точки зрения надёжности, масштабируемости и точности очевидны.
2. Семантическая база данных CLEVI, преодолевающая ограничения RAG
Чтобы преодолеть эти ограничения, CLEVI разработала следующее поколение инфраструктуры знаний для ИИ — семантических связей, сложных рассуждений и ответов на основе доказательств, Clevi Semantic Database.
Это решение стало возможным благодаря наличию собственных Reasoning-моделей, мультимодального ИИ и агентных моделей ИИ, и является одной из уникальных мощных технологий CLEVI, позволяющих ИИ приносить реальную пользу в повседневной жизни.
Если представить базу данных с хранящейся в ней информацией как библиотеку, то семантическую базу данных CLEVI можно сравнить с очень компетентным библиотекарем. (Если запросить у библиотекаря необходимую информацию, можно получить точный и быстрый ответ.)
Пользователь в любое время может добавлять в библиотеку новую информацию и извлекать необходимую информацию.
Кроме того, версионное управление данными и права доступа можно настраивать по своему усмотрению.
Все действия библиотекаря сохраняются в виде логов (записей), поэтому даже в случае ошибки её можно исправить.
<Clevi Semantic Database Structure>
Основные характеристики и техническая структура
Семантическое хранение данных
- Сохранение семантических связей между данными (контекст, иерархия, причинно-следственные связи и т. д.) в графовой БД, а не в простой векторной БД на основе chunk
- Удобное расширение и дополнение в форме графа знаний/семантической сети
Гибридный поиск и рассуждения
- CTA+Context Query: одновременный учёт контекста (Context) запроса и CTA
- Hybrid Retrieval: объединение поиска на основе векторной схожести и поиска на основе правил/графа
- Intelligent Folder Hits: автоматический поиск семантически связанных папок/категорий
Одновременная мультимодальная обработка
- Одновременная интерпретация различных типов данных, включая текст, изображения, таблицы и аудио, с использованием TextReader Pool, VisionReader Pool и других средств
- В то время как традиционный RAG в основном может обрабатывать только текст, семантическая база данных обладает превосходными возможностями мультимодальной обработки
Ответы на основе доказательств и проверка надёжности
- Автоматическое создание резюме документов и источников, включая Doc Summaries & Citations, Table Findings и другие возможности
- Merge & Verify: семантическая интеграция информации из нескольких источников и проверка достоверности
- Evidence Pack: предоставление пакета ответов на основе доказательств
Сложное рассуждение и планировщик
- Planner/DAG: поэтапное планирование и рассуждение на основе DAG (Directed Acyclic Graph) для сложных запросов
Унифицированная агентная архитектура
- cip-5-agent Supervisor: главный агент, управляющий и координирующий весь процесс поиска, рассуждения и интеграции
3. Обзор и сравнение архитектур
Иными словами, Semantic DB принимает данные в различных формах (голос, текст, изображения, видео и т. д.) и классифицирует знания, связывая не только отдельные фрагменты, но и смысловые отношения между данными (контекст, иерархию, причинно-следственные связи и т. д.).
Благодаря этому поиск и рассуждение выполняются с использованием смысловых связей, а не поиска на основе ключевых слов или сходства, как в RAG, что позволяет получать от ИИ более точный поиск информации и более точные ответы.
Кроме того, поскольку данные хранятся в форме графа знаний или семантической сети, их легко непрерывно расширять и дополнять.
Мы, CLEVI, обнаружили ограничения систем RAG в эпоху масштабной трансформации с помощью ИИ и, используя семантическую базу данных и собственную модель ИИ, позволяющую решить эту проблему, теперь можем быстро предоставлять клиентам более точные и надежные данные.
ИИ-система CLEVI способна в любой среде, независимо от типа предметной области, превращать ценные данные клиентов в полезный ресурс.
И впредь CLEVI будет прилагать все усилия, чтобы максимально раскрывать ценность данных клиентов и предоставлять инновационный опыт взаимодействия с ИИ.
Приглашаем вас вместе с CLEVI открыть для себя будущее нового ИИ.
Запрос информации и демонстрации: [email protected]
Copyright© 2025 Clevi Inc. Все права защищены.