1. Обмеження Catastrophic Forgetting і RAG
Однією з найбільших проблем під час упровадження ШІ в реальну роботу є явище катастрофічного забування (Catastrophic Forgetting), яке виникає під час донавчання раніше засвоєних знань на нових даних.
Це явище, за якого нейромережева система ШІ під час навчання нової інформації різко втрачає раніше засвоєні знання або закономірності.
Наприклад, якщо донавчити LLM із відкритим кодом на даних певної компанії, це може призвести до погіршення загальних знань або мовних здібностей.
Щоб уникнути цієї проблеми, широко використовується технологія RAG(Retrieval-Augmented Generation), однак RAG також має певні обмеження.
Основні обмеження RAG
- Недостатня обробка структурованих даних (Structured Data QA): системи RAG переважно оптимізовані для неструктурованих текстових документів, тому вони не можуть належним чином зрозуміти або використовувати значення та взаємозв’язки структурованих даних (таблиць, баз даних, електронних таблиць тощо).
- Обмеження складних PDF/неструктурованих документів (Complex PDFs): у процесі chunking (розподілу на фрагменти) складних PDF-документів (зокрема з таблицями, кількома колонками, зображеннями тощо) інформація може втрачатися або контекст може спотворюватися. Через це важливі дані можуть не індексуватися або їх може бути важко знаходити.
- Відсутність резервної моделі (Fallback Model(s)): коли система RAG не знаходить належної відповіді, логіка переходу на альтернативну (резервну) модель може бути недостатньою або неефективною. Унаслідок цього в разі невдалої відповіді користувачеві не надається задовільна альтернатива.
- Вразливості безпеки (LLM Security): недостатній захист від уразливостей безпеки самої LLM (ін’єкції промптів, витоку даних тощо) створює ризик розкриття конфіденційної інформації.
- Недостатня масштабованість (Data Ingestion Scalability): під час індексування та зберігання великих обсягів даних виникають проблеми з масштабованістю. Зі збільшенням обсягу даних знижуються швидкість chunking, зберігання та пошуку, а навантаження на систему зростає.
- Втрата важливої інформації (Missing Content): важливий вміст документа часто втрачається під час chunking або не індексується. Через це користувач не може знайти потрібну інформацію.
- Пропуск найвищого рейтингу (Missed Top Ranked): у результатах пошуку може бути відсутній фактично найбільш релевантний chunk (фрагмент із найвищим рейтингом). Причинами можуть бути обмеження алгоритмів пошуку, низька якість embedding або помилки ранжування.
- Невідповідність контексту (Not in Context): знайдений chunk часто не відповідає контексту фактичного запитання. Це зумовлено обмеженнями пошуку на основі простої схожості та недостатнім семантичним зв’язком.
- Неправильний формат (Wrong Format): формат знайденого chunk може бути непридатним для обробки LLM або відрізнятися від бажаного користувачем формату відповіді. Наприклад, таблиця може бути перетворена на текст, що призводить до спотворення інформації.
- Не вдалося витягти інформацію (Not Extracted): необхідна інформація може бути неналежним чином витягнута з chunk, або LLM може не розпізнати її. Це часто трапляється зі складними структурами речень, таблицями та зображеннями.
- Невідповідний обсяг/глибина інформації (Incorrect Specificity): відповідь може бути надто загальною або, навпаки, надмірно конкретною щодо запитання, тому не відповідає фактичним потребам користувача. Налаштувати обсяг і глибину інформації складно.
- Неповна відповідь (Incomplete): зрештою згенерована відповідь може бути неповною або містити лише частину інформації, через що недостатньо задовольняє потреби користувача. Причиною може бути нездатність узагальнити інформацію з кількох chunk або використання LLM лише її частини.
Таким чином, оскільки RAG надмірно покладається на пошук за простою векторною схожістю та індексацію на основі chunk, його обмеження щодо надійності, масштабованості й точності в реальних робочих процесах є очевидними.
2. Семантична база даних CLEVI, що подолала обмеження RAG
Щоб подолати ці обмеження, CLEVI розробила наступне покоління AI-інфраструктури знань — Clevi Semantic Database, оптимізованої для семантичних зв’язків, складного міркування та відповідей на основі доказів.
Це рішення стало можливим завдяки тому, що CLEVI має власні Reasoning-моделі, мультимодальний AI та агентні AI-моделі, і є однією з унікальних потужних технологій CLEVI, що допомагають AI бути справді корисним у реальному світі.
Якщо уявити базу даних, у якій зберігається інформація, як бібліотеку, то семантичну базу даних CLEVI можна порівняти з дуже вправним бібліотекарем. (Якщо попросити бібліотекаря надати потрібну інформацію, можна отримати точну й швидку відповідь.)
Користувачі можуть у будь-який час додавати до бібліотеки нову інформацію та отримувати потрібні дані.
Крім того, можна налаштовувати керування версіями даних і права доступу відповідно до своїх потреб.
Усі дії бібліотекаря зберігаються в журналі (записах), тому навіть у разі помилки її можна виправити.
<Clevi Semantic Database Structure>
Основні характеристики та технічна структура
Семантичне зберігання даних
- Замість простої векторної БД на основі chunk семантичні зв’язки між даними (контекст, ієрархія, причинно-наслідкові зв’язки тощо) зберігаються в графовій БД
- Легко розширювати й доповнювати у формі графа знань/семантичної мережі
Гібридний пошук і міркування
- CTA+Context Query: одночасне врахування контексту (Context) запиту та CTA
- Hybrid Retrieval: поєднання пошуку за векторною схожістю та пошуку на основі правил/графів
- Intelligent Folder Hits: автоматичний пошук семантично пов’язаних папок/категорій
Одночасна мультимодальна обробка
- Одночасна інтерпретація різних типів даних, зокрема тексту, зображень, таблиць і голосу, за допомогою TextReader Pool, VisionReader Pool тощо
- На відміну від традиційного RAG, який переважно може обробляти лише текст, семантична база даних має виняткові можливості мультимодальної обробки
Відповіді на основі доказів і перевірка надійності
- Автоматичне створення підсумків документів і джерел, висновки з таблиць тощо
- Merge & Verify: семантична інтеграція інформації з кількох джерел і перевірка її достовірності
- Evidence Pack: надання пакета відповідей на основі доказів
Комплексне міркування та планувальник
- Planner/DAG: поетапне планування та міркування на основі DAG (Directed Acyclic Graph) для складних запитів
Інтегрована агентна архітектура
- cip-5-agent Supervisor: головний агент, який керує та координує весь процес пошуку, міркування й інтеграції
3. Підсумок і порівняння структури
Підсумовуючи, Semantic DB приймає дані в різних формах (голос, текст, зображення, відео тощо) та класифікує знання, поєднуючи не лише прості фрагменти, а й семантичні зв’язки між даними (контекст, ієрархію, причинно-наслідкові зв’язки тощо).
На цій основі пошук і міркування здійснюються з використанням семантичних зв’язків, а не пошуку на основі ключових слів чи схожості, як у RAG, завдяки чому AI може надавати точнішу інформацію та відповіді.
Крім того, оскільки дані зберігаються у формі графа знань або семантичної мережі, їх легко постійно розширювати та доповнювати.
CLEVI виявила обмеження систем RAG в епоху масштабної трансформації за допомогою AI та завдяки семантичній базі даних і власній AI-моделі, здатна швидко надавати клієнтам точніші й надійніші дані.
AI-система CLEVI може перетворити цінні дані клієнтів на корисний ресурс у будь-якому середовищі, незалежно від типу домену.
І надалі CLEVI докладатиме всіх зусиль, щоб максимально розкрити цінність даних клієнтів і забезпечувати інноваційний досвід взаємодії з AI.
Запрошуємо вас разом із CLEVI відкрити для себе майбутнє нового AI.
Запити та замовлення демонстрації: [email protected]
Copyright© 2025 Clevi Inc. All rights reserved.