Clevi Semantic Database

1. Catastrophic Forgetting và những hạn chế của RAG

Khi AI được triển khai vào công việc thực tế, một trong những mối lo ngại lớn nhất là hiện tượng quên thảm họa (Catastrophic Forgetting) xảy ra khi tinh chỉnh kiến thức đã học trước đó bằng dữ liệu mới.

Đây là hiện tượng AI dựa trên mạng nơ-ron đột ngột mất đi kiến thức hoặc các mẫu đã học trước đó trong quá trình học thông tin mới.

Ví dụ, khi tinh chỉnh một LLM mã nguồn mở bằng dữ liệu của một doanh nghiệp cụ thể, kiến thức phổ thông hoặc khả năng ngôn ngữ có thể bị suy giảm.

Để tránh vấn đề này, công nghệ RAG (Retrieval-Augmented Generation) được sử dụng rộng rãi, nhưng RAG cũng có những hạn chế.

Những hạn chế tiêu biểu của RAG

• Xử lý dữ liệu có cấu trúc chưa đầy đủ (Structured Data QA): Hệ thống RAG chủ yếu được tối ưu hóa cho các tài liệu văn bản phi cấu trúc, nên không thể nắm bắt hoặc sử dụng đúng ý nghĩa và mối quan hệ của dữ liệu có cấu trúc (bảng, cơ sở dữ liệu, bảng tính, v.v.).
• Hạn chế với PDF phức tạp/tài liệu phi cấu trúc (Complex PDFs): Các tài liệu PDF phức tạp (bao gồm bảng, nhiều cột, hình ảnh, v.v.) có thể bị thiếu thông tin hoặc sai lệch ngữ cảnh trong quá trình chunking (phân đoạn). Do đó, dữ liệu quan trọng có thể không được lập chỉ mục hoặc khó tìm kiếm.
• Thiếu mô hình Fallback (mô hình dự phòng) (Fallback Model(s)): Khi hệ thống RAG không tìm được câu trả lời phù hợp, logic chuyển sang mô hình thay thế (dự phòng) còn thiếu hoặc kém hiệu quả. Vì vậy, khi không trả lời được, hệ thống không cung cấp được phương án thay thế đáp ứng người dùng.
• Lỗ hổng bảo mật (LLM Security): Việc phòng vệ trước các lỗ hổng bảo mật của chính LLM (chẳng hạn như prompt injection, rò rỉ dữ liệu, v.v.) chưa đầy đủ, làm phát sinh nguy cơ lộ thông tin nhạy cảm.
• Khả năng mở rộng hạn chế (Data Ingestion Scalability): Các vấn đề về khả năng mở rộng phát sinh trong quá trình lập chỉ mục và lưu trữ dữ liệu lớn. Khi lượng dữ liệu tăng, tốc độ chunking, lưu trữ và tìm kiếm giảm, đồng thời tải hệ thống tăng.
• Thiếu thông tin quan trọng (Missing Content): Nội dung quan trọng trong tài liệu thường bị thiếu trong quá trình chunking hoặc không được lập chỉ mục. Do đó, người dùng không thể tìm kiếm thông tin mình cần.
• Bỏ sót kết quả xếp hạng cao nhất (Missed Top Ranked): chunk thực sự liên quan nhất (xếp hạng cao nhất) có thể bị bỏ sót trong kết quả tìm kiếm. Nguyên nhân có thể là những hạn chế của thuật toán tìm kiếm, chất lượng embedding giảm hoặc lỗi xếp hạng.
• Không phù hợp với ngữ cảnh (Not in Context): chunk được tìm thấy thường không phù hợp với ngữ cảnh thực tế của câu hỏi. Đây là hạn chế của phương thức tìm kiếm dựa trên độ tương đồng đơn thuần, dẫn đến thiếu sự liên kết về ngữ nghĩa.
• Sai định dạng (Wrong Format): Định dạng của chunk được tìm thấy có thể không phù hợp để LLM xử lý hoặc khác với định dạng câu trả lời mà người dùng mong muốn. Ví dụ, bảng được chuyển đổi thành văn bản khiến thông tin bị sai lệch.
• Không trích xuất được thông tin (Not Extracted): Thông tin cần thiết không được trích xuất đúng cách từ chunk hoặc LLM không nhận diện được thông tin. Tình trạng này thường xảy ra với cấu trúc câu phức tạp, bảng, hình ảnh, v.v.
• Phạm vi/độ sâu thông tin không phù hợp (Incorrect Specificity): Câu trả lời có thể quá khái quát hoặc ngược lại quá cụ thể so với câu hỏi, nên không phù hợp với nhu cầu thực tế của người dùng. Việc điều chỉnh phạm vi và độ sâu thông tin gặp nhiều khó khăn.
• Câu trả lời không đầy đủ (Incomplete): Câu trả lời được tạo ra cuối cùng có thể không đầy đủ hoặc chỉ cung cấp một phần thông tin, không đáp ứng đầy đủ yêu cầu của người dùng. Nguyên nhân là không thể tổng hợp thông tin từ nhiều chunk hoặc LLM chỉ sử dụng một phần thông tin.

Như vậy, vì RAG phụ thuộc quá nhiều vào việc tìm kiếm dựa trên độ tương đồng vector đơn thuần và lập chỉ mục dựa trên chunk, nên những hạn chế về độ tin cậy, khả năng mở rộng và độ chính xác trong công việc thực tế là rất rõ ràng.

2. Cơ sở dữ liệu ngữ nghĩa của Clevi khắc phục những hạn chế của RAG

Để khắc phục những hạn chế này, Clevi đã phát triển Cơ sở hạ tầng tri thức AI thế hệ mới được tối ưu hóa cho kết nối ngữ nghĩa, suy luận phức hợp và phản hồi dựa trên bằng chứng, Clevi Semantic Database.

Đây là giải pháp khả thi nhờ Clevi sở hữu toàn bộ các mô hình Reasoning riêng, AI đa phương thức và mô hình AI dạng tác nhân, đồng thời là một trong những công nghệ mạnh mẽ độc đáo của Clevi, giúp AI thực sự hữu ích trong thực tế.

Nói một cách dễ hiểu, nếu cơ sở dữ liệu lưu trữ thông tin được ví như một thư viện, thì cơ sở dữ liệu ngữ nghĩa của Clevi có thể được hình dung như một thủ thư xuất sắc. (Khi yêu cầu thủ thư cung cấp thông tin cần thiết, bạn sẽ nhận được phản hồi chính xác và nhanh chóng.)

Người dùng có thể thêm thông tin mới vào thư viện và truy xuất thông tin cần thiết bất cứ lúc nào.

Ngoài ra, bạn có thể thiết lập việc quản lý phiên bản dữ liệu hoặc quyền truy cập theo mong muốn.

Mọi hành động của thủ thư đều được lưu lại dưới dạng nhật ký (bản ghi), vì vậy ngay cả khi xảy ra sai sót, bạn vẫn có thể chỉnh sửa.

<Clevi Semantic Database Structure>

Các tính năng chính và cấu trúc công nghệ

Lưu trữ dữ liệu ngữ nghĩa

• Lưu trữ các mối quan hệ ngữ nghĩa giữa dữ liệu (ngữ cảnh, phân cấp, nhân quả, v.v.) trong cơ sở dữ liệu đồ thị, thay vì chỉ sử dụng cơ sở dữ liệu vector theo chunk
• Dễ dàng mở rộng và bổ sung dưới dạng đồ thị tri thức/mạng ngữ nghĩa

Tìm kiếm và suy luận lai

• CTA+Context Query: Kết hợp phản ánh ngữ cảnh (Context) của truy vấn và CTA
• Hybrid Retrieval: Kết hợp tìm kiếm dựa trên độ tương đồng vector với tìm kiếm dựa trên quy tắc/đồ thị
• Intelligent Folder Hits: Tự động tìm kiếm các thư mục/danh mục có liên quan về mặt ngữ nghĩa

Xử lý đồng thời đa phương thức

• TextReader Pool, VisionReader Pool cùng diễn giải đồng thời nhiều loại dữ liệu như văn bản, hình ảnh, bảng biểu và âm thanh
• Trong khi RAG truyền thống chủ yếu chỉ có thể xử lý văn bản, cơ sở dữ liệu ngữ nghĩa có năng lực xử lý đa phương thức vượt trội

Phản hồi dựa trên bằng chứng và xác minh độ tin cậy

• Tự động tạo bản tóm tắt tài liệu và nguồn trích dẫn, chẳng hạn như các phát hiện trong bảng
• Merge & Verify: Tích hợp ngữ nghĩa thông tin từ nhiều nguồn và xác minh độ tin cậy
• Evidence Pack: Cung cấp gói phản hồi dựa trên bằng chứng

Suy luận phức hợp và trình lập kế hoạch

• Planner/DAG: Lập kế hoạch theo từng bước và suy luận dựa trên DAG (Directed Acyclic Graph) cho các truy vấn phức tạp

Kiến trúc tác nhân tích hợp

• cip-5-agent Supervisor: Tác nhân cấp cao nhất quản lý và điều phối toàn bộ quy trình tìm kiếm/suy luận/tích hợp

3. Tóm tắt và so sánh cấu trúc

Tóm lại, Semantic DB tiếp nhận dữ liệu dưới nhiều dạng khác nhau (giọng nói, văn bản, hình ảnh, video, v.v.) và phân loại kiến thức bằng cách kết nối không chỉ các Chunk đơn lẻ mà còn cả những mối quan hệ ngữ nghĩa giữa dữ liệu (ngữ cảnh, cấu trúc phân cấp, quan hệ nhân quả, v.v.).

Dựa trên đó, thay vì tìm kiếm theo từ khóa/độ tương đồng như RAG, hệ thống thực hiện tìm kiếm và suy luận dựa trên các kết nối ngữ nghĩa, nhờ vậy AI có thể cung cấp thông tin và câu trả lời chính xác hơn.

Ngoài ra, vì được lưu trữ dưới dạng đồ thị tri thức/mạng ngữ nghĩa nên hệ thống dễ dàng mở rộng và bổ sung liên tục.

CLEVI đã phát hiện ra những hạn chế của hệ thống RAG trong kỷ nguyên chuyển đổi AI và thông qua cơ sở dữ liệu ngữ nghĩa cùng mô hình AI độc quyền có thể giải quyết những hạn chế đó, giúp khách hàng nhanh chóng nhận được dữ liệu chính xác và đáng tin cậy hơn.

Hệ thống AI của CLEVI có thể biến dữ liệu quý giá của khách hàng thành giá trị hữu ích trong mọi môi trường, bất kể lĩnh vực hoạt động.

Trong thời gian tới, CLEVI sẽ tiếp tục nỗ lực hết mình để tối đa hóa giá trị dữ liệu của khách hàng và mang đến những trải nghiệm AI đổi mới.

Hãy cùng CLEVI trải nghiệm tương lai mới của AI.

Liên hệ và yêu cầu bản demo: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.