1. 灾难性遗忘（Catastrophic Forgetting）与RAG的局限性
AI应用于实际业务时，最大的担忧之一是在使用新数据进行微调时产生的 灾难性遗忘（Catastrophic Forgetting） 现象。
这是指基于神经网络的AI在学习新信息的过程中，突然丧失先前学到的知识或模式的现象。
例如，使用特定企业数据对开源LLM进行微调，可能会导致通用常识或语言能力下降。
为避免此类问题，RAG（Retrieval-Augmented Generation） 技术得到了广泛应用，但RAG同样存在局限性。
RAG的典型局限性
- 结构化数据处理不足（Structured Data QA）：RAG 系统主要针对非结构化文本文档进行优化，因此无法正确理解或利用结构化数据（表格、数据库、电子表格等）的含义和关系。
- 复杂 PDF/非结构化文档的局限（Complex PDFs）：复杂的 PDF 文档（包含表格、多栏、图像等）在 chunking（分块）过程中可能出现信息遗漏或上下文失真。因此，重要数据可能无法被索引，或难以检索。
- 缺少 Fallback（备用）模型（Fallback Model(s)）：当 RAG 系统无法找到合适的答案时，切换至替代（备用）模型的逻辑不足或效率低下。因此，在回答失败时，无法为用户提供令人满意的替代方案。
- 安全漏洞（LLM Security）：对 LLM 本身的安全漏洞（提示注入、数据泄露等）防护不足，存在敏感信息泄露的风险。
- 扩展性不足（Data Ingestion Scalability）：在大容量数据的索引和存储过程中会出现扩展性问题。随着数据量增加，chunking、存储和检索速度会下降，系统负载也会增加。
- 重要信息遗漏（Missing Content）：文档中的重要内容经常在 chunking 过程中被遗漏，或未被索引。因此，用户无法检索到所需的信息。
- 遗漏高排名结果（Missed Top Ranked）：搜索结果中实际相关性最高的 chunk（高排名结果）可能被遗漏。原因包括搜索算法的局限、嵌入质量下降、排名错误等。
- 上下文不匹配（Not in Context）：检索到的 chunk 经常与实际问题的上下文不匹配。这是基于简单相似度检索的局限，语义关联性不足。
- 格式错误（Wrong Format）：检索到的 chunk 格式可能不适合 LLM 处理，或与用户期望的答案格式不同。例如，表格被转换为文本后导致信息失真的情况。
- 信息提取失败（Not Extracted）：所需信息未能从 chunk 中正确提取，或 LLM 未能识别信息。这种情况经常发生在复杂句子结构、表格、图像等内容中。
- 信息范围/深度不适当（Incorrect Specificity）：回答过于宽泛，或相反过于具体，与用户的实际需求不匹配。难以调整信息的范围和深度。
- 回答不完整（Incomplete）：最终生成的回答不完整，或仅提供了部分信息，未能充分满足用户需求。原因包括未能综合多个 chunk 中的信息，或 LLM 仅利用了部分信息。
正因如此，RAG 过度依赖简单的向量相似度搜索和基于 chunk 的索引，因此在实际业务中，其可靠性、扩展性和准确性方面的局限性十分明显。
2. 克服 RAG 局限性的 CLEVI 语义数据库
为克服这些局限性，CLEVI 开发了新一代 AI 知识基础设施——针对语义连接、复杂推理和基于依据的响应进行优化的 Clevi Semantic Database。
这是因为 CLEVI 同时拥有自主 Reasoning 模型、多模态 AI 和智能体型 AI 模型，也是 CLEVI 打造的强大技术之一，旨在让 AI 真正能够在现实中提供帮助。
打个比方，如果把存储信息的数据库看作图书馆，那么可以把 CLEVI 的语义数据库理解为拥有一位非常出色的图书管理员。（向图书管理员请求所需信息，就能获得准确且快速的响应。）
用户可以随时向图书馆添加新信息，并调取所需信息。
此外，还可以按照需求设置数据版本管理和访问权限。
图书管理员的所有操作都会以日志（记录）的形式保留，因此即使发生错误，也可以进行修正。
<Clevi Semantic Database Structure>
主要特点及技术结构
语义数据存储
- 并非简单的 chunk 向量数据库，而是将数据之间的语义关系（上下文、层级、因果等）存储在图数据库中
- 易于以知识图谱/语义网络的形式扩展和补充
混合搜索与推理
- CTA+Context Query：同时反映查询的上下文（Context）和 CTA
- Hybrid Retrieval：结合向量相似度与基于规则/图的搜索
- Intelligent Folder Hits：自动探索语义相关的文件夹/类别
多模态同步处理
- TextReader Pool、VisionReader Pool 等可同时解析文本、图像、表格、语音等多种数据
- 传统 RAG 主要只能处理文本，而语义数据库具备卓越的多模态处理能力
基于依据的响应与可靠性验证
- 文档摘要与引用、表格发现等文档摘要及来源自动生成
- Merge & Verify：多个来源信息的语义整合及可靠性验证
- Evidence Pack：提供基于证据的响应包
复杂推理与规划器
- Planner/DAG：针对复杂查询制定分步计划，并基于DAG（有向无环图）进行推理
统一代理架构
- cip-5-agent Supervisor：管理和协调整体搜索、推理及整合流程的最高层代理
3. 架构总结与比较
总而言之，Semantic DB接收语音、文本、图像、视频等多种形式的数据，不仅对数据进行简单的Chunk处理，还连接数据之间的语义关系（上下文、层级、因果关系等），从而对知识进行分类。
基于此，与RAG等采用关键词/相似度的搜索不同，Semantic DB利用语义连接进行搜索和推理，因此能够通过AI获得更准确的信息检索结果和答案。
此外，由于以知识图谱/语义网络的形式存储，因此便于持续扩展和补充。
CLEVI发现了AI大转换时代中RAG系统的局限，并通过能够解决这些问题的语义数据库和自主AI模型，帮助客户快速获得更加准确、可靠的数据响应。
CLEVI的AI系统无论处于何种环境、面向何种领域，都能让客户宝贵的数据发挥价值。
今后，CLEVI也将竭尽全力，最大限度地发挥客户数据的价值，并提供创新的AI体验。
欢迎与CLEVI一起体验AI崭新的未来。
咨询及演示申请：[email protected]
Copyright© 2025 Clevi Inc. All rights reserved.