1. Catastrophic Forgetting e as limitações do RAG
Quando a IA é introduzida em operações reais, uma das maiores preocupações é o fenômeno do esquecimento catastrófico (Catastrophic Forgetting), que ocorre ao ajustar os conhecimentos aprendidos anteriormente com novos dados.
Esse é um fenômeno no qual a IA baseada em redes neurais perde rapidamente conhecimentos ou padrões aprendidos anteriormente durante o processo de aprendizado de novas informações.
Por exemplo, ao ajustar um LLM de código aberto com dados específicos de uma empresa, o conhecimento geral ou as habilidades linguísticas podem ser prejudicados.
Para evitar esse problema, a tecnologia RAG(Retrieval-Augmented Generation) é amplamente utilizada, mas o RAG também apresenta limitações.
Principais limitações do RAG
- Processamento inadequado de dados estruturados (Structured Data QA): os sistemas RAG são principalmente otimizados para documentos de texto não estruturados e, por isso, não conseguem compreender ou utilizar adequadamente o significado e as relações de dados estruturados (tabelas, bancos de dados, planilhas etc.).
- Limitações com PDFs complexos/documentos não estruturados (Complex PDFs): documentos PDF complexos (incluindo tabelas, várias colunas, imagens etc.) podem sofrer perda de informações ou distorção de contexto durante o processo de chunking (segmentação). Como resultado, dados importantes podem não ser indexados ou podem ser difíceis de pesquisar.
- Ausência de modelo de fallback (Fallback Model(s)): quando o sistema RAG não encontra uma resposta adequada, a lógica para alternar para um modelo alternativo (de backup) é insuficiente ou ineficiente. Como resultado, quando ocorre uma falha na resposta, não é oferecida uma alternativa satisfatória ao usuário.
- Vulnerabilidades de segurança (LLM Security): a proteção contra vulnerabilidades de segurança do próprio LLM (injeção de prompt, vazamento de dados etc.) é insuficiente, o que cria o risco de exposição de informações confidenciais.
- Escalabilidade insuficiente de ingestão de dados (Data Ingestion Scalability): surgem problemas de escalabilidade durante a indexação e o armazenamento de grandes volumes de dados. À medida que o volume de dados aumenta, a velocidade de chunking, armazenamento e pesquisa diminui, e a carga sobre o sistema aumenta.
- Ausência de informações importantes (Missing Content): conteúdos importantes dos documentos são frequentemente perdidos durante o processo de chunking ou não são indexados. Como resultado, os usuários não conseguem pesquisar as informações que desejam.
- Ausência dos itens mais bem classificados (Missed Top Ranked): os chunks realmente mais relevantes (com melhor classificação) podem não aparecer nos resultados da pesquisa. As causas incluem limitações do algoritmo de pesquisa, baixa qualidade dos embeddings e erros de classificação.
- Fora de contexto (Not in Context): os chunks recuperados frequentemente não correspondem ao contexto real da pergunta. Isso ocorre devido às limitações da pesquisa baseada apenas em similaridade, que apresenta baixa conexão semântica.
- Formato incorreto (Wrong Format): o formato dos chunks recuperados pode ser inadequado para o processamento pelo LLM ou diferente do formato de resposta desejado pelo usuário. Por exemplo, uma tabela pode ser convertida em texto, distorcendo as informações.
- Falha na extração de informações (Not Extracted): as informações necessárias podem não ser extraídas adequadamente do chunk, ou o LLM pode não reconhecê-las. Isso ocorre com frequência em estruturas de frases complexas, tabelas, imagens etc.
- Especificidade inadequada das informações (Incorrect Specificity): a resposta pode ser abrangente demais ou, ao contrário, específica demais para a pergunta, não correspondendo às necessidades reais do usuário. É difícil ajustar o escopo e a profundidade das informações.
- Resposta incompleta (Incomplete): a resposta gerada final pode estar incompleta ou fornecer apenas parte das informações, não atendendo plenamente às necessidades do usuário. As causas incluem a incapacidade de combinar informações de vários chunks ou o uso parcial das informações pelo LLM.
Dessa forma, como o RAG depende excessivamente da pesquisa por similaridade vetorial simples e da indexação baseada em chunks, suas limitações em termos de confiabilidade, escalabilidade e precisão ficam claras em aplicações reais.
2. O Clevi Semantic Database, que supera as limitações do RAG
Para superar essas limitações, a CLEVI desenvolveu o Clevi Semantic Database, uma infraestrutura de conhecimento de IA de próxima geração otimizada para conexões semânticas, raciocínio complexo e respostas baseadas em evidências.
Essa é uma solução possível porque a CLEVI possui seus próprios modelos de Reasoning, IA multimodal e modelos de IA agêntica, sendo uma das poderosas tecnologias exclusivas da CLEVI que tornam a IA realmente útil no mundo real.
Por analogia, se o banco de dados onde as informações estão armazenadas for considerado uma biblioteca, o Clevi Semantic Database pode ser visto como uma biblioteca com um bibliotecário extremamente competente. (Ao solicitar as informações necessárias ao bibliotecário, você recebe respostas precisas e rápidas.)
Os usuários podem adicionar novas informações à biblioteca e recuperar as informações necessárias a qualquer momento.
Além disso, é possível configurar o controle de versões dos dados e as permissões de acesso conforme desejado.
Todas as ações do bibliotecário são registradas em logs (registros), portanto, mesmo que ocorra um erro, ele pode ser corrigido.
<Clevi Semantic Database Structure>
Principais características e estrutura tecnológica
Armazenamento semântico de dados
- Armazena no banco de dados de grafos as relações semânticas entre os dados (contexto, hierarquia, causalidade etc.), em vez de usar um banco de dados vetorial simples baseado em chunks
- Fácil de expandir e complementar na forma de grafo de conhecimento/rede semântica
Pesquisa e raciocínio híbridos
- CTA+Context Query: considera conjuntamente o contexto da consulta (Context) e o CTA
- Hybrid Retrieval: combina similaridade vetorial com pesquisa baseada em regras/grafos
- Intelligent Folder Hits: explora automaticamente pastas/categorias semanticamente relacionadas
Processamento multimodal simultâneo
- Interpreta simultaneamente diversos tipos de dados, como texto, imagens, tabelas e áudio, por meio de pools como TextReader Pool e VisionReader Pool
- Enquanto o RAG convencional pode processar principalmente apenas texto, o banco de dados semântico se destaca pela capacidade de processamento multimodal
Respostas baseadas em evidências e verificação de confiabilidade
- Resumos e citações de documentos, geração automática de descobertas em tabelas etc.
- Mesclar e verificar: integração semântica de informações de várias fontes e verificação da confiabilidade
- Pacote de evidências: fornecimento de pacotes de respostas baseadas em evidências
Raciocínio complexo e planejador
- Planner/DAG: planejamento passo a passo e raciocínio baseado em DAG (Directed Acyclic Graph) para consultas complexas
Arquitetura de agente integrado
- Supervisor cip-5-agent: agente de nível superior que gerencia e coordena todo o processo de pesquisa, raciocínio e integração
3. Resumo e comparação da estrutura
Em resumo, o Semantic DB recebe dados em diversos formatos (voz, texto, imagem, vídeo etc.) e classifica o conhecimento conectando não apenas simples chunks, mas também as relações semânticas entre os dados (contexto, hierarquia, causalidade etc.).
Com base nisso, como realiza pesquisa e raciocínio utilizando conexões semânticas, em vez de pesquisas baseadas em palavras-chave ou similaridade, como no RAG, é possível obter da IA pesquisas de informações e respostas ainda mais precisas.
Além disso, como os dados são armazenados na forma de grafo de conhecimento/rede semântica, sua expansão e complementação contínuas são fáceis de realizar.
A CLEVI identificou as limitações dos sistemas RAG na era da grande transformação da IA e, por meio de um banco de dados semântico e de modelos de IA próprios capazes de solucionar essas limitações, tornou possível responder rapidamente aos clientes com dados mais precisos e confiáveis.
O sistema de IA da CLEVI pode transformar os dados valiosos dos clientes em algo de valor, independentemente do tipo de domínio e em qualquer ambiente.
A CLEVI continuará se empenhando ao máximo para maximizar o valor dos dados dos clientes e oferecer experiências inovadoras de IA.
Experimente o futuro de uma nova IA junto com a CLEVI.
Contato e solicitação de demonstração: [email protected]
Copyright© 2025 Clevi Inc. Todos os direitos reservados.