1. Catastrophic Forgetting e as limitações do RAG
Uma das maiores preocupações quando a IA é introduzida no trabalho real é o fenómeno do esquecimento catastrófico (Catastrophic Forgetting), que ocorre ao ajustar os conhecimentos previamente aprendidos a novos dados.
Este é um fenómeno em que a IA baseada em redes neuronais perde rapidamente os conhecimentos ou padrões aprendidos anteriormente durante o processo de aprendizagem de novas informações.
Por exemplo, ao ajustar um LLM de código aberto com dados específicos de uma empresa, o conhecimento geral ou as capacidades linguísticas podem deteriorar-se.
Para evitar este problema, a tecnologia RAG (Retrieval-Augmented Generation) é amplamente utilizada, mas o RAG também apresenta limitações.
Principais limitações do RAG
- Processamento insuficiente de dados estruturados (Structured Data QA): os sistemas RAG estão principalmente otimizados para documentos de texto não estruturado, pelo que não conseguem compreender ou utilizar adequadamente o significado e as relações dos dados estruturados (tabelas, bases de dados, folhas de cálculo, etc.).
- Limitações de PDFs complexos/documentos não estruturados (Complex PDFs): documentos PDF complexos (incluindo tabelas, várias colunas, imagens, etc.) podem sofrer perda de informação ou distorção do contexto durante o processo de chunking (divisão). Consequentemente, dados importantes podem não ser indexados ou tornar-se difíceis de pesquisar.
- Ausência de um modelo Fallback (Fallback Model(s)): quando o sistema RAG não encontra uma resposta adequada, a lógica para mudar para um modelo alternativo (de reserva) é insuficiente ou ineficiente. Consequentemente, quando a resposta falha, não é fornecida uma alternativa satisfatória ao utilizador.
- Vulnerabilidades de segurança (LLM Security): a proteção contra vulnerabilidades de segurança do próprio LLM (injeção de prompts, fuga de dados, etc.) é insuficiente, o que cria o risco de exposição de informações sensíveis.
- Falta de escalabilidade (Data Ingestion Scalability): surgem problemas de escalabilidade durante a indexação e o armazenamento de grandes volumes de dados. À medida que a quantidade de dados aumenta, a velocidade de chunking, armazenamento e pesquisa diminui, aumentando a carga sobre o sistema.
- Omissão de informações importantes (Missing Content): frequentemente, informações importantes são omitidas durante o processo de chunking ou não são indexadas. Consequentemente, o utilizador não consegue pesquisar as informações pretendidas.
- Omissão dos resultados mais relevantes (Missed Top Ranked): o chunk efetivamente mais relevante (com classificação mais elevada) pode ser omitido nos resultados da pesquisa. As causas incluem limitações do algoritmo de pesquisa, degradação da qualidade dos embeddings e erros de classificação.
- Incompatibilidade de contexto (Not in Context): frequentemente, o chunk pesquisado não corresponde ao contexto real da pergunta. Devido às limitações da pesquisa baseada apenas na similaridade, a ligação semântica é insuficiente.
- Formato incorreto (Wrong Format): o formato do chunk pesquisado pode ser inadequado para o processamento pelo LLM ou diferente do formato de resposta pretendido pelo utilizador. Por exemplo, uma tabela pode ser convertida em texto, distorcendo a informação.
- Falha na extração de informações (Not Extracted): as informações necessárias podem não ser devidamente extraídas do chunk ou o LLM pode não as reconhecer. Isto ocorre frequentemente em estruturas frásicas complexas, tabelas, imagens, etc.
- Especificidade inadequada da abrangência/profundidade da informação (Incorrect Specificity): a resposta pode ser demasiado abrangente ou, pelo contrário, excessivamente específica para a pergunta, não correspondendo às necessidades reais do utilizador. É difícil ajustar a abrangência e a profundidade da informação.
- Resposta incompleta (Incomplete): a resposta final gerada pode estar incompleta ou fornecer apenas parte das informações, não satisfazendo plenamente as necessidades do utilizador. As causas incluem a incapacidade de reunir informações de vários chunks ou a utilização parcial das informações pelo LLM.
Deste modo, uma vez que o RAG depende excessivamente da pesquisa baseada apenas na similaridade vetorial e da indexação baseada em chunks, as suas limitações em termos de fiabilidade, escalabilidade e precisão são claras em situações de trabalho reais.
2. A Clevi Semantic Database, que supera as limitações do RAG
Para superar estas limitações, a CLEVI desenvolveu a próxima geração de infraestrutura de conhecimento de IA, a Clevi Semantic Database, otimizada para ligações semânticas, raciocínio complexo e respostas baseadas em evidências.
Esta solução é possível porque dispomos dos nossos próprios modelos de Reasoning, de IA multimodal e de IA baseada em agentes, sendo uma das poderosas tecnologias exclusivas da CLEVI que tornam a IA realmente útil no mundo real.
Por analogia, se a base de dados onde a informação está armazenada for uma biblioteca, a Clevi Semantic Database pode ser comparada a uma biblioteca com um bibliotecário excecional. (Quando se solicita ao bibliotecário a informação necessária, é possível obter uma resposta precisa e rápida.)
Os utilizadores podem adicionar novas informações à biblioteca e consultar as informações necessárias a qualquer momento.
Além disso, podem definir como quiserem a gestão de versões dos dados e as permissões de acesso.
Todas as ações do bibliotecário ficam registadas em logs (registos), pelo que podem ser corrigidas mesmo que ocorra um erro.
<Clevi Semantic Database Structure>
Principais características e estrutura tecnológica
Armazenamento semântico de dados
- Armazena numa base de dados de grafos as relações semânticas entre os dados (contexto, hierarquia, causalidade, etc.), em vez de utilizar apenas uma base de dados vetorial de chunks
- Fácil de expandir e complementar sob a forma de grafo de conhecimento/rede semântica
Pesquisa e raciocínio híbridos
- CTA+Context Query: reflete simultaneamente o contexto (Context) da consulta e o CTA
- Hybrid Retrieval: combina a pesquisa baseada na similaridade vetorial com a pesquisa baseada em regras/grafos
- Intelligent Folder Hits: explora automaticamente pastas/categorias semanticamente relacionadas
Processamento multimodal simultâneo
- Interpreta simultaneamente diversos tipos de dados, como texto, imagens, tabelas e áudio, através de pools como TextReader Pool e VisionReader Pool
- Enquanto o RAG tradicional consegue processar sobretudo texto, a base de dados semântica destaca-se pela sua capacidade de processamento multimodal
Respostas baseadas em evidências e validação da fiabilidade
- Resumos e citações de documentos, geração automática de conclusões e fontes
- Merge & Verify: integração semântica de informações de várias fontes e verificação da fiabilidade
- Evidence Pack: fornecimento de pacotes de respostas baseados em evidências
Raciocínio complexo e planeador
- Planner/DAG: planeamento passo a passo e raciocínio baseado em DAG (Directed Acyclic Graph) para consultas complexas
Estrutura de agente integrado
- cip-5-agent Supervisor: agente de nível superior que gere e coordena todo o processo de pesquisa, raciocínio e integração
3. Resumo e comparação da estrutura
Em suma, a Semantic DB recebe dados de vários formatos (áudio, texto, imagens, vídeo, etc.) e classifica o conhecimento, ligando não apenas simples blocos, mas também relações semânticas entre os dados (contexto, hierarquia, causalidade, etc.).
Com base nisto, permite realizar pesquisa e raciocínio utilizando ligações semânticas, em vez de pesquisas baseadas em palavras-chave ou similaridade, como no RAG, possibilitando obter da IA informações e respostas mais precisas.
Além disso, como é armazenada sob a forma de um grafo de conhecimento ou de uma rede semântica, é fácil expandi-la e complementá-la continuamente.
A CLEVI identificou as limitações dos sistemas RAG na era da grande transformação da IA e, através de uma base de dados semântica e de modelos de IA próprios capazes de resolver essas limitações, permite agora responder rapidamente aos clientes com dados mais precisos e fiáveis.
O sistema de IA da CLEVI pode transformar os valiosos dados dos clientes em valor, independentemente do tipo de domínio e em qualquer ambiente.
A CLEVI continuará a dar o seu melhor para maximizar o valor dos dados dos clientes e proporcionar experiências inovadoras de IA.
Experimente o futuro da nova IA com a CLEVI.
Contactos e pedidos de demonstração: [email protected]
Copyright© 2025 Clevi Inc. Todos os direitos reservados.