1. I limiti del Catastrophic Forgetting e del RAG
Quando l’IA viene introdotta nelle attività aziendali reali, una delle principali preoccupazioni è il fenomeno dell’oblio catastrofico (Catastrophic Forgetting) che si verifica quando si esegue il fine-tuning delle conoscenze apprese in precedenza con nuovi dati.
Si tratta di un fenomeno in cui l’IA basata su reti neurali perde rapidamente le conoscenze o gli schemi appresi in precedenza durante il processo di apprendimento di nuove informazioni.
Ad esempio, se si esegue il fine-tuning di un LLM open source con i dati di una specifica azienda, le conoscenze generali o le capacità linguistiche potrebbero ridursi.
Per evitare questo problema, la tecnologia RAG (Retrieval-Augmented Generation) è ampiamente utilizzata, ma anche il RAG presenta dei limiti.
Principali limiti del RAG
- Elaborazione insufficiente dei dati strutturati (Structured Data QA): i sistemi RAG sono ottimizzati principalmente per documenti di testo non strutturati e non riescono a comprendere o utilizzare correttamente il significato e le relazioni dei dati strutturati (tabelle, database, fogli di calcolo, ecc.).
- Limiti dei PDF complessi/documenti non strutturati (Complex PDFs): nei documenti PDF complessi (con tabelle, layout a più colonne, immagini, ecc.), durante il processo di chunking (suddivisione) le informazioni possono andare perse o il contesto può essere distorto. Di conseguenza, dati importanti potrebbero non essere indicizzati oppure risultare difficili da ricercare.
- Assenza di un modello Fallback (Fallback Model(s)): quando il sistema RAG non riesce a trovare una risposta adeguata, la logica per passare a un modello alternativo (di backup) può essere insufficiente o inefficiente. Di conseguenza, quando la risposta non è disponibile, non viene fornita un’alternativa soddisfacente per l’utente.
- Vulnerabilità di sicurezza (LLM Security): la protezione contro le vulnerabilità di sicurezza dell’LLM stesso (prompt injection, fuga di dati, ecc.) può essere insufficiente, con il rischio di esporre informazioni sensibili.
- Scarsa scalabilità (Data Ingestion Scalability): durante l’indicizzazione e l’archiviazione di grandi volumi di dati possono verificarsi problemi di scalabilità. All’aumentare della quantità di dati, la velocità di chunking, archiviazione e ricerca diminuisce e il carico sul sistema aumenta.
- Perdita di informazioni importanti (Missing Content): spesso contenuti importanti dei documenti vengono persi durante il processo di chunking o non vengono indicizzati. Di conseguenza, gli utenti non riescono a trovare le informazioni desiderate.
- Mancanza dei risultati ai primi posti (Missed Top Ranked): nei risultati di ricerca potrebbe mancare il chunk effettivamente più pertinente (ai primi posti). Le cause includono i limiti dell’algoritmo di ricerca, la scarsa qualità degli embedding e gli errori di ranking.
- Incoerenza del contesto (Not in Context): spesso il chunk recuperato non è coerente con il contesto effettivo della domanda. A causa dei limiti della ricerca basata esclusivamente sulla similarità, la connessione semantica può essere insufficiente.
- Formato errato (Wrong Format): il formato del chunk recuperato potrebbe non essere adatto all’elaborazione da parte dell’LLM oppure potrebbe differire dal formato di risposta desiderato dall’utente. Ad esempio, una tabella può essere convertita in testo, distorcendo le informazioni.
- Estrazione delle informazioni non riuscita (Not Extracted): le informazioni necessarie potrebbero non essere estratte correttamente dal chunk oppure l’LLM potrebbe non riuscire a riconoscerle. Questo accade frequentemente con strutture sintattiche complesse, tabelle, immagini, ecc.
- Specificità delle informazioni non adeguata (Incorrect Specificity): la risposta può essere troppo generica o, al contrario, eccessivamente specifica rispetto alla domanda e quindi non soddisfare le effettive esigenze dell’utente. È difficile regolare l’ampiezza e il livello di dettaglio delle informazioni.
- Risposta incompleta (Incomplete): la risposta generata in definitiva può essere incompleta o fornire solo alcune informazioni, senza soddisfare pienamente le esigenze dell’utente. Le cause possono essere l’incapacità di aggregare le informazioni provenienti da più chunk oppure l’utilizzo parziale delle informazioni da parte dell’LLM.
Poiché la RAG dipende eccessivamente dalla ricerca basata sulla semplice similarità vettoriale e dall’indicizzazione basata su chunk, presenta limiti evidenti in termini di affidabilità, scalabilità e accuratezza nell’uso aziendale reale.
2. Il database semantico di CLEVI, che supera i limiti della RAG
Per superare questi limiti, CLEVI ha sviluppato un’infrastruttura di conoscenza AI di nuova generazione ottimizzata per le connessioni semantiche, il ragionamento complesso e le risposte basate su evidenze, ovvero Clevi Semantic Database.
È una soluzione resa possibile dal possesso di modelli di Reasoning proprietari, AI multimodale e modelli di AI agentica, e rappresenta una delle potenti tecnologie esclusive di CLEVI che rendono l’AI realmente utile nel mondo reale.
Per fare un’analogia, se il database in cui sono archiviate le informazioni fosse una biblioteca, il database semantico di CLEVI sarebbe come avere un bibliotecario eccezionale. (Chiedendo al bibliotecario le informazioni necessarie, è possibile ricevere risposte accurate e rapide.)
Gli utenti possono aggiungere nuove informazioni alla biblioteca e recuperare quelle necessarie in qualsiasi momento.
Inoltre, è possibile configurare liberamente la gestione delle versioni dei dati e i relativi diritti di accesso.
Poiché tutte le azioni del bibliotecario vengono conservate nei log (registri), è possibile correggere eventuali errori.
<Clevi Semantic Database Structure>
Caratteristiche principali e struttura tecnologica
Archiviazione semantica dei dati
- Archivia le relazioni semantiche tra i dati (contesto, gerarchia, causalità, ecc.) in un database a grafo, anziché in un semplice database vettoriale basato su chunk
- Facile da estendere e integrare in forma di knowledge graph/rete semantica
Ricerca e ragionamento ibridi
- CTA+Context Query: riflette congiuntamente il contesto (Context) della query e la CTA
- Hybrid Retrieval: combina la similarità vettoriale con la ricerca basata su regole/grafi
- Intelligent Folder Hits: esplora automaticamente cartelle/categorie semanticamente correlate
Elaborazione multimodale simultanea
- Interpreta simultaneamente diversi tipi di dati, tra cui testo, immagini, tabelle e audio, tramite TextReader Pool, VisionReader Pool, ecc.
- Mentre la RAG tradizionale può elaborare principalmente solo testo, il database semantico eccelle nelle capacità di elaborazione multimodale
Risposte basate su evidenze e verifica dell’affidabilità
- Riepiloghi e citazioni dei documenti, generazione automatica di risultati tabellari
- Unione e verifica: integrazione semantica delle informazioni provenienti da più fonti e verifica dell’affidabilità
- Pacchetto di evidenze: fornitura di pacchetti di risposte basate su elementi di prova
Ragionamento complesso e planner
- Planner/DAG: pianificazione passo dopo passo e ragionamento basato su DAG (Directed Acyclic Graph) per query complesse
Architettura di agenti integrati
- Supervisor cip-5-agent: agente di livello superiore che gestisce e coordina l’intero processo di ricerca, ragionamento e integrazione
3. Riepilogo e confronto della struttura
In sintesi, il Semantic DB riceve dati in varie forme (voce, testo, immagini, video, ecc.) e classifica le conoscenze collegando non solo semplici chunk, ma anche le relazioni semantiche tra i dati (contesto, gerarchia, causalità, ecc.).
Su questa base, consente di effettuare ricerche e ragionamenti utilizzando connessioni semantiche, anziché ricerche basate su parole chiave o similarità come nel caso del RAG, permettendo così di ottenere dall’AI informazioni e risposte più accurate.
Inoltre, poiché i dati vengono archiviati sotto forma di grafi della conoscenza o reti semantiche, è facile ampliarli e integrarli continuamente.
Noi di Clevi abbiamo individuato i limiti dei sistemi RAG nell’era della trasformazione radicale dell’AI e, attraverso un database semantico e modelli AI proprietari in grado di risolverli, ora possiamo fornire ai clienti dati più accurati e affidabili in tempi rapidi.
Il sistema AI di Clevi può valorizzare i dati preziosi dei clienti in qualsiasi ambiente, indipendentemente dal settore di appartenenza.
Anche in futuro, Clevi continuerà a impegnarsi al massimo per massimizzare il valore dei dati dei clienti e offrire esperienze AI innovative.
Scoprite il futuro della nuova AI insieme a Clevi.
Richieste di informazioni e demo: [email protected]
Copyright© 2025 Clevi Inc. Tutti i diritti riservati.