Clevi சொற்பொருள் தரவுத்தளம்

1. Catastrophic Forgetting மற்றும் RAG-ன் வரம்புகள்

AI நடைமுறைப் பணிகளில் அறிமுகப்படுத்தப்படும்போது, ஏற்கனவே கற்றறிந்த அறிவை புதிய தரவைக் கொண்டு ஃபைன்-ட்யூனிங் செய்யும் போது ஏற்படும் பேரழிவு மறதி (Catastrophic Forgetting) நிகழ்வு மிகப்பெரிய கவலைகளில் ஒன்றாகும்.

இது நரம்பியல் வலையமைப்பை அடிப்படையாகக் கொண்ட AI புதிய தகவல்களைக் கற்றுக்கொள்ளும் செயல்முறையில், முன்பு கற்றறிந்த அறிவையோ வடிவங்களையோ திடீரென இழக்கும் நிகழ்வாகும்.

எடுத்துக்காட்டாக, திறந்த மூல LLM-ஐ குறிப்பிட்ட நிறுவனத் தரவைப் பயன்படுத்தி ஃபைன்-ட்யூனிங் செய்தால், பொதுவான அறிவு அல்லது மொழித் திறன் குறையக்கூடும்.

இந்தச் சிக்கலைத் தவிர்க்க RAG(Retrieval-Augmented Generation) தொழில்நுட்பம் பரவலாகப் பயன்படுத்தப்பட்டாலும், RAG-க்கும் வரம்புகள் உள்ளன.

RAG-ன் முக்கிய வரம்புகள்

• கட்டமைக்கப்பட்ட தரவு செயலாக்கத்தில் குறைபாடு (Structured Data QA): RAG அமைப்புகள் பெரும்பாலும் கட்டமைக்கப்படாத உரை ஆவணங்களுக்கு உகந்தவையாக இருப்பதால், கட்டமைக்கப்பட்ட தரவுகளின் (அட்டவணைகள், தரவுத்தளங்கள், விரிதாள்கள் போன்றவை) பொருள் மற்றும் தொடர்புகளைச் சரியாகப் புரிந்துகொள்ளவோ பயன்படுத்தவோ முடியாது.
• சிக்கலான PDF/கட்டமைக்கப்படாத ஆவணங்களின் வரம்புகள் (Complex PDFs): சிக்கலான PDF ஆவணங்களில் (அட்டவணைகள், பல நெடுவரிசைகள், படங்கள் உள்ளிட்டவை) chunking(பகுத்தல்) செயல்முறையின்போது தகவல்கள் விடுபடலாம் அல்லது சூழல் சிதைக்கப்படலாம். இதனால் முக்கியமான தரவு index செய்யப்படாமல் போகலாம் அல்லது தேடுவது கடினமாகலாம்.
• Fallback(காப்பு) மாதிரி இல்லாமை (Fallback Model(s)): RAG அமைப்பால் பொருத்தமான பதிலைக் கண்டறிய முடியாதபோது, மாற்று (காப்பு) மாதிரிக்கு மாறுவதற்கான தர்க்கம் போதுமானதாகவோ திறமையானதாகவோ இல்லை. இதனால் பதில் தோல்வியடையும் போது பயனருக்கு திருப்திகரமான மாற்று வழங்கப்படாது.
• பாதுகாப்பு பாதிப்புகள் (LLM Security): LLM-இன் சொந்த பாதுகாப்பு பாதிப்புகளுக்கு (prompt injection, தரவு கசிவு போன்றவை) எதிரான பாதுகாப்பு போதுமானதாக இல்லாததால், முக்கியமான தகவல்கள் வெளிப்படும் அபாயம் உள்ளது.
• அளவீட்டுத் திறன் குறைபாடு (Data Ingestion Scalability): அதிக அளவிலான தரவை index செய்து சேமிக்கும் செயல்முறையில் அளவீட்டுத் திறன் தொடர்பான சிக்கல்கள் ஏற்படுகின்றன. தரவின் அளவு அதிகரிக்கும்போது chunking, சேமிப்பு மற்றும் தேடல் வேகம் குறைந்து, அமைப்பின் சுமை அதிகரிக்கிறது.
• முக்கியமான தகவல்கள் விடுபடுதல் (Missing Content): ஆவணத்தில் உள்ள முக்கியமான உள்ளடக்கம் chunking செயல்முறையின்போது விடுபடுவது அல்லது index செய்யப்படாமல் இருப்பது அடிக்கடி நிகழ்கிறது. இதனால் பயனர்கள் விரும்பிய தகவலைத் தேடிக் கண்டறிய முடியாது.
• மேல் தரவரிசை விடுபடுதல் (Missed Top Ranked): தேடல் முடிவுகளில் உண்மையில் மிகவும் தொடர்புடைய chunk(மேல் தரவரிசை) விடுபடலாம். தேடல் அல்காரிதத்தின் வரம்புகள், embedding தரக் குறைபாடு மற்றும் தரவரிசைப் பிழைகள் ஆகியவை காரணங்களாகும்.
• சூழல் பொருந்தாமை (Not in Context): தேடப்பட்ட chunk உண்மையான கேள்வியின் சூழலுடன் பொருந்தாமல் இருப்பது அடிக்கடி நிகழ்கிறது. எளிய ஒற்றுமை அடிப்படையிலான தேடலின் வரம்புகளால், பொருள் சார்ந்த தொடர்பு குறைவாக உள்ளது.
• வடிவமைப்புப் பிழை (Wrong Format): தேடப்பட்ட chunk-இன் வடிவம் LLM செயலாக்கத்துக்கு பொருத்தமற்றதாகவோ அல்லது பயனர் விரும்பும் பதில் வடிவத்திலிருந்து மாறுபட்டதாகவோ இருக்கலாம். உதாரணமாக, அட்டவணை உரையாக மாற்றப்பட்டு தகவல் சிதைவது போன்றவை.
• தகவல் பிரித்தெடுப்பில் தோல்வி (Not Extracted): தேவையான தகவல் chunk-இலிருந்து சரியாகப் பிரித்தெடுக்கப்படாமல் இருக்கலாம் அல்லது LLM தகவலை அடையாளம் காணாமல் போகலாம். சிக்கலான வாக்கிய அமைப்புகள், அட்டவணைகள் மற்றும் படங்களில் இது அடிக்கடி நிகழ்கிறது.
• தகவல் வரம்பு/ஆழம் பொருத்தமின்மை (Incorrect Specificity): கேள்விக்கான பதில் மிகவும் பொதுவானதாகவோ அல்லது மாறாக அளவுக்கு அதிகமாகக் குறிப்பிட்டதாகவோ இருந்து, பயனரின் உண்மையான தேவையுடன் பொருந்தாமல் இருக்கலாம். தகவலின் வரம்பையும் ஆழத்தையும் சரிசெய்வது கடினமாகும்.
• முழுமையற்ற பதில் (Incomplete): இறுதியாக உருவாக்கப்பட்ட பதில் முழுமையற்றதாக இருக்கலாம் அல்லது சில தகவல்கள் மட்டுமே வழங்கப்படுவதால் பயனரின் தேவையை முழுமையாகப் பூர்த்தி செய்யாமல் இருக்கலாம். பல chunk-களிலிருந்து தகவல்களை ஒருங்கிணைக்க முடியாமை அல்லது LLM அவற்றில் சிலவற்றை மட்டுமே பயன்படுத்துவது இதற்குக் காரணங்களாகும்.

இவ்வாறு, RAG எளிய வெக்டர் ஒற்றுமைத் தேடல் மற்றும் chunk அடிப்படையிலான அட்டவணைப்படுத்தலை அதிகமாகச் சார்ந்திருப்பதால், உண்மையான பணிச்சூழலில் நம்பகத்தன்மை, அளவிடத்தக்க தன்மை மற்றும் துல்லியம் ஆகியவற்றில் தெளிவான வரம்புகளைக் கொண்டுள்ளது.

2. RAG-இன் வரம்புகளைத் தாண்டிய CLEVI-யின் Semantic Database

இந்த வரம்புகளைத் தாண்டுவதற்காக, CLEVI பொருள் சார்ந்த இணைப்பு·சிக்கலான பகுத்தறிதல்·ஆதார அடிப்படையிலான பதில்கள் ஆகியவற்றிற்கு உகந்த அடுத்த தலைமுறை AI அறிவு உள்கட்டமைப்பான Clevi Semantic Database-ஐ உருவாக்கியுள்ளது.

தனக்கென Reasoning மாதிரிகள், மல்டிமோடல் AI மற்றும் Agentic AI மாதிரிகள் அனைத்தையும் கொண்டிருப்பதால் சாத்தியமாகும் இந்தத் தீர்வு, AI உண்மையான உலகில் உண்மையாக உதவக்கூடியதாக மாற்றும் CLEVI-யின் தனித்துவமான சக்திவாய்ந்த தொழில்நுட்பங்களில் ஒன்றாகும்.

ஒப்புமையாகக் கூறினால், தகவல்கள் சேமிக்கப்பட்டுள்ள தரவுத்தளத்தை ஒரு நூலகம் எனக் கருதும்போது, CLEVI-யின் Semantic Database-இல் மிகவும் திறமையான ஒரு நூலகர் இருப்பதாகக் கருதலாம். (நூலகரிடம் தேவையான தகவலைக் கேட்டால், துல்லியமான மற்றும் விரைவான பதிலைப் பெறலாம்.)

பயனர்கள் எப்போது வேண்டுமானாலும் நூலகத்தில் புதிய தகவல்களைச் சேர்க்கவும், தேவையான தகவல்களைப் பெறவும் முடியும்.

மேலும், தரவின் பதிப்பு நிர்வாகத்தையும் அணுகல் அனுமதிகளையும் விருப்பத்திற்கேற்ப அமைக்கலாம்.

நூலகரின் அனைத்து செயல்களும் பதிவு (லாக்) ஆகச் சேமிக்கப்படுவதால், தவறு ஏற்பட்டாலும் அதைத் திருத்த முடியும்.

<Clevi Semantic Database Structure>

முக்கிய அம்சங்கள் மற்றும் தொழில்நுட்ப அமைப்பு

பொருள் சார்ந்த தரவுச் சேமிப்பு

• எளிய chunk வெக்டர் DB அல்லாமல், தரவுகளுக்கிடையிலான பொருள் சார்ந்த உறவுகளை (சூழல், படிநிலை, காரணம் உள்ளிட்டவை) graph DB-யில் சேமித்தல்
• அறிவு வரைபடம்/semantic network வடிவில் விரிவுபடுத்தவும் மேம்படுத்தவும் எளிதானது

கலப்பினத் தேடல் மற்றும் பகுத்தறிதல்

• CTA+Context Query: கேள்வியின் சூழலையும் (Context) CTA-வையும் ஒருங்கிணைத்துப் பிரதிபலித்தல்
• Hybrid Retrieval: வெக்டர் ஒற்றுமை + விதி/வரைபட அடிப்படையிலான தேடலை இணைத்தல்
• Intelligent Folder Hits: பொருள் சார்ந்து தொடர்புடைய கோப்புறைகள்/வகைகளைத் தானாகக் கண்டறிதல்

மல்டிமோடல் ஒரேநேர செயலாக்கம்

• TextReader Pool, VisionReader Pool உள்ளிட்ட உரை, படம், அட்டவணை, குரல் போன்ற பல்வேறு தரவுகளை ஒரேநேரத்தில் விளக்குதல்
• தற்போதைய RAG பெரும்பாலும் உரையை மட்டுமே செயலாக்க முடியும் நிலையில், Semantic Database சிறந்த மல்டிமோடல் செயலாக்கத் திறனைக் கொண்டுள்ளது

ஆதார அடிப்படையிலான பதில்கள் மற்றும் நம்பகத்தன்மைச் சரிபார்ப்பு

• Doc Summaries & Citations, Table Findings போன்ற ஆவணச் சுருக்கங்கள் மற்றும் ஆதாரங்களைத் தானாக உருவாக்குதல்
• Merge & Verify: பல்வேறு மூலங்களிலிருந்து பெறப்பட்ட தகவல்களைப் பொருளடிப்படையில் ஒருங்கிணைத்து நம்பகத்தன்மையைச் சரிபார்த்தல்
• Evidence Pack: ஆதார அடிப்படையிலான பதில் தொகுப்பை வழங்குதல்

சிக்கலான பகுத்தறிவு மற்றும் திட்டமிடுபவர்

• Planner/DAG: சிக்கலான கேள்விகளுக்குப் படிப்படியான திட்டம் மற்றும் DAG(Directed Acyclic Graph) அடிப்படையிலான பகுத்தறிவு

ஒருங்கிணைந்த ஏஜென்ட் கட்டமைப்பு

• cip-5-agent Supervisor: ஒட்டுமொத்த தேடல்/பகுத்தறிவு/ஒருங்கிணைப்பு செயல்முறையை நிர்வகித்து ஒருங்கிணைக்கும் உயர்நிலை ஏஜென்ட்

3. கட்டமைப்புச் சுருக்கம் மற்றும் ஒப்பீடு

சுருக்கமாகக் கூறுவதானால், Semantic DB பல்வேறு வடிவங்களிலான (குரல், உரை, படம், வீடியோ போன்ற) தரவுகளை உள்ளீடாகப் பெற்று, அவற்றை வெறும் Chunk-களாக அல்லாமல், தரவுகளுக்கிடையிலான பொருள் சார்ந்த தொடர்புகளையும் (சூழல், படிநிலை, காரணம் போன்றவை) இணைத்து அறிவாக வகைப்படுத்துகிறது.

இதன் அடிப்படையில், RAG போல முக்கியச்சொல்/ஒற்றுமை அடிப்படையிலான தேடலுக்குப் பதிலாக, பொருள் சார்ந்த தொடர்புகளைப் பயன்படுத்தி தேடலும் பகுத்தறிதலும் மேற்கொள்ளப்படுவதால், AI-யிடமிருந்து மிகவும் துல்லியமான தகவல் தேடல் மற்றும் பதில்களைப் பெற முடியும்.

மேலும், அறிவு வரைபடம்/சொற்பொருள் வலைப்பின்னல் வடிவில் சேமிக்கப்படுவதால், அதைத் தொடர்ந்து விரிவுபடுத்தவும் மேம்படுத்தவும் எளிதாக இருக்கும்.

AI மாற்றத்தின் காலத்தில், RAG அமைப்புகளின் வரம்புகளை எங்கள் CLEVI கண்டறிந்து, அவற்றைத் தீர்க்கக்கூடிய சொற்பொருள் தரவுத்தளம் மற்றும் தனித்துவமான AI மாதிரியின் மூலம், வாடிக்கையாளர்களுக்கு மிகவும் துல்லியமான மற்றும் நம்பகமான தரவுகளுக்கான பதில்களை விரைவாக வழங்க முடிகிறது.

எங்கள் CLEVI AI அமைப்பு எந்தச் சூழலிலும், எந்தத் துறையாக இருந்தாலும், வாடிக்கையாளர்களின் மதிப்புமிக்க தரவைப் பயனுள்ளதாக்க முடியும்.

இனியும், வாடிக்கையாளர்களின் தரவு கொண்டுள்ள மதிப்பை அதிகப்படுத்தவும், புதுமையான AI அனுபவத்தை வழங்கவும் CLEVI எங்களால் முடிந்த அனைத்தையும் செய்யும்.

CLEVI உடன் புதிய AI எதிர்காலத்தை அனுபவிக்க உங்களை அழைக்கிறோம்.

விசாரணைகள் மற்றும் டெமோ கோரிக்கைகள்: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.