1. ข้อจำกัดของ Catastrophic Forgetting และ RAG
หนึ่งในข้อกังวลสำคัญเมื่อมีการนำ AI มาใช้ในงานจริง คือปรากฏการณ์ การลืมอย่างรุนแรง (Catastrophic Forgetting) ที่เกิดขึ้นเมื่อฟайнจูนความรู้ที่เรียนรู้มาเดิมด้วยข้อมูลใหม่
นี่คือปรากฏการณ์ที่ AI ซึ่งใช้โครงข่ายประสาทเทียมสูญเสียความรู้หรือรูปแบบที่เคยเรียนรู้อย่างรวดเร็วในระหว่างกระบวนการเรียนรู้ข้อมูลใหม่
ตัวอย่างเช่น เมื่อฟাইনจูน LLM แบบโอเพนซอร์สด้วยข้อมูลเฉพาะขององค์กร ความรู้ทั่วไปหรือความสามารถทางภาษาอาจลดลงได้
เพื่อหลีกเลี่ยงปัญหานี้ จึงมีการใช้เทคโนโลยี RAG(Retrieval-Augmented Generation) อย่างแพร่หลาย แต่ RAG เองก็มีข้อจำกัดเช่นกัน
ข้อจำกัดสำคัญของ RAG
- การประมวลผลข้อมูลแบบมีโครงสร้างไม่เพียงพอ (Structured Data QA): ระบบ RAG ได้รับการปรับให้เหมาะกับเอกสารข้อความที่ไม่มีโครงสร้างเป็นหลัก จึงไม่สามารถทำความเข้าใจหรือนำความหมายและความสัมพันธ์ของข้อมูลแบบมีโครงสร้าง (ตาราง ฐานข้อมูล สเปรดชีต เป็นต้น) ไปใช้ได้อย่างถูกต้อง
- ข้อจำกัดของ PDF ที่ซับซ้อน/เอกสารที่ไม่มีโครงสร้าง (Complex PDFs): เอกสาร PDF ที่ซับซ้อน (เช่น มีตาราง หลายคอลัมน์ รูปภาพ เป็นต้น) อาจทำให้ข้อมูลสูญหายหรือบริบทผิดเพี้ยนในกระบวนการ chunking (การแบ่งส่วน) ส่งผลให้ข้อมูลสำคัญไม่ได้รับการทำดัชนีหรือค้นหาได้ยาก
- ไม่มีโมเดล Fallback (โมเดลสำรอง) (Fallback Model(s)): เมื่อระบบ RAG ไม่สามารถค้นหาคำตอบที่เหมาะสมได้ ตรรกะในการเปลี่ยนไปใช้โมเดลทดแทน (สำรอง) อาจมีไม่เพียงพอหรือไม่มีประสิทธิภาพ ส่งผลให้เมื่อการตอบคำถามล้มเหลว ระบบไม่สามารถมอบทางเลือกที่ผู้ใช้พึงพอใจได้
- ช่องโหว่ด้านความปลอดภัย (LLM Security): การป้องกันช่องโหว่ด้านความปลอดภัยของ LLM เอง (เช่น prompt injection การรั่วไหลของข้อมูล เป็นต้น) ยังไม่เพียงพอ จึงมีความเสี่ยงที่ข้อมูลละเอียดอ่อนจะถูกเปิดเผย
- ขาดความสามารถในการปรับขนาด (Data Ingestion Scalability): เกิดปัญหาด้านความสามารถในการปรับขนาดระหว่างการทำดัชนีและจัดเก็บข้อมูลปริมาณมาก ยิ่งข้อมูลมีจำนวนมากขึ้น ความเร็วในการ chunking การจัดเก็บ และการค้นหาจะลดลง และภาระของระบบจะเพิ่มขึ้น
- ข้อมูลสำคัญสูญหาย (Missing Content): เนื้อหาสำคัญในเอกสารมักสูญหายระหว่างกระบวนการ chunking หรือไม่ได้รับการทำดัชนี ส่งผลให้ผู้ใช้ไม่สามารถค้นหาข้อมูลที่ต้องการได้
- ข้อมูลอันดับต้น ๆ ตกหล่น (Missed Top Ranked): chunk ที่มีความเกี่ยวข้องสูงสุดจริง ๆ (อันดับต้น ๆ) อาจตกหล่นจากผลการค้นหา สาเหตุอาจมาจากข้อจำกัดของอัลกอริทึมการค้นหา คุณภาพของ embedding ที่ลดลง หรือข้อผิดพลาดในการจัดอันดับ
- บริบทไม่สอดคล้องกัน (Not in Context): chunk ที่ค้นพบมักไม่สอดคล้องกับบริบทที่แท้จริงของคำถาม เนื่องจากข้อจำกัดของการค้นหาที่อิงความคล้ายคลึงเพียงอย่างเดียว ทำให้การเชื่อมโยงทางความหมายไม่เพียงพอ
- รูปแบบไม่ถูกต้อง (Wrong Format): รูปแบบของ chunk ที่ค้นพบอาจไม่เหมาะสมสำหรับการประมวลผลโดย LLM หรือแตกต่างจากรูปแบบคำตอบที่ผู้ใช้ต้องการ ตัวอย่างเช่น ตารางถูกแปลงเป็นข้อความ ทำให้ข้อมูลผิดเพี้ยน เป็นต้น
- การดึงข้อมูลล้มเหลว (Not Extracted): ข้อมูลที่จำเป็นอาจไม่ถูกดึงออกจาก chunk อย่างถูกต้อง หรือ LLM ไม่สามารถรับรู้ข้อมูลได้ มักเกิดขึ้นกับโครงสร้างประโยคที่ซับซ้อน ตาราง รูปภาพ เป็นต้น
- ขอบเขต/ระดับความลึกของข้อมูลไม่เหมาะสม (Incorrect Specificity): คำตอบอาจครอบคลุมกว้างเกินไปสำหรับคำถาม หรือในทางกลับกันอาจเฉพาะเจาะจงมากเกินไป จนไม่ตรงกับความต้องการที่แท้จริงของผู้ใช้ ทำให้ยากต่อการปรับขอบเขตและระดับความลึกของข้อมูล
- คำตอบไม่สมบูรณ์ (Incomplete): คำตอบที่สร้างขึ้นในขั้นสุดท้ายอาจไม่สมบูรณ์ หรือให้ข้อมูลเพียงบางส่วน จึงไม่สามารถตอบสนองความต้องการของผู้ใช้ได้อย่างเพียงพอ สาเหตุอาจมาจากการไม่สามารถรวบรวมข้อมูลจากหลาย chunk หรือ LLM นำข้อมูลไปใช้เพียงบางส่วน
ด้วยเหตุนี้ เนื่องจาก RAG พึ่งพาการค้นหาความคล้ายคลึงของเวกเตอร์แบบง่ายและการจัดทำดัชนีแบบ chunk มากเกินไป จึงมีข้อจำกัดอย่างชัดเจนในด้านความน่าเชื่อถือ ความสามารถในการขยายระบบ และความแม่นยำเมื่อนำไปใช้ในงานจริง
2. ฐานข้อมูลเชิงความหมายของ CLEVI ที่ก้าวข้ามข้อจำกัดของ RAG
เพื่อก้าวข้ามข้อจำกัดเหล่านี้ CLEVI ได้พัฒนา โครงสร้างพื้นฐานความรู้ AI รุ่นถัดไปที่ได้รับการปรับให้เหมาะกับการเชื่อมโยงเชิงความหมาย การอนุมานที่ซับซ้อน และคำตอบที่มีหลักฐานอ้างอิง นั่นคือ Clevi Semantic Database
นี่คือโซลูชันที่เป็นไปได้เพราะเรามีทั้งโมเดล Reasoning ของเราเอง, AI แบบมัลติโมดัล และโมเดล AI แบบเอเจนต์ และยังเป็นหนึ่งในเทคโนโลยีอันทรงพลังที่เป็นเอกลักษณ์ของ CLEVI ซึ่งทำให้ AI สามารถช่วยเหลือได้จริงในโลกความเป็นจริง
หากเปรียบฐานข้อมูลที่จัดเก็บข้อมูลไว้เป็นห้องสมุด ฐานข้อมูลเชิงความหมายของ CLEVI ก็เปรียบเสมือนการมีบรรณารักษ์ที่ยอดเยี่ยมอยู่ในห้องสมุด (เมื่อขอข้อมูลที่ต้องการจากบรรณารักษ์ ก็จะได้รับคำตอบที่ถูกต้องและรวดเร็ว)
ผู้ใช้สามารถเพิ่มข้อมูลใหม่ลงในห้องสมุดและเรียกดูข้อมูลที่ต้องการได้ทุกเมื่อ
นอกจากนี้ ยังสามารถกำหนดการจัดการเวอร์ชันของข้อมูลและสิทธิ์การเข้าถึงได้ตามต้องการ
การดำเนินการทั้งหมดของบรรณารักษ์จะถูกบันทึกไว้ในล็อก (บันทึก) ดังนั้นแม้เกิดข้อผิดพลาด ก็ยังสามารถแก้ไขได้
<Clevi Semantic Database Structure>
คุณลักษณะสำคัญและโครงสร้างทางเทคนิค
การจัดเก็บข้อมูลเชิงความหมาย
- จัดเก็บความสัมพันธ์เชิงความหมายระหว่างข้อมูล (บริบท ลำดับชั้น ความเป็นเหตุเป็นผล เป็นต้น) ในกราฟ DB แทนการใช้ vectorDB แบบ chunk อย่างง่าย
- สามารถขยายและเสริมข้อมูลได้ง่ายในรูปแบบกราฟความรู้/เครือข่ายเชิงความหมาย
การค้นหาและการอนุมานแบบไฮบริด
- CTA+Context Query: พิจารณาบริบท (Context) ของคำค้นหาและ CTA ร่วมกัน
- Hybrid Retrieval: ผสานการค้นหาตามความคล้ายคลึงของเวกเตอร์เข้ากับการค้นหาตามกฎ/กราฟ
- Intelligent Folder Hits: ค้นหาโฟลเดอร์/หมวดหมู่ที่มีความเกี่ยวข้องเชิงความหมายโดยอัตโนมัติ
การประมวลผลข้อมูลหลายรูปแบบพร้อมกัน
- ตีความข้อมูลหลากหลายประเภทพร้อมกัน เช่น ข้อความ รูปภาพ ตาราง และเสียง ผ่าน TextReader Pool, VisionReader Pool เป็นต้น
- ในขณะที่ RAG แบบเดิมสามารถประมวลผลได้ בעיקרเพียงข้อความ ฐานข้อมูลเชิงความหมายมีความสามารถในการประมวลผลข้อมูลหลายรูปแบบได้อย่างโดดเด่น
คำตอบที่มีหลักฐานอ้างอิงและการตรวจสอบความน่าเชื่อถือ
- Doc Summaries & Citations, Table Findings และการสร้างบทสรุปเอกสารและแหล่งที่มาโดยอัตโนมัติ
- Merge & Verify: การผสานรวมข้อมูลจากหลายแหล่งในเชิงความหมายและการตรวจสอบความน่าเชื่อถือ
- Evidence Pack: การจัดทำแพ็กเกจคำตอบที่อ้างอิงหลักฐาน
การให้เหตุผลที่ซับซ้อนและแพลนเนอร์
- Planner/DAG: การวางแผนเป็นขั้นตอนและการให้เหตุผลโดยอิง DAG(Directed Acyclic Graph) สำหรับคำค้นหาที่ซับซ้อน
โครงสร้างเอเจนต์แบบบูรณาการ
- cip-5-agent Supervisor: เอเจนต์ระดับสูงสุดที่จัดการและประสานกระบวนการค้นหา/การให้เหตุผล/การบูรณาการทั้งหมด
3. สรุปและเปรียบเทียบโครงสร้าง
กล่าวโดยสรุป Semantic DB รับข้อมูลในรูปแบบต่าง ๆ (เสียง ข้อความ รูปภาพ วิดีโอ เป็นต้น) และจัดหมวดหมู่ความรู้โดยเชื่อมโยงไม่เพียงแค่ Chunk แต่ยังรวมถึงความสัมพันธ์เชิงความหมายระหว่างข้อมูล (บริบท ลำดับชั้น เหตุและผล เป็นต้น)
ด้วยเหตุนี้ จึงสามารถค้นหาและให้เหตุผลโดยใช้การเชื่อมโยงเชิงความหมาย แทนการค้นหาที่อิงคีย์เวิร์ด/ความคล้ายคลึงเช่น RAG ทำให้ AI สามารถให้การค้นคืนข้อมูลและคำตอบที่แม่นยำยิ่งขึ้น
นอกจากนี้ เนื่องจากข้อมูลถูกจัดเก็บในรูปแบบกราฟความรู้/เครือข่ายเชิงความหมาย จึงง่ายต่อการขยายและปรับปรุงอย่างต่อเนื่อง
CLEVI ค้นพบข้อจำกัดของระบบ RAG ในยุคแห่งการเปลี่ยนผ่านสู่ AI และด้วย Semantic Database และโมเดล AI ที่พัฒนาขึ้นเองซึ่งสามารถแก้ไขข้อจำกัดเหล่านี้ได้ เราจึงสามารถตอบสนองข้อมูลที่แม่นยำและน่าเชื่อถือยิ่งขึ้นแก่ลูกค้าได้อย่างรวดเร็ว
ระบบ AI ของ CLEVI สามารถสร้างคุณค่าให้กับข้อมูลอันล้ำค่าของลูกค้าได้ในทุกสภาพแวดล้อม โดยไม่ขึ้นอยู่กับประเภทของโดเมน
CLEVI จะยังคงมุ่งมั่นอย่างเต็มที่เพื่อเพิ่มคุณค่าให้กับข้อมูลของลูกค้าและมอบประสบการณ์ AI ที่เป็นนวัตกรรมต่อไป
ขอเชิญสัมผัสอนาคตใหม่ของ AI ไปพร้อมกับ CLEVI
สอบถามข้อมูลและขอเดโม: [email protected]
Copyright© 2025 Clevi Inc. All rights reserved.