From-scratch Foundation Model CLEVI AI(ivy)

“บริษัทขนาดเล็กสามารถสร้างโมเดลภาษาขนาดใหญ่ระดับชั้นนำของโลกได้อย่างไร?”

บริษัทสตาร์ทอัปขนาดเล็กสร้างโมเดลภาษาขนาดใหญ่ได้อย่างไร?

นี่คือคำถามที่ CLEVI ได้รับมากที่สุดหลังจากเปิดตัว Foundation model ขนาด 1.4 ล้านล้านพารามิเตอร์

แตกต่างจากบริษัทจำนวนมากที่เพียงแค่ทำไฟน์จูนโมเดลโอเพนซอร์ส CLEVI ดำเนินการทุกขั้นตอนด้วยตนเอง ตั้งแต่การรวบรวมข้อมูล การออกแบบโมเดล การฝึกแบบกระจายขนาดใหญ่ ไปจนถึงการตรวจสอบคุณภาพ

เราจะแนะนำเคล็ดลับและความสามารถในการแข่งขันดังกล่าวโดยละเอียดด้านล่าง

1. บริษัทขนาดเล็กสร้างโมเดลภาษาขนาดใหญ่ได้อย่างไร?

เมื่อ CLEVI เปิดตัวโมเดลภาษาขนาดใหญ่ที่พัฒนาขึ้นเองสู่ตลาดในเดือนกรกฎาคม 2025 ลูกค้า (ผู้ใช้) จำนวนมากต่างแสดงความประหลาดใจและข้อสงสัย “พัฒนาเองจริงหรือ?” “ไม่ได้แค่ปรับเปลี่ยนโมเดลโอเพนซอร์สเล็กน้อยใช่ไหม?”

ในความเป็นจริง บริษัทจำนวนมากทั้งในประเทศและต่างประเทศเพียงแค่ทำการเรียนรู้แบบถ่ายโอน (fine-tuning) โมเดลโอเพนซอร์ส และประชาสัมพันธ์ว่าเป็นโมเดลของตนเอง

แต่ CLEVI ชูจุดเด่นของ **‘From-scratch Foundation Model’**

กล่าวคือ ออกแบบและดำเนินการทุกขั้นตอนด้วยตนเอง ตั้งแต่การรวบรวมข้อมูล การออกแบบโมเดล การฝึกแบบกระจายขนาดใหญ่ ไปจนถึงการตรวจสอบคุณภาพ

2. เหตุผลที่การพัฒนาโมเดลภาษาขนาดใหญ่เป็นเรื่องยาก

ในการฝึก From-Scratch Foundation Model จำเป็นต้องจัดเตรียมและเรียนรู้หัวข้อต่อไปนี้ทั้งหมด

จำเป็นต้องมีชุดข้อมูลคุณภาพสูงขนาดใหญ่

• ความหลากหลาย: ครอบคลุมภาษา โดเมน และรูปแบบที่หลากหลาย (เช่น ข้อความ รูปภาพ)
• การทำความสะอาด: กำจัดสัญญาณรบกวน ควบคุมคุณภาพ และกรองข้อมูลซ้ำ/ข้อมูลที่เป็นอันตราย
• ใบอนุญาต: ทำให้ลิขสิทธิ์และสิทธิ์การใช้ข้อมูลมีความชัดเจน

โครงสร้างพื้นฐานด้านการประมวลผลขนาดใหญ่

• คลัสเตอร์ GPU/TPU ประสิทธิภาพสูง: รวมอุปกรณ์จำนวนหลายพันถึงหลายหมื่นโหนดเพื่อรองรับการฝึกแบบกระจายข้อมูลปริมาณมาก
• เฟรมเวิร์กการฝึกแบบกระจายที่มีประสิทธิภาพ: เช่น DeepSpeed, Megatron-LM และ Ray
• พื้นที่จัดเก็บข้อมูล/เครือข่าย: รองรับการรับส่งข้อมูลปริมาณมากและสภาพแวดล้อมเครือข่ายความเร็วสูง

การออกแบบสถาปัตยกรรมโมเดล

• สะท้อนโครงสร้างล่าสุด: Transformer, MoE(Mixture of Experts), มัลติโมดัล เป็นต้น
• ความสามารถในการปรับขนาด: พิจารณาความสามารถในการขยาย เช่น จำนวนพารามิเตอร์ จำนวนเลเยอร์ ความยาวอินพุต เป็นต้น
• ประสิทธิภาพ: เพิ่มประสิทธิภาพความเร็วในการฝึก/อนุมานและการใช้หน่วยความจำ

กลยุทธ์และอัลกอริทึมการฝึก

• เป้าหมายการพรีเทรน: ภาษาศาสตร์โมเดล (เช่น next token prediction), มัลติโมดัล (เช่น contrastive learning) เป็นต้น
• เทคนิคการปรับให้เหมาะสม: mixed precision, gradient accumulation, learning rate schedule เป็นต้น
• การทำให้เป็นมาตรฐาน/การสร้างเสถียรภาพ: dropout, layer norm, weight decay เป็นต้น

ระบบการประเมินและการตรวจสอบ

• ชุด Benchmark: ใช้ชุดข้อมูลมาตรฐาน (Benchmarks)
• การประเมินภายใน: ประเมินโดยอิงจากสถานการณ์การใช้งานจริง
• การตรวจสอบอย่างต่อเนื่อง: ตรวจสอบคุณภาพ อคติ และความปลอดภัยระหว่าง/หลังการฝึก

บุคลากรและขีดความสามารถขององค์กร

• นักวิจัย AI/ML: ออกแบบโมเดลและพัฒนาอัลกอริทึม
• วิศวกรข้อมูล: รวบรวม/ทำความสะอาด/จัดการข้อมูล
• วิศวกรโครงสร้างพื้นฐาน: จัดการระบบแบบกระจาย คลาวด์/On-premises
• ผู้จัดการโครงการ: จัดการกำหนดการ งบประมาณ และคุณภาพ

ข้อพิจารณาด้านจริยธรรม กฎหมาย และความปลอดภัย

• จริยธรรม AI: อคติ ความปลอดภัย ความโปร่งใส ความรับผิดชอบ
• การปฏิบัติตามกฎหมาย: ข้อมูลส่วนบุคคล ลิขสิทธิ์ อธิปไตยด้านข้อมูล
• ความปลอดภัย: ป้องกันข้อมูล/โมเดลรั่วไหล และควบคุมการเข้าถึง

ปัจจุบัน บุคลากรด้านการวิจัย AI ทั่วโลกมีอยู่ประมาณ 2,000 คน และแม้แต่บุคลากรเหล่านี้ส่วนใหญ่ก็ยังกระจุกตัวอยู่ในบริษัทเทคโนโลยีขนาดใหญ่ เช่น META, Google และ XAI ทีมที่สามารถออกแบบและสร้าง Foundation Model ได้โดยตรงภายในประเทศ ตั้งแต่การรวบรวมข้อมูลไปจนถึงโครงสร้างพื้นฐานสำหรับการฝึกขนาดใหญ่ มีอยู่น้อยมาก

3. การสร้างโมเดลภาษาขนาดใหญ่มหึมาด้วยบุคลากรจำนวนน้อย

คุณอีฮวานโฮก่อตั้งบริษัท (CLEVI) เมื่อ 3 ปีก่อน โดยมีเป้าหมายที่จะ “สร้าง AI ที่ดีที่สุดในโลก” จากประสบการณ์การวิจัยด้าน Deep Learning และ Machine Learning มานานกว่า 10 ปี

บริษัทได้สั่งสมขีดความสามารถที่จำเป็นต่อการพัฒนา Foundation Model ด้วยการออกแบบทุกกระบวนการด้วยตนเอง ตั้งแต่การสร้าง Data Pipeline ของบริษัท การออกแบบโครงสร้างพื้นฐาน Deep Learning แบบกระจายขนาดใหญ่ การพัฒนาสถาปัตยกรรมโมเดล ไปจนถึงการตรวจสอบคุณภาพ

จากการฝึกโมเดลหลายครั้ง ปัจจุบันเรามีโมเดล Clevi-5-x ที่สามารถเทียบเคียงกับโมเดลระดับแนวหน้าของโลกได้

เพื่อฝึกโมเดลภาษาขนาดใหญ่พิเศษอย่างมีประสิทธิภาพ จำเป็นต้องมีโครงสร้างพื้นฐานที่เชื่อมต่อ GPU ตั้งแต่หลายร้อยถึงหลายพันเครื่องเป็นคลัสเตอร์ เพื่อประมวลผลการคำนวณพร้อมกันได้ถึงหลายหมื่นล้านล้านครั้งต่อวินาที ในกระบวนการนี้ เทคโนโลยีที่ช่วยลดความจำเป็นในการซิงโครไนซ์การคำนวณและความหน่วงในการสื่อสารในสภาพแวดล้อมแบบกระจายขนาดใหญ่ถือเป็นหัวใจสำคัญ จนถึงขณะนี้ ในประเทศเกาหลี บริษัทส่วนใหญ่ไม่สามารถฝึกโมเดลได้อย่างเหมาะสม เนื่องจากไม่มี “อัลกอริทึมควบคุมที่แม่นยำ” คุณอีฮวานโฮ ซีอีโอของ Clevi ได้พัฒนาอัลกอริทึมควบคุมการประมวลผลแบบกระจายที่เป็นกรรมสิทธิ์ขึ้นเอง และประสบความสำเร็จในการฝึกโมเดลภาษาขนาดใหญ่พิเศษที่มีขนาด 1.4 ล้านล้าน (1.4 Trillion) พารามิเตอร์เป็นรายแรกในประเทศเกาหลี

4. เหตุผลที่สามารถพัฒนาโมเดลหลากหลายประเภทได้ด้วยทีมพัฒนาเพียงไม่กี่คน

แม้แต่บริษัทบิ๊กเทคส่วนใหญ่ก็มีเทคโนโลยีสำหรับควบคุมโครงสร้างพื้นฐานขนาดใหญ่และปรับปรุงข้อมูลให้บริสุทธิ์

การจัดการสิ่งเหล่านี้จำเป็นต้องใช้นักวิจัยหลายร้อยถึงหลายพันคน

อย่างไรก็ตาม Clevi สามารถพัฒนาและมีโมเดลหลากหลายประเภทได้ด้วยนักวิจัยเพียงไม่กี่คน

เป็นไปได้อย่างไร?

Clevi พัฒนาและมีโมเดลหลากหลายประเภทด้วยบุคลากรเพียงไม่กี่คนผ่านเทคโนโลยี Teacher-Student Model(Knowledge Distilation)

ถ้าเช่นนั้น มาดูเทคโนโลยี Teacher-Student กัน

Teacher-Student(การกลั่นความรู้)

เทคโนโลยี Teacher-Student กล่าวโดยง่ายคือ เทคโนโลยีที่ใช้โมเดลภาษาขนาดใหญ่พิเศษ (Teacher Model) ประเมินและให้ข้อเสนอแนะแก่โมเดลลูก (Student Model) ทำให้สามารถทดแทนนักวิจัยหลายร้อยคนด้วยบุคลากรเพียงไม่กี่คน และพัฒนาโมเดลหลากหลายประเภทได้อย่างรวดเร็ว

• Mother Model(โมเดลขนาดใหญ่พิเศษ)ประเมินและให้ข้อเสนอแนะแก่โมเดลในหลากหลายสาขา และทดแทนนักวิจัยหลายร้อยคน
• หากดำเนินการฝึกด้วยวิธีนี้ผ่าน Clevi-x-platform จะสามารถฝึกและปรับใช้โมเดลประสิทธิภาพสูง เช่น Reasoning, VLM, Physical AI และ Coding Agent ได้ภายใน 10~15 วัน

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-โมเดลภาษาและการมองเห็น

เอเจนต์รักษาความปลอดภัย

5. ความแตกต่างด้านเทคโนโลยีและคุณภาพของ Clevi-x-platform

ประสิทธิภาพและความสามารถในการขยายของโมเดล

• ความเหนือกว่าด้านการอนุมาน (CoT/Reasoning): cip-5-x ได้รวมการพัฒนาตรรกะอย่างเป็นขั้นตอนและการแสดงเหตุผลไว้ในปรัชญาการออกแบบ จึงแสดงให้เห็นถึงความสามารถในการคำนวณและตีความที่มีความน่าเชื่อถือสูงในการแก้ปัญหาด้านวิทยาศาสตร์ คณิตศาสตร์ และวิศวกรรม โดยได้รับการออกแบบและดำเนินงานโดยมีเป้าหมายด้านประสิทธิภาพระดับ GPT-5 หรือสูงกว่าตามเกณฑ์การทดสอบภายใน และบริหารจัดการความสามารถในการทำซ้ำและตรวจสอบได้ภายใต้เงื่อนไขพรอมต์เดียวกันเป็นตัวชี้วัดคุณภาพหลัก

• มัลติโมดัลครบทุกช่วงการใช้งาน: สามารถผลิตและผสาน VLM ที่มุ่งเน้นภารกิจ (cip-5-vision), โมเดลประมวลผลมัลติโมดัลขนาดใหญ่ (ivy-4-mm) และโมเดลเบาสำหรับใช้งานบนอุปกรณ์ (ivy-3-text) บนแพลตฟอร์มเดียว ทำให้สามารถเลือกการผสานที่เหมาะสมกับลักษณะงาน (การค้นหา/การจัดประเภท/การสรุป เทียบกับการอนุมาน/การอธิบาย/การดำเนินการ)

ความเหมาะสมสำหรับการใช้งานระดับองค์กร

• ความปลอดภัยและความพร้อมใช้งานแบบออนพรемิส: ดำเนินงานตลอดทุกขั้นตอนภายในเครือข่ายปิด (การป้อนข้อมูล-การฝึก-การให้บริการ-การสำรองข้อมูล) พร้อมการออกแบบ HA การขยายแบบโมดูลาร์ และการแยกปกป้องข้อมูลกับพารามิเตอร์โมเดลผ่าน SVCE (สภาพแวดล้อมการประมวลผลที่ปลอดภัยแบบแยกส่วน)
• การนำไปใช้และการขยายอย่างรวดเร็ว: รองรับการนำไปใช้และดำเนินงานอย่างรวดเร็วด้วย Ivy Chat (การสนทนา/เอเจนต์มัลติโมดัลสำหรับงาน) และ API Platform (SaaS มาตรฐานระดับโลก)

ความแตกต่างด้าน Physical AI

• ยกระดับประสิทธิภาพการเรียนรู้และความสามารถในการปรับตัวภาคสนามด้วยการผสานการจำลองบน NVIDIA Isaac กับการเรียนรู้แบบเสริมกำลังที่อาศัยวิวัฒนาการ (Evolutionary RL) การถ่ายโอน Sim2Real และการฝึกแบบขนานด้วยข้อมูลสังเคราะห์ ความครอบคลุมตั้งแต่การเรียนรู้ดิจิทัลและหุ่นยนต์จนถึงการนำไปใช้งานทำให้มีสิ่งทดแทนที่ใกล้เคียงอยู่น้อย

คุณภาพการให้บริการและธรรมาภิบาล

• บริหารจัดการการควบคุมเวอร์ชันของโมเดล/พรอมต์/เครื่องมือ ชุดประเมินผล (ความรู้ภาษาเกาหลีและอังกฤษ งานเฉพาะอุตสาหกรรม ตัวชี้วัดภาพหลอนและความปลอดภัย) การจัดการการเปลี่ยนแปลง (SLO/SLA) และการสังเกตการณ์การดำเนินงาน (เวลาแฝง/อัตราความสำเร็จ/TCO) ผ่านกระบวนการของแพลตฟอร์มเดียว

ปัจจุบัน ในเกาหลีใต้มีบริษัทที่ให้บริการโมเดล AI มากกว่า 300 แห่ง แต่

CLEVI เป็นบริษัทเพียงแห่งเดียวที่สามารถให้บริการทั้งออนพรեմิสและคลาวด์ได้พร้อมกันผ่านโมเดลพื้นฐานประสิทธิภาพสูงที่พัฒนาขึ้นเอง

6. วิธีการนำโมเดลภาษามาใช้ในอุตสาหกรรม

เนื่องจากการนำ AI มาใช้จำเป็นต้องมีการลงทุนจำนวนมากและการตรวจสอบอย่างรอบคอบ กระบวนการเปรียบเทียบและทดลองใช้งานด้วยตนเองเพื่อให้แน่ใจว่าโซลูชันนั้นเป็นประโยชน์ต่อองค์กรจริงจึงเป็นสิ่งจำเป็น

• CLEVI ไม่ได้หยุดอยู่เพียงการสร้างโมเดล แต่ยังนำเสนอโซลูชัน AI ที่สามารถนำไปประยุกต์ใช้ในภาคอุตสาหกรรมจริงได้
• ตัวอย่างเช่น เรามีช่องทางสำหรับองค์กรอย่างครบวงจร ทั้ง Ivy Chat Platform, Clevi API Platform, การปรับแต่งตามอุตสาหกรรม และการรองรับข้อกำหนดด้านความปลอดภัย
• เรามีขีดความสามารถด้านเทคโนโลยีที่หาได้ยากทั้งในประเทศและต่างประเทศ เช่น Physical AI, หุ่นยนต์ และการประมวลผลข้อมูลแบบมัลติโมดัล

CLEVI นำเสนอโซลูชัน AI ที่เป็นรูปธรรม โดยใช้ AI เป็น ‘เครื่องมือ’ ไม่ใช่ ‘เป้าหมาย’ เพื่อมีส่วนช่วยเพิ่มประสิทธิภาพการทำงานจริงและขับเคลื่อนนวัตกรรมในอุตสาหกรรม สัมผัสความแตกต่างของโมเดล From-scratch Foundation ได้ด้วยตนเอง

ติดต่อสอบถามและขอเดโม: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.