From-scratch Foundation Model CLEVI AI(ivy)

“Làm thế nào một công ty nhỏ có thể tạo ra mô hình ngôn ngữ AI siêu lớn đẳng cấp thế giới?”

Làm thế nào một startup quy mô nhỏ có thể tạo ra mô hình ngôn ngữ siêu lớn?

Đây là câu hỏi được đặt ra nhiều nhất kể từ khi CLEVI công bố mô hình Foundation với quy mô 1,4 nghìn tỷ tham số.

Khác với nhiều doanh nghiệp chỉ đơn thuần tinh chỉnh các mô hình nguồn mở, CLEVI tự mình thực hiện toàn bộ quy trình, từ thu thập dữ liệu, thiết kế mô hình, huấn luyện phân tán quy mô lớn đến xác minh chất lượng.

Dưới đây là phần giới thiệu chi tiết về bí quyết và năng lực cạnh tranh đó.

1. Một công ty nhỏ tạo ra mô hình ngôn ngữ siêu lớn?

Vào tháng 7 năm 2025, khi CLEVI công bố mô hình ngôn ngữ siêu lớn do mình tự phát triển ra thị trường, rất nhiều khách hàng (người dùng) đã xôn xao với sự kinh ngạc và hoài nghi. “Có thực sự là tự phát triển không?” “Chẳng phải chỉ thay đổi một chút từ mô hình nguồn mở thôi sao?”

Trên thực tế, nhiều doanh nghiệp trong và ngoài nước thường chỉ thực hiện transfer learning (fine-tuning) đơn thuần trên các mô hình nguồn mở, rồi quảng bá chúng là mô hình của riêng mình.

Tuy nhiên, CLEVI đã đưa ra **‘From-scratch Foundation Model’**.

Nói cách khác, CLEVI trực tiếp thiết kế và thực hiện toàn bộ quy trình, từ thu thập dữ liệu, thiết kế mô hình, huấn luyện phân tán quy mô lớn đến xác minh chất lượng.

2. Vì sao việc phát triển mô hình ngôn ngữ siêu lớn lại khó

Để huấn luyện From-Scratch Foundation Model, cần huấn luyện đầy đủ tất cả các hạng mục dưới đây.

Cần một bộ dữ liệu quy mô lớn và chất lượng cao

• Đa dạng: Đảm bảo sự đa dạng về ngôn ngữ, lĩnh vực và định dạng (văn bản, hình ảnh, v.v.)
• Tinh lọc: Loại bỏ nhiễu, quản lý chất lượng, lọc dữ liệu trùng lặp/độc hại
• Giấy phép: Làm rõ bản quyền và quyền sử dụng dữ liệu

Hạ tầng máy tính quy mô lớn

• Cụm GPU/TPU hiệu năng cao: Tích hợp thiết bị từ hàng nghìn đến hàng chục nghìn nút để hỗ trợ công nghệ huấn luyện phân tán dữ liệu lớn
• Framework huấn luyện phân tán hiệu quả: DeepSpeed, Megatron-LM, Ray, v.v.
• Lưu trữ/mạng: Môi trường hỗ trợ xuất nhập dữ liệu dung lượng lớn và mạng tốc độ cao

Thiết kế kiến trúc mô hình

• Phản ánh các kiến trúc mới nhất: Transformer, MoE (Mixture of Experts), đa phương thức, v.v.
• Khả năng mở rộng: cân nhắc khả năng mở rộng về số lượng tham số, số lớp, độ dài đầu vào, v.v.
• Hiệu quả: tối ưu hóa tốc độ huấn luyện/suy luận và mức sử dụng bộ nhớ

Chiến lược và thuật toán huấn luyện

• Mục tiêu tiền huấn luyện: mô hình ngôn ngữ (ví dụ: next token prediction), đa phương thức (ví dụ: contrastive learning), v.v.
• Kỹ thuật tối ưu hóa: mixed precision, gradient accumulation, learning rate schedule, v.v.
• Chuẩn hóa/ổn định: dropout, layer norm, weight decay, v.v.

Hệ thống đánh giá và xác minh

• Bộ benchmark: sử dụng các bộ dữ liệu tiêu chuẩn (Benchmarks)
• Đánh giá nội bộ: đánh giá dựa trên các kịch bản sử dụng thực tế
• Giám sát liên tục: kiểm tra chất lượng, độ thiên lệch và tính an toàn trong và sau quá trình huấn luyện

Năng lực nhân sự và tổ chức

• Nhà nghiên cứu AI/ML: thiết kế mô hình, phát triển thuật toán
• Kỹ sư dữ liệu: thu thập/làm sạch/quản lý dữ liệu
• Kỹ sư hạ tầng: quản lý hệ thống phân tán, đám mây/on-premise
• Quản lý dự án: quản lý tiến độ, ngân sách và chất lượng

Các cân nhắc về đạo đức, pháp lý và bảo mật

• Đạo đức AI: thiên lệch, tính an toàn, tính minh bạch và trách nhiệm giải trình
• Tuân thủ pháp luật: quyền riêng tư, bản quyền và chủ quyền dữ liệu
• Bảo mật: ngăn chặn rò rỉ dữ liệu/mô hình, kiểm soát truy cập

Hiện nay, số lượng nhân sự nghiên cứu AI trên toàn thế giới vào khoảng 2.000 người, và phần lớn trong số đó tập trung tại các công ty công nghệ lớn như META, Google và XAI. Tại Hàn Quốc, có rất ít đội ngũ có thể tự thiết kế mọi thứ, từ thu thập dữ liệu đến hạ tầng huấn luyện quy mô lớn, để xây dựng một Foundation Model.

3. Xây dựng mô hình ngôn ngữ siêu lớn với nguồn nhân lực hạn chế.

Dựa trên hơn 10 năm kinh nghiệm nghiên cứu deep learning và machine learning, ông Lee Hwan-ho đã thành lập công ty (CLEVI) cách đây 3 năm với mục tiêu “tạo ra AI tốt nhất thế giới”.

Công ty đã trực tiếp thiết kế toàn bộ quy trình, bao gồm xây dựng pipeline dữ liệu nội bộ, thiết kế hạ tầng deep learning phân tán quy mô lớn, phát triển kiến trúc mô hình và kiểm định chất lượng, qua đó trang bị năng lực cần thiết để phát triển Foundation Model.

Sau nhiều lần huấn luyện mô hình, hiện nay chúng tôi đã sở hữu mô hình Clevi-5-x có thể sánh ngang với các mô hình hàng đầu thế giới.

Để huấn luyện hiệu quả các mô hình ngôn ngữ cực lớn, cần có cơ sở hạ tầng kết nối từ hàng trăm đến hàng nghìn GPU thành một cụm, có khả năng xử lý đồng thời hàng chục triệu tỷ phép tính mỗi giây. Trong quá trình này, công nghệ đồng bộ hóa tính toán và giảm thiểu độ trễ giao tiếp trong môi trường phân tán quy mô lớn đóng vai trò then chốt. Cho đến nay, tại Hàn Quốc, do chưa có “thuật toán điều khiển chính xác”, hầu hết các doanh nghiệp không thể huấn luyện mô hình đúng cách. Ông Lee Hwan-ho, CEO của Clevi, đã tự phát triển thuật toán điều khiển tính toán phân tán độc quyền này và trở thành đơn vị đầu tiên tại Hàn Quốc thành công trong việc huấn luyện mô hình ngôn ngữ cực lớn với quy mô 1,4 nghìn tỷ (1.4 Trillion) tham số.

4. Lý do có thể phát triển nhiều mô hình với đội ngũ phát triển tinh gọn

Ngay cả hầu hết các doanh nghiệp công nghệ lớn cũng sở hữu công nghệ kiểm soát cơ sở hạ tầng quy mô lớn và tinh lọc dữ liệu.

Để quản lý các hoạt động này, cần đến hàng trăm đến hàng nghìn nhà nghiên cứu.

Tuy nhiên, Clevi phát triển và sở hữu nhiều mô hình khác nhau với đội ngũ nghiên cứu tinh gọn.

Điều này đã khả thi như thế nào?

Clevi phát triển và sở hữu nhiều mô hình với đội ngũ tinh gọn thông qua công nghệ Teacher-Student Model(Knowledge Distilation).

Vậy hãy cùng tìm hiểu về công nghệ Teacher-Student.

Teacher-Student(Chưng cất tri thức)

Nói một cách đơn giản, công nghệ Teacher-Student là công nghệ sử dụng mô hình ngôn ngữ cực lớn (Teacher Model) để đánh giá và phản hồi cho mô hình con (Student Model), qua đó thay thế hàng trăm nhà nghiên cứu bằng một đội ngũ tinh gọn và nhanh chóng phát triển nhiều mô hình khác nhau.

• Mother Model(mô hình cực lớn) đánh giá và phản hồi các mô hình trong nhiều lĩnh vực khác nhau, thay thế hàng trăm nhà nghiên cứu.
• Nếu tiến hành huấn luyện theo phương thức này thông qua Clevi-x-platform, có thể huấn luyện và triển khai các mô hình hiệu năng cao như Reasoning, VLM, Physical AI, Coding Agent chỉ trong 10~15 ngày.

Clevi Coding Agent

Clevi Phsycal AI Learning Platform

VLM-Mô hình Thị giác-Ngôn ngữ

Tác nhân bảo mật

5. Sự khác biệt về công nghệ và chất lượng của Clevi-x-platform

Hiệu năng và khả năng mở rộng của mô hình

• Ưu thế về suy luận (CoT/Reasoning): cip-5-x đưa việc triển khai logic theo từng bước và trình bày căn cứ vào triết lý thiết kế, thể hiện năng lực tính toán và diễn giải với độ tin cậy cao trong giải quyết các vấn đề khoa học, toán học và kỹ thuật. Dựa trên các tiêu chuẩn benchmark nội bộ, mô hình đang được thiết kế và vận hành với mục tiêu đạt năng lực hiệu suất tương đương hoặc cao hơn GPT-5, đồng thời quản lý khả năng tái lập/kiểm chứng trong cùng điều kiện prompt như một chỉ số chất lượng cốt lõi.

• Toàn phổ đa phương thức: kết hợp và đưa vào sản xuất trên một nền tảng duy nhất VLM định hướng mục tiêu (cip-5-vision), mô hình xử lý đa phương thức quy mô lớn (ivy-4-mm) và mô hình nhẹ trên thiết bị (ivy-3-text), cho phép lựa chọn tổ hợp tối ưu phù hợp với đặc điểm tác vụ (tìm kiếm/phân loại/tóm tắt so với suy luận/giải thích/thực thi).

Khả năng ứng dụng trong doanh nghiệp

• Bảo mật và tính sẵn sàng on-premise: vận hành toàn bộ trong mạng đóng (đầu vào-đào tạo-dịch vụ-sao lưu), thiết kế HA, mở rộng theo mô-đun và bảo vệ riêng biệt dữ liệu cùng tham số mô hình thông qua SVCE (môi trường thực thi an toàn được cách ly).
• Triển khai và mở rộng nhanh: hỗ trợ áp dụng và vận hành nhanh chóng với Ivy Chat (hội thoại/agent đa phương thức cho nghiệp vụ) và API Platform (SaaS theo tiêu chuẩn toàn cầu).

Sự khác biệt của AI vật lý (Physical AI)

• Kết hợp mô phỏng dựa trên NVIDIA Isaac với học tăng cường dựa trên tiến hóa (Evolutionary RL), nâng cao hiệu quả học tập và khả năng thích ứng tại hiện trường thông qua chuyển đổi Sim2Real và đào tạo song song bằng dữ liệu tổng hợp. Khả năng bao phủ toàn bộ quá trình từ học tập kỹ thuật số-robot đến triển khai khiến các giải pháp thay thế trở nên khan hiếm.

Chất lượng dịch vụ và quản trị

• Quản lý phiên bản mô hình/prompt/công cụ, bộ đánh giá (kiến thức tiếng Hàn và tiếng Anh, tác vụ theo ngành, chỉ số ảo giác và an toàn), quản lý thay đổi (SLO/SLA) và khả năng quan sát vận hành (độ trễ, tỷ lệ thành công, TCO) theo một quy trình nền tảng duy nhất.

Hiện nay, tại Hàn Quốc có hơn khoảng 300 doanh nghiệp cung cấp dịch vụ mô hình AI, nhưng

CLEVI là doanh nghiệp duy nhất có thể đồng thời cung cấp dịch vụ on-premise và đám mây thông qua mô hình nền tảng độc quyền hiệu năng cao.

6. Cách ứng dụng mô hình ngôn ngữ vào các ngành công nghiệp

Vì việc triển khai AI đòi hỏi khoản đầu tư lớn và quá trình thẩm định kỹ lưỡng, việc trực tiếp so sánh và trải nghiệm để xác định giải pháp có thực sự mang lại lợi ích cho doanh nghiệp là điều thiết yếu.

• CLEVI không chỉ dừng lại ở việc xây dựng mô hình mà còn cung cấp các giải pháp AI có thể triển khai trong môi trường công nghiệp thực tế.
• Ví dụ, CLEVI đã hoàn thiện các kênh dành cho doanh nghiệp, bao gồm Ivy Chat Platform, Clevi API Platform, tùy chỉnh theo từng ngành và đáp ứng các yêu cầu về bảo mật.
• CLEVI sở hữu năng lực công nghệ khó tìm thấy trong và ngoài nước, bao gồm AI vật lý, robot và xử lý dữ liệu đa phương thức.

CLEVI cung cấp các giải pháp AI thực chất, trong đó AI là ‘phương tiện’ chứ không phải ‘mục đích’, góp phần nâng cao hiệu quả công việc thực tế và thúc đẩy đổi mới công nghiệp. Hãy trực tiếp trải nghiệm sự khác biệt của mô hình Foundation thực sự From-scratch.

Liên hệ và yêu cầu bản demo: [email protected]

Copyright© 2025 Clevi Inc. All rights reserved.