Mô hình

Các mô hình CLEVI được chia thành ba dòng sản phẩm: CIP phụ trách trí tuệ tổng quát và tự động hóa công việc, Cosa phụ trách tạo và nhận dạng giọng nói, còn Cova phụ trách trích xuất thông tin từ tài liệu và hình ảnh. Mỗi sản phẩm có thể được sử dụng độc lập hoặc kết nối thành các dịch vụ bao gồm nhận dạng tài liệu, phân tích, thực hiện công việc và hướng dẫn bằng giọng nói.

CIP

CIP phụ trách trí tuệ tổng quát và tự động hóa công việc. CIP bao gồm cip-5.5-im và cip-5.5-mm, được gọi qua gateway, cùng cip-5.5-sm, được triển khai trên máy chủ biên và tại chỗ.

cip-5.5-im và cip-5.5-mm

cip-5.5-im phù hợp với các công việc có mục tiêu và phạm vi rõ ràng. Các công việc tiêu biểu bao gồm trích xuất thông tin cần thiết từ tài liệu được cung cấp, tạo đầu ra theo định dạng chỉ định và sửa đổi mã theo yêu cầu. Giới hạn đầu ra tối đa 64K phù hợp để tạo báo cáo chi tiết hoặc các kết quả gồm nhiều phần.

• Hỗ trợ phát triển: Viết hàm và tính năng, sửa các lỗi có phạm vi rõ ràng và triển khai theo các mẫu hiện có.
• Tạo bài kiểm thử: Soạn thảo các bài kiểm thử và trường hợp xác minh dựa trên yêu cầu và phần triển khai.
• Xử lý tài liệu: Thực hiện tóm tắt, phân loại, trích xuất mục, chuyển đổi biểu mẫu và soạn thảo.
• Phân tích đa phương thức: Xem xét hình ảnh màn hình và bảng, biểu đồ trong tài liệu cùng với phần mô tả liên quan.
• Hỗ trợ công việc tương tác: Trả lời câu hỏi dựa trên tài liệu công việc và tạo các kết quả cần thiết.
• Xử lý hàng loạt: Dùng để tóm tắt riêng lẻ nhiều tài liệu, phân loại yêu cầu và chuyển đổi dữ liệu.
• Tác nhân phụ: Đảm nhận các tác vụ phụ có ranh giới rõ ràng như khám phá mã, xem xét tệp cụ thể và sắp xếp tài liệu.

Ví dụ, dùng để tiếp nhận yêu cầu tính năng và mã liên quan, sau đó tạo đề xuất sửa đổi, bài kiểm thử và mô tả thay đổi; hoặc phân loại tài liệu tiếp nhận và tạo bản tóm tắt cho người phụ trách.

cip-5.5-mm phù hợp với các công việc cần nắm bắt mối quan hệ giữa thông tin và duy trì tính nhất quán của toàn bộ công việc. Trong phát triển, công việc này bao gồm xem xét mối liên kết giữa yêu cầu, thiết kế, triển khai và kiểm thử; trong phân tích tài liệu, bao gồm tổng hợp các lập luận và bằng chứng, cũng như những điểm khác biệt và mâu thuẫn giữa nhiều tài liệu.

• Triển khai tính năng phức tạp: Thay đổi đồng thời mã, bài kiểm thử và tài liệu, có tính đến hợp đồng và hành vi của nhiều mô-đun.
• Phân tích mã quy mô lớn: Xem xét mối quan hệ gọi, luồng dữ liệu và phạm vi ảnh hưởng của thay đổi.
• Phân tích nguyên nhân sự cố: Đối chiếu nhật ký, cấu hình, mã và kết quả thực thi để sắp xếp các giả thuyết nguyên nhân và quy trình xác minh.
• Hỗ trợ thiết kế và ra quyết định: Cấu trúc hóa yêu cầu và các ràng buộc, đồng thời phân tích tác động của các phương án triển khai.
• Phân tích tổng hợp nhiều tài liệu: Sắp xếp các điểm tương đồng, khác biệt và mâu thuẫn giữa báo cáo và tài liệu kỹ thuật dựa trên bằng chứng.
• Rà soát tích hợp đa phương thức: Diễn giải đồng thời văn bản và tài liệu trực quan để phân tích vấn đề và yêu cầu.
• Tác nhân đa giai đoạn: Dùng cho các công việc bao gồm điều tra, lập kế hoạch, thực thi công cụ và xem xét kết quả.
• Soạn thảo tài liệu chuyên môn: Viết báo cáo kỹ thuật, phương án thiết kế và tài liệu rà soát chi tiết phản ánh các điều kiện và bằng chứng phức tạp.

Ví dụ, dùng để cùng xem xét các mã lỗi và nhật ký liên quan phát sinh từ nhiều dịch vụ, hoặc thực hiện các công việc từ phân tích yêu cầu của tính năng phức tạp đến triển khai và xem xét kết quả kiểm chứng.

cip-5.5-sm

cip-5.5-sm thực hiện suy luận cục bộ và tự động hóa công việc trên máy chủ biên và trong môi trường tại chỗ. Vì có thể điều chỉnh quy mô mô hình trong phạm vi 24B~40B, bạn có thể lựa chọn cấu hình phù hợp với tài nguyên tính toán của thiết bị triển khai và hiệu năng cần thiết tại hiện trường. Do xử lý dữ liệu gần nơi phát sinh, mô hình này được dùng để tích hợp với hệ thống tại hiện trường và khai thác dữ liệu nội bộ. Nếu cấu hình các mô hình và công cụ cần thiết tại chỗ, mô hình có thể vận hành ngay cả trong môi trường hạn chế kết nối bên ngoài.

Đây là vai trò diễn giải thông tin phát sinh tại hiện trường và chuyển thông tin đó thành quy trình xử lý. Mô hình phân loại nhật ký và yêu cầu, trích xuất thông tin cần thiết từ dữ liệu, đồng thời thực hiện các công việc lặp lại bằng các công cụ nội bộ và tập lệnh được kết nối.

• Xử lý sự kiện tại hiện trường: Phân loại nhật ký thiết bị và thông tin trạng thái, đồng thời sàng lọc các sự kiện cần kiểm tra.
• Tiền xử lý dữ liệu: Trích xuất các mục cốt lõi từ hồ sơ công việc và thực hiện phân loại, gắn thẻ, chuẩn hóa.
• Định tuyến yêu cầu: Chuyển các yêu cầu đã tiếp nhận đến hệ thống phụ trách hoặc quy trình xử lý tương ứng.
• Coding Agent công việc cục bộ: Thực hiện các công việc lặp lại bằng cách tra cứu hệ thống nội bộ và chạy tập lệnh.
• Hỗ trợ công việc tại chỗ: Trả lời câu hỏi dựa trên tài liệu nội bộ và整理 nội dung công việc.
• Hỗ trợ phân tích tiếp theo: Sàng lọc tài liệu cần xem xét thêm và tóm tắt nội dung cốt lõi.

Ví dụ, dùng để phân loại nhật ký vận hành trên máy chủ tại cơ sở, tra cứu lịch sử liên quan, sau đó lập bản tóm tắt sự việc dành cho người phụ trách.

Cosa

Cosa là nhóm sản phẩm giọng nói có khả năng chuyển văn bản thành giọng nói, nhận dạng giọng nói đầu vào thành văn bản, đồng thời đăng ký và tái sử dụng giọng nói mong muốn. Sản phẩm được dùng cho hướng dẫn dịch vụ, sản xuất nội dung, hỗ trợ khả năng tiếp cận và giao diện giọng nói của Coding Agent tương tác.

cosa-a và cosa-b phụ trách tạo giọng nói, còn cosa-asr phụ trách nhận dạng giọng nói. cosa-a và cosa-b là các mô hình riêng biệt, mỗi mô hình cung cấp danh sách giọng nói và thiết lập tổng hợp riêng, đồng thời được lựa chọn trong cùng một giao diện dịch vụ. Các chức năng mà cả hai mô hình cùng cung cấp như sau.

• Chuyển văn bản thành giọng nói: Tổng hợp câu đã nhập bằng giọng nói đã chọn.
• Nhân bản giọng nói: Đăng ký giọng nói dựa trên bản ghi tham chiếu mà bạn có quyền sử dụng và tổng hợp các câu mới.
• Thiết kế giọng nói: Mô tả đặc điểm của giọng nói mong muốn để tạo và đăng ký giọng nói.
• Tái sử dụng giọng nói: Sử dụng giọng nói đã đăng ký cho các lần tổng hợp tiếp theo.
• Cài đặt tổng hợp: Điều chỉnh tốc độ nói, ngôn ngữ và các tùy chọn khác.
• Truyền phát trực tuyến: Tổng hợp theo từng cụm ngay khi văn bản đến và truyền âm thanh lần lượt.
• Điều khiển phát lại: Hỗ trợ tạm dừng, tiếp tục, dừng và nhập thêm câu.

Với tính năng nhập văn bản tăng dần, bạn có thể bắt đầu phát giọng nói trước khi toàn bộ câu trả lời hoàn tất. Trong khi CIP soạn câu trả lời, bạn có thể cấu hình dịch vụ để Cosa đọc các cụm đã sẵn sàng.

cosa-a

cosa-a hỗ trợ chuyển văn bản thành giọng nói, nhân bản giọng nói, thiết kế giọng nói và đầu ra truyền phát trực tuyến. Ngoài các chức năng cơ bản như chọn giọng nói, ngôn ngữ và tốc độ nói, dịch vụ còn cung cấp các tùy chọn kiểm soát bổ sung như số bước tổng hợp, cường độ hướng dẫn và các cài đặt liên quan đến độ dài tạo. Tính năng này được dùng để điều chỉnh cài đặt trong quá trình tạo giọng nói và xem xét kết quả, hoặc áp dụng nhiều cài đặt cho cùng một kịch bản để chọn kết quả phù hợp.

• Tổng hợp hướng dẫn và thông báo cho ứng dụng, ki-ốt và hệ thống nghiệp vụ.
• Tạo tài liệu đào tạo và hướng dẫn sử dụng bằng giọng nói.
• Tạo lời thuyết minh cho nội dung video và âm thanh.
• Tạo nội dung lặp lại bằng giọng nói đã đăng ký.
• Dùng cho đầu ra giọng nói truyền phát trực tuyến của tác nhân tương tác.
• Dùng để tạo giọng nói với các cài đặt tổng hợp chi tiết.

cosa-b

cosa-b hỗ trợ chọn giọng nói đặt trước, thiết kế giọng nói dựa trên mô tả, nhân bản dựa trên giọng nói tham chiếu và đầu ra truyền phát trực tuyến. Bạn có thể chọn giọng nói từ danh sách giọng nói của mình hoặc đăng ký giọng nói mới để sử dụng cho dịch vụ.

Nhân bản giọng nói sử dụng bản ghi tham chiếu và văn bản tương ứng với bản ghi đó. Dịch vụ cũng hỗ trợ quy trình tạo văn bản tham chiếu bằng nhận dạng giọng nói trong quá trình đăng ký; giọng nói đã đăng ký có thể được tái sử dụng cho các lần tổng hợp tiếp theo.

• Xây dựng chân dung giọng nói cho dịch vụ và nhân vật.
• Tạo giọng nói tùy chỉnh từ mô tả hoặc bản ghi tham chiếu.
• Tổng hợp hướng dẫn thương hiệu, lời thoại nhân vật và lời thuyết minh nội dung.
• Dùng cho phản hồi bằng giọng nói của tác nhân tương tác.
• Tổng hợp các thông báo và kịch bản thay đổi bằng cùng một giọng nói.

Khi lựa chọn giữa cosa-a và cosa-b, hãy dựa trên giọng nói mong muốn, kết quả tổng hợp thực tế và các mục cần kiểm soát.

cosa-asr

cosa-asr chuyển đổi giọng nói đầu vào thành văn bản. Nó dùng để lập tài liệu từ các bản ghi hoặc chuyển đổi yêu cầu được tiếp nhận bằng giọng nói thành đầu vào mà các hệ thống nghiệp vụ tiếp theo có thể xử lý.

• Chuyển biên bản ghi nhớ bằng giọng nói và các bản ghi âm thành văn bản.
• Chuyển câu hỏi và yêu cầu nghiệp vụ bằng giọng nói thành đầu vào.
• Tạo văn bản tham chiếu để nhân bản giọng nói.
• Sử dụng cho các quy trình tiếp nối sau khi chuyển biên, như tóm tắt, phân loại và tìm kiếm.

Khi truyền kết quả chuyển biên đến CIP, quy trình sẽ tiếp nối bằng việc tóm tắt nội dung, phân loại yêu cầu và soạn thảo bản nháp nghiệp vụ. Nếu tổng hợp kết quả xử lý bằng cosa-a hoặc cosa-b, bạn sẽ có một dịch vụ nghiệp vụ hỗ trợ cả đầu vào và đầu ra bằng giọng nói.

Cova

cova-1 là mô hình chuyên dụng cho OCR hình ảnh dựa trên LLM. Mô hình nhận dạng văn bản trong tài liệu và hình ảnh, trích xuất bố cục và cấu trúc bảng, đồng thời cung cấp mô tả ngắn gọn về các yếu tố trực quan.

Mô hình chuyển đổi các tài liệu mà con người đọc thành định dạng thuận tiện cho agent và hệ thống nghiệp vụ sử dụng. Nội dung chính và bảng được trích xuất thành nội dung có cấu trúc, còn hình ảnh trong tài liệu được truyền đạt bằng các mô tả ngắn, nhờ đó agent tiếp theo có thể nắm bắt cả nội dung và ngữ cảnh trực quan của tài liệu. Bằng cách xây dựng quy trình trong đó trước tiên nắm bắt tài liệu qua văn bản và mô tả được trích xuất, rồi chỉ xem xét thêm các bản gốc cần kiểm tra chi tiết, bạn có thể giảm lượng dữ liệu phải nhập lại từ hình ảnh gốc và tiết kiệm token ngữ cảnh.

• Số hóa tài liệu: Chuyển tài liệu giấy và tài liệu quét thành tài liệu dạng văn bản.
• Tiếp nhận tài liệu nghiệp vụ: Trích xuất nội dung từ đơn đăng ký, tài liệu chứng minh và báo cáo.
• Xử lý dữ liệu bảng: Sử dụng các bảng trong tài liệu cho bước xử lý dữ liệu tiếp theo.
• Tiền xử lý tìm kiếm tri thức: Chuyển đổi hình ảnh tài liệu và tài liệu trực quan thành văn bản và cấu trúc có thể tìm kiếm.
• Tự động hóa rà soát tài liệu: Truyền kết quả trích xuất đến CIP để kiểm tra các mục, tóm tắt và so sánh giữa các tài liệu.
• Tối ưu hóa đầu vào cho tác nhân: Sắp xếp nội dung chính, bảng và mô tả hình ảnh của tài liệu dài để chỉ truyền thông tin cần thiết.

Ví dụ, khi trích xuất nội dung chính và bảng của một báo cáo, hệ thống mô tả biểu đồ được chèn vào là biểu đồ thể hiện xu hướng doanh thu theo quý. Tác nhân dựa vào mô tả này để nắm được sự tồn tại và mục đích của biểu đồ, đồng thời kiểm tra thêm bản gốc tương ứng khi cần số liệu hoặc xu hướng chính xác.

Kết nối nhóm sản phẩm

Khi kết nối các sản phẩm, bạn có thể 구성 thành luồng sau.

• Nghiệp vụ dựa trên tài liệu: Cova trích xuất nội dung chính, bảng và mô tả hình ảnh; CIP chọn lọc kiểm tra các bản gốc cần thiết để thực hiện phân tích và xử lý nghiệp vụ; Cosa truyền đạt kết quả bằng giọng nói.
• Nghiệp vụ dựa trên giọng nói: Cosa ASR chuyển đổi yêu cầu bằng giọng nói thành văn bản, sau đó cosa-a hoặc cosa-b đọc câu trả lời do CIP xử lý.
• Tự động hóa tại hiện trường: cip-5.5-sm phân loại dữ liệu tại hiện trường và thực hiện nghiệp vụ cục bộ, đồng thời chuyển các tài liệu cần phân tích tổng hợp bổ sung cho cip-5.5-im hoặc cip-5.5-mm.

Các lệnh gọi được cho phép tại gateway

Các gói của gateway xác định những lệnh gọi được phép đối với từng mô hình. Bảng dưới đây hiển thị phạm vi được mở bởi các gói LLM_FREE, TTS_FREE và STT_FREE; các gói này được tự động áp dụng mà không cần đăng ký. Không bao gồm các mô hình được mở thông qua những tuyến khác.

cip-5.5-sm và cova-1 không có trong bảng gói này. cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm và ivy-4-mm trong bảng là các ID mô hình không được bao gồm trong phần mô tả sản phẩm ở trên. Tài liệu Gọi API cho biết khóa gọi tương ứng với đường dẫn nào.