Developer guide
模型
模型摘要
CLEVI 模型分為三個產品系列：負責通用智能與工作自動化的 CIP、負責語音生成與識別的 Cosa，以及負責文件與圖像資訊提取的 Cova。各產品可獨立使用，亦可連接成涵蓋文件識別、分析、工作執行及語音指引的服務。
| 產品 | 模型 ID | 主要規格 | 主要用途 |
|---|---|---|---|
| CIP-5.5-SM | cip-5.5-sm | 24B~40B 可調整型 | 邊緣伺服器與本地工作自動化 |
| CIP-5.5-IM | cip-5.5-im | 360B · 輸入 256K · 輸出 64K · 多模態 | 通用工作處理。優先考慮回應速度與處理量 |
| CIP-5.5-MM | cip-5.5-mm | 800B · 輸入 512K · 輸出 64K · 多模態 | 長上下文分析與複合問題解決 |
| Cosa-A | cosa-a | 語音合成·複製·設計·串流 | 利用精細合成控制生成語音 |
| Cosa-B | cosa-b | 語音合成·複製·設計·串流 | 選擇聲音與生成自訂語音 |
| Cosa ASR | cosa-asr | 語音識別 | 將語音輸入轉換為文字 |
| Cova | cova-1 | 專用於基於 LLM 的視覺 OCR | 提取文字·版面·表格及進行簡單的圖像描述 |
CIP
CIP 負責通用智能與工作自動化。由透過閘道呼叫的 cip-5.5-im 和 cip-5.5-mm，以及部署於邊緣伺服器與本地部署環境的 cip-5.5-sm 組成。
cip-5.5-im 和 cip-5.5-mm
| 項目 | cip-5.5-im | cip-5.5-mm |
|---|---|---|
| 規模 | 360B | 800B |
| 輸入上限 | 256K | 512K |
| 最大輸出 | 64K | 64K |
| 輸入格式 | 文字與視覺資料（文件、螢幕圖像、表格·圖表） | 文字與視覺資料（整合程式碼·文件·螢幕資料進行檢視） |
| 設計方向 | 以回應速度、成本效益及處理量為重點，處理日常知識工作與開發工作。 | 整合及分析多種資料與條件，處理將分析結果連接至實際工作的複合工作。 |
| 長輸入的用途 | 同時檢視多份文件、程式碼檔案及對話記錄。 | 同時處理大量參考資料與工作記錄，執行涉及多個階段的研究·執行·驗證代理工作。 |
cip-5.5-im適合目標和工作範圍明確的工作。代表性工作包括從提供的資料中擷取所需資訊、按指定格式撰寫成果，以及按照要求修改程式碼。最多 64K 輸出適用於撰寫詳細報告或由多個部分組成的成果。
- 開發輔助：撰寫函數和功能、修正範圍明確的錯誤，並按照現有模式進行實作。
- 測試生成：根據要求和實作內容撰寫測試初稿及驗證案例。
- 文件處理：負責摘要、分類、項目擷取、格式轉換及初稿撰寫。
- 多模態分析：連同相關說明，一併檢視畫面圖片和文件中的表格、圖表。
- 互動式工作支援：根據工作資料回答問題，並撰寫所需成果。
- 大量處理：用於多份文件的個別摘要、請求分類及資料轉換。
- 子代理：負責程式碼探索、檢視特定檔案、整理資料等界線明確的子工作。
例如，接收功能要求和相關程式碼後，撰寫修改方案、測試及變更說明；或將受理文件分類，製作供負責人使用的摘要。
cip-5.5-mm適合需要掌握資訊之間的關係，並維持整體工作一致性的工作。在開發工作中，它會檢視要求、設計、實作和測試之間的連接；在文件分析中，它會綜合多份資料的主張和依據、差異及矛盾。
- 複合功能實作：考慮多個模組的契約和行為，同時修改程式碼、測試及文件。
- 大規模程式碼分析：檢視呼叫關係、資料流及變更影響範圍。
- 故障原因分析：對照日誌、設定、程式碼及執行結果，整理原因假設和確認程序。
- 設計及決策支援：整理要求和限制條件，分析實作方案的影響。
- 多文件綜合分析：以依據為中心，整理報告和技術文件的共通點、差異及矛盾。
- 多模態整合檢視：一併解讀文字和視覺資料，分析問題及要求。
- 多階段代理：適用於涉及調查、規劃、工具執行及結果檢視的工作。
- 專業文件撰寫：撰寫反映複雜條件和依據的技術報告、設計方案及詳細檢視文件。
例如，用於一併檢視多項服務中出現的錯誤相關代碼及日誌，或用於處理由複合功能的需求分析、實作，以至檢視驗證結果的一連串工作。
cip-5.5-sm
cip-5.5-sm 可在邊緣伺服器及內部部署環境中執行本地推理及工作自動化。由於模型規模可在 24B 至 40B 範圍內調整，因此可根據部署設備的運算資源及現場所需效能選擇配置。由於在接近資料產生位置的地方進行處理，因此適用於現場系統整合及內部資料運用；如在本地配置所需的模型及工具，即使在外部連線受限的環境中亦可運行。
負責解讀現場產生的資訊，並將其連接至處理程序。分類日誌及請求、從資料中擷取所需資訊，並透過已連接的內部工具及指令碼執行重複工作。
- 現場事件處理：分類及確認設備日誌和狀態資訊，篩選需要檢查的事件。
- 資料預處理：從工作記錄中擷取核心項目，並進行分類、標籤及標準化。
- 請求路由：將已接收的請求傳送至負責的系統或處理程序。
- 本地工作代理：透過查詢內部系統及執行指令碼，執行重複工作。
- 內部部署工作支援：根據內部資料回答問題，並整理工作內容。
- 後續分析支援：篩選需要進一步檢視的資料，並整理核心內容。
例如，用於在營運場所的伺服器上分類運行日誌、查閱相關記錄，然後撰寫供負責人員使用的事件摘要。
Cosa
Cosa 是一系列語音產品，可將文字轉換為語音、將輸入語音識別為文字，並登記及重用所需的聲音。適用於服務指引、內容製作、無障礙支援，以及對話式代理的語音介面。
語音生成由 cosa-a 和 cosa-b 負責，語音識別則由 cosa-asr 負責。cosa-a 和 cosa-b 是分別提供各自聲音清單及合成設定的獨立模型，可在相同的服務介面中選擇。兩個模型共同提供的功能如下。
- 文字轉語音：將輸入的句子以所選聲音合成。
- 聲音複製：根據獲授權使用的參考錄音註冊聲音，並合成新的句子。
- 聲音設計：描述所需聲音的特徵，建立並註冊聲音。
- 重用聲音：將已註冊的聲音用於後續合成。
- 合成設定：調整說話速度及語言等。
- 串流傳送：文字到達後立即按語句進行合成，並依次傳送音訊。
- 播放控制：支援暫停、繼續、停止及輸入額外句子。
使用漸進式文字輸入，可在完整回答完成前開始播放語音。CIP 撰寫回答期間，可配置由 Cosa 先讀出已準備好的語句的服務。
cosa-a
cosa-a 支援文字轉語音、聲音複製、聲音設計及串流輸出。除了選擇聲音、語言及說話速度等基本功能外，還提供合成步驟數量、引導強度、生成長度相關設定等額外控制項目。可用於語音製作過程中調整設定並檢視結果，或將多組設定套用至同一份稿件以選擇結果。
- 合成應用程式、自助服務機及業務系統的指引和通知。
- 將教材及使用說明書製作成語音。
- 製作影片及音訊內容的旁白。
- 使用已註冊的聲音製作系列內容。
- 用於對話式代理的串流語音輸出。
- 用於調整詳細合成設定的語音製作。
cosa-b
cosa-b 支援預設聲音選擇、基於描述的聲音設計、基於參考聲音的複製及串流輸出。可從自有聲音清單中選擇聲音，或註冊新的聲音供服務使用。
聲音複製使用參考錄音及其對應文字。亦支援在註冊過程中透過語音識別生成參考文字的流程，而已註冊的聲音可在後續合成中重用。
- 建立服務及角色的聲音角色設定。
- 透過描述或參考錄音製作自訂聲音。
- 合成品牌指引、角色台詞及內容旁白。
- 用於對話式代理的語音回應。
- 使用相同聲音合成會變更的通知訊息及稿件。
在 cosa-a 和 cosa-b 之間作出選擇時，請以所需的聲音、實際合成結果及所需的控制項目作為依據。
| 項目 | cosa-a | cosa-b |
|---|---|---|
| 合成設定 | 除了聲音、語言及說話速度外，還包括合成步驟數量、引導強度及生成長度相關設定 | 說話速度及語言等共用設定 |
| 複製輸入 | 已獲授權使用的參考錄音 | 參考錄音及對應文字。註冊過程中可透過語音識別生成參考文字 |
| 角色 | 運用詳細合成控制功能生成語音 | 選擇聲音及生成自訂語音 |
cosa-asr
cosa-asr 將輸入語音轉換為文字。它可將錄音資料整理成文件，或將以語音提出的要求轉換為後續業務系統可處理的輸入。
- 將語音備忘錄及錄音資料轉錄成文字。
- 將語音提問及業務要求轉換為輸入。
- 生成用於語音複製的參考文字。
- 用於轉錄後的摘要、分類及搜尋等處理。
將轉錄結果傳送至 CIP 後，即可進行內容摘要、要求分類及業務草稿撰寫。再以 cosa-a 或 cosa-b 合成處理結果，即可建立具備語音輸入及輸出的業務服務。
Cova
cova-1 是專用於以 LLM 為基礎的視覺 OCR 模型。它可識別文件及圖像中的文字、提取版面及表格結構，並提供視覺元素的簡單說明。
將人類閱讀的文件轉換為代理及業務系統易於使用的格式。正文及表格會提取為結構化內容，文件中包含的圖像則以簡短說明傳達，讓後續代理能同時掌握文件內容及視覺脈絡。先利用提取的文字及說明了解資料，僅對需要詳細確認的原始檔案作進一步檢視，便可建立相應流程，減少重複輸入原始圖像的次數，從而節省上下文 token。
| 功能 | 說明 |
|---|---|
| 文字識別 | 從掃描或拍攝的文件中提取文字。 |
| 版面解析 | 考慮文件的版面，將內容分成不同區塊。 |
| 提供位置資訊 | 提供已識別區塊的位置，將提取結果與原文連結。 |
| 提取表格結構 | 將表格內容結構化，用於搜尋及數據處理。 |
| 簡單圖片描述 | 簡短描述圖片及視覺元素的內容，為代理程式提供解讀線索。 |
| 優化上下文 | 以文字、結構及圖片描述為核心傳遞資訊，減少重複輸入原始圖片。 |
| 選擇性詳細分析 | 協助代理程式判斷需要進一步確認的原始圖片。 |
| 文件格式轉換 | 將識別結果整理為 HTML 或 Markdown。 |
- 文件數碼化：將紙本文件及掃描資料轉換為文字型資料。
- 業務文件接收：從申請表、證明文件及報告中提取內容。
- 表格數據處理：將文件中的表格用於後續數據處理。
- 知識搜尋前處理：將文件圖片及視覺資料轉換為可搜尋的文字及結構。
- 文件審閱自動化：將提取結果傳送至 CIP，以執行項目核對、摘要及資料比較。
- 優化代理程式輸入：整理長篇文件的正文、表格及圖片描述，只傳遞所需資訊。
例如，在提取報告正文及表格的同時，將其中插入的圖表描述為展示按季度銷售額趨勢的圖表。代理程式會透過此描述了解圖表的存在及用途，並在需要準確數值或趨勢時進一步查閱相關原始資料。
產品系列連接
連接產品後，可以構建以下流程。
- 文件導向業務：Cova 提取正文、表格及圖片描述，CIP 選擇性確認所需的原始資料以進行分析及業務處理，而 Cosa 以語音傳達結果。
- 語音導向業務：Cosa ASR 將語音請求轉換為文字，cosa-a 或 cosa-b 讀出由 CIP 處理的回答。
- 現場自動化：cip-5.5-sm 分類現場數據並執行本地業務，將需要進一步綜合分析的資料轉交至 cip-5.5-im 或 cip-5.5-mm。
閘道器中允許的呼叫
閘道的方案決定每個模型允許的呼叫。下表列出 LLM_FREE、TTS_FREE、STT_FREE 方案開放的範圍，而這些方案會自動套用，無需申請。不包括透過其他路徑開放的模型。
| 模型 ID | 允許的呼叫 | 依據方案 |
|---|---|---|
| cip-5.5-im | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-im-chat | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm-h | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cosa-a | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-b | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-tts | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-asr | audio.transcriptions | STT_FREE |
| ivy-4-embedding | embeddings | LLM_FREE |
| ivy-4-embedding-mm | embeddings | LLM_FREE |
| ivy-4-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
cip-5.5-sm 和 cova-1 不在此方案表中。表中的 cip-5.5-im-chat、cip-5.5-mm-h、cosa-tts、ivy-4-embedding、ivy-4-embedding-mm、ivy-4-mm 是上方產品說明未包含的模型 ID。呼叫金鑰所對應的路徑載於 API 呼叫文件中。