Developer guide
模型
模型摘要
CLEVI 模型分為三大產品系列:負責通用智慧與工作自動化的 CIP、負責語音生成與辨識的 Cosa,以及負責文件與影像資訊擷取的 Cova。各產品可獨立使用,也可串接成涵蓋文件辨識、分析、工作執行與語音引導的服務。
| 產品 | 模型 ID | 主要規格 | 主要用途 |
|---|---|---|---|
| CIP-5.5-SM | cip-5.5-sm | 24B~40B 可調整 | 邊緣伺服器與本地工作自動化 |
| CIP-5.5-IM | cip-5.5-im | 360B · 輸入 256K · 輸出 64K · 多模態 | 通用工作處理。優先考量回應速度與處理量 |
| CIP-5.5-MM | cip-5.5-mm | 800B · 輸入 512K · 輸出 64K · 多模態 | 長上下文分析與複雜問題解決 |
| Cosa-A | cosa-a | 語音合成·複製·設計·串流 | 運用細節合成控制進行語音生成 |
| Cosa-B | cosa-b | 語音合成·複製·設計·串流 | 語音選擇與客製化語音生成 |
| Cosa ASR | cosa-asr | 語音辨識 | 將語音輸入轉換為文字 |
| Cova | cova-1 | 專用於基於 LLM 的視覺 OCR | 文字·版面配置·表格擷取與簡單影像描述 |
CIP
CIP 負責通用智慧與工作自動化。由透過閘道呼叫的 cip-5.5-im 與 cip-5.5-mm,以及部署於邊緣伺服器與內部部署環境的 cip-5.5-sm 組成。
cip-5.5-im 與 cip-5.5-mm
| 項目 | cip-5.5-im | cip-5.5-mm |
|---|---|---|
| 規模 | 360B | 800B |
| 輸入上限 | 256K | 512K |
| 最大輸出 | 64K | 64K |
| 輸入格式 | 文字與視覺資料(文件、螢幕影像、表格·圖表) | 文字與視覺資料(整合檢視程式碼·文件·螢幕資料) |
| 設計方向 | 以回應速度、成本效益與處理量為重點,處理日常知識工作與開發工作。 | 處理綜合多項資料與條件,並將分析結果銜接至實際工作的複合型工作。 |
| 長輸入的用途 | 同時檢視多份文件、程式碼檔案與對話紀錄。 | 同時處理大量參考資料與工作紀錄,執行調查·執行·驗證多階段串接的代理工作。 |
cip-5.5-im 適合目標與工作範圍明確的業務。代表性工作包括從提供的資料中擷取所需資訊、以指定格式撰寫成果,以及依照需求修改程式碼。最多 64K 的輸出適合撰寫詳細報告或由多個部分組成的成果。
- 開發輔助:撰寫函式與功能、修正範圍明確的錯誤,並依照既有模式進行實作。
- 測試生成:根據需求與實作內容撰寫測試草稿與驗證案例。
- 文件處理:負責摘要、分類、項目擷取、格式轉換與草稿撰寫。
- 多模態分析:結合相關說明,檢視螢幕影像與文件中的表格、圖表。
- 互動式業務支援:根據業務資料回答問題並撰寫所需成果。
- 大量處理:用於多份文件的個別摘要、請求分類與資料轉換。
- 子代理:負責程式碼探索、特定檔案檢視、資料整理等界線明確的子工作。
例如,接收功能需求與相關程式碼後,撰寫修改方案、測試與變更說明;或將受理文件分類,製作提供負責人使用的摘要。
cip-5.5-mm 適合需要掌握資訊之間的關係並維持整體工作一致性的業務。在開發工作中,可檢視需求、設計、實作與測試之間的連結;在文件分析中,則可綜合多份資料的主張與依據、差異與矛盾。
- 複合功能實作:考量多個模組的契約與行為,同時變更程式碼、測試與文件。
- 大規模程式碼分析:檢視呼叫關係、資料流程與變更影響範圍。
- 故障原因分析:比對日誌、設定、程式碼與執行結果,整理原因假設與確認程序。
- 設計與決策支援:結構化需求與限制條件,分析各種實作方案的影響。
- 多文件綜合分析:以依據為中心,整理報告與技術文件的共通點、差異與矛盾。
- 多模態整合檢視:一併解讀文字與視覺資料,分析問題與需求。
- 多階段代理:適用於依序進行調查、規劃、工具執行與結果檢視的工作。
- 專業文件撰寫:撰寫反映複雜條件與依據的技術報告、設計方案與詳細檢視文件。
例如,用於同時檢視多個服務產生的錯誤相關代碼與日誌,或用於從複合功能的需求分析一路進行到實作及驗證結果檢視的工作。
cip-5.5-sm
cip-5.5-sm 可在邊緣伺服器與地端環境執行本地推論及工作自動化。由於模型規模可在 24B~40B 的範圍內調整,因此可根據部署設備的運算資源與現場所需的效能選擇配置。由於能在接近資料產生位置的地方進行處理,因此可用於現場系統整合與內部資料運用;將所需的模型與工具配置在本地後,即使在外部連線受限的環境中也能運作。
負責解讀現場產生的資訊,並將其連結至處理流程。它會分類日誌與請求、從資料中擷取所需資訊,並透過連接的內部工具與腳本執行重複性工作。
- 現場事件處理:分類設備日誌與狀態資訊,篩選出需要確認的事件。
- 資料前處理:從工作記錄中擷取關鍵項目,並進行分類、標記與正規化。
- 請求路由:將受理的請求傳送至負責的系統或處理流程。
- 本地工作代理:透過查詢內部系統與執行腳本來完成重複性工作。
- 地端工作支援:根據內部資料回答問題並整理工作內容。
- 後續分析支援:篩選需要進一步檢視的資料並整理重點內容。
例如,用於在營運據點的伺服器上分類運作日誌、查詢相關歷程,接著撰寫提供給負責人員的事件摘要。
Cosa
Cosa 是一系列語音產品,可將文字轉換為語音、將輸入語音辨識為文字,並註冊及重複使用所需的聲音。可用於服務導覽、內容製作、無障礙支援,以及互動式代理的語音介面。
語音生成由 cosa-a 與 cosa-b 負責,語音辨識則由 cosa-asr 負責。cosa-a 與 cosa-b 是分別提供各自聲音清單與合成設定的獨立模型,可在相同的服務介面中選擇。兩個模型共同提供的功能如下。
- 文字轉語音:將輸入的句子合成為所選的聲音。
- 語音複製:根據具備使用權限的參考錄音註冊聲音,並合成新的句子。
- 聲音設計:描述所需聲音的特徵,建立並註冊聲音。
- 聲音重複使用:將已註冊的聲音用於後續合成。
- 合成設定:調整說話速度和語言等設定。
- 串流傳送:文字到達後立即以語句為單位進行合成,並依序傳送音訊。
- 播放控制:支援暫停、繼續、停止及輸入其他句子。
使用漸進式文字輸入,可在完整回答完成前開始播放語音。在 CIP 撰寫回答的同時,可建構由 Cosa 先讀出已準備好的語句的服務。
cosa-a
cosa-a 支援文字轉語音、語音複製、聲音設計和串流輸出。除了選擇聲音、語言和說話速度等基本功能外,還提供合成步驟數、引導強度、生成長度相關設定等額外控制項目。可用於在語音製作過程中調整設定並檢視結果,或對同一份稿件套用多組設定後選擇結果。
- 合成應用程式、資訊站和業務系統中的導覽與通知。
- 將教育資料和使用說明製作成語音。
- 製作影片和音訊內容的旁白。
- 使用已註冊的聲音製作重複性內容。
- 用於互動式代理的串流語音輸出。
- 用於調整詳細合成設定的語音製作。
cosa-b
cosa-b 支援預設聲音選擇、基於描述的聲音設計、基於參考聲音的複製及串流輸出。可從自有的聲音清單中選擇聲音,或註冊新的聲音供服務使用。
語音複製使用參考錄音及其對應文字。也支援在註冊過程中透過語音辨識產生參考文字的流程,已註冊的聲音可在後續合成中重複使用。
- 建立服務和角色的聲音人格。
- 透過描述或參考錄音製作客製化聲音。
- 合成品牌導覽、角色台詞和內容旁白。
- 用於互動式代理的語音回應。
- 使用同一聲音合成變更後的通知訊息和稿件。
在 cosa-a 和 cosa-b 之間進行選擇時,請以所需的聲音、實際合成結果及所需的控制項目為依據。
| 項目 | cosa-a | cosa-b |
|---|---|---|
| 合成設定 | 除了聲音、語言和語速之外,還包括與合成步驟數、引導強度及生成長度相關的設定 | 語速和語言等共同設定 |
| 複製輸入 | 擁有使用權限的參考錄音 | 參考錄音及其對應文字。註冊過程中可透過語音辨識生成參考文字 |
| 角色 | 運用細緻的合成控制功能生成語音 | 選擇聲音並生成自訂語音 |
cosa-asr
cosa-asr 將輸入語音轉換為文字。它可將錄音資料轉錄成文件,或將以語音提出的請求轉換為後續業務系統可處理的輸入。
- 轉錄語音備忘錄和錄音資料。
- 將語音問題和業務請求轉換為輸入。
- 生成用於語音複製的參考文字。
- 用於轉錄後接續進行摘要、分類和搜尋的處理。
將轉錄結果傳送至 CIP 後,可進一步進行內容摘要、請求分類和業務草稿撰寫。再以 cosa-a 或 cosa-b 合成處理結果,即可建立具備語音輸入與輸出的業務服務。
Cova
cova-1 是專為 LLM 設計的視覺 OCR 模型。它可辨識文件和影像中的文字、擷取版面配置與表格結構,並提供視覺元素的簡要說明。
將人類閱讀的文件轉換為適合代理程式和業務系統使用的格式。正文和表格會以結構化內容擷取,文件中包含的影像則以簡短說明傳遞,因此後續代理程式能同時掌握文件內容與視覺脈絡。先利用擷取的文字和說明掌握資料,再僅針對需要詳細確認的原始檔進行額外檢視,藉此建立處理流程,減少重複輸入原始影像的次數並節省上下文 token。
| 功能 | 說明 |
|---|---|
| 文字辨識 | 從掃描或拍攝的文件中擷取文字。 |
| 版面解讀 | 考量文件版面,將內容區分為不同區塊。 |
| 提供位置資訊 | 提供已辨識區塊的位置,將擷取結果與原文相互對應。 |
| 擷取表格結構 | 將表格內容結構化,用於搜尋與資料處理。 |
| 簡要影像說明 | 簡要說明影像與視覺元素的內容,為代理程式提供解讀線索。 |
| 情境最佳化 | 以文字、結構與影像說明為核心傳遞資訊,減少重複輸入原始影像。 |
| 選擇性詳細分析 | 協助代理程式判斷需要進一步確認的原始影像。 |
| 文件格式轉換 | 將辨識結果整理為 HTML 或 Markdown。 |
- 文件數位化:將紙本文件與掃描資料轉換為文字型資料。
- 業務文件受理:從申請表、佐證資料與報告中擷取內容。
- 表格資料處理:將文件中包含的表格用於後續資料處理。
- 知識搜尋前處理:將文件影像與視覺資料轉換為可搜尋的文字與結構。
- 文件審查自動化:將擷取結果傳遞給 CIP,執行項目確認、摘要與資料間比較。
- 代理程式輸入最佳化:整理長篇文件的本文、表格與影像說明,只傳遞必要資訊。
例如,在擷取報告本文與表格的同時,將插入的圖表說明為呈現季度營收趨勢的圖表。代理程式可透過此說明掌握圖表的存在與用途,並在需要精確數值或趨勢時,進一步檢視相應的原始資料。
產品系列連接
連接產品後,即可建構以下流程。
- 文件型業務:Cova 擷取本文、表格與影像說明,CIP 選擇性確認必要的原始資料並執行分析與業務處理,Cosa 以語音傳達結果。
- 語音型業務:Cosa ASR 將語音請求轉換為文字,cosa-a 或 cosa-b 讀出由 CIP 處理的回答。
- 現場自動化:cip-5.5-sm 分類現場資料並執行本地業務,將需要額外綜合分析的資料交由 cip-5.5-im 或 cip-5.5-mm 處理。
閘道器允許的呼叫
Gateway 的方案決定每個模型允許的呼叫。下表列出 LLM_FREE、TTS_FREE、STT_FREE 方案所開放的範圍,這些方案會自動套用,無需申請。不包含透過其他路徑開放的模型。
| 模型 ID | 允許的呼叫 | 依據方案 |
|---|---|---|
| cip-5.5-im | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-im-chat | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm-h | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cosa-a | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-b | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-tts | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-asr | audio.transcriptions | STT_FREE |
| ivy-4-embedding | embeddings | LLM_FREE |
| ivy-4-embedding-mm | embeddings | LLM_FREE |
| ivy-4-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
cip-5.5-sm 和 cova-1 不在此方案表中。表中的 cip-5.5-im-chat、cip-5.5-mm-h、cosa-tts、ivy-4-embedding、ivy-4-embedding-mm、ivy-4-mm 是产品说明中未包含的模型 ID。关于调用密钥对应的路径,请参阅 API 呼叫文件。