Developer guide
模型
模型摘要
CLEVI 模型分为三大产品系列：负责通用智能与业务自动化的 CIP、负责语音生成与识别的 Cosa，以及负责文档和图像信息提取的 Cova。各产品既可独立使用，也可连接为涵盖文档识别、分析、业务执行和语音引导的服务。
| 产品 | 模型 ID | 主要规格 | 主要用途 |
|---|---|---|---|
| CIP-5.5-SM | cip-5.5-sm | 24B~40B 可调 | 边缘服务器和本地业务自动化 |
| CIP-5.5-IM | cip-5.5-im | 360B · 输入 256K · 输出 64K · 多模态 | 通用业务处理。优先考虑响应速度和吞吐量 |
| CIP-5.5-MM | cip-5.5-mm | 800B · 输入 512K · 输出 64K · 多模态 | 长上下文分析和复杂问题解决 |
| Cosa-A | cosa-a | 语音合成·复制·设计·流式传输 | 利用精细合成控制生成语音 |
| Cosa-B | cosa-b | 语音合成·复制·设计·流式传输 | 选择声音并生成定制语音 |
| Cosa ASR | cosa-asr | 语音识别 | 将语音输入转换为文本 |
| Cova | cova-1 | 基于 LLM 的专用视觉 OCR | 提取文本、布局和表格，并进行简单的图像描述 |
CIP
CIP 负责通用智能与业务自动化。它由通过网关调用的 cip-5.5-im 和 cip-5.5-mm，以及部署在边缘服务器和本地部署环境中的 cip-5.5-sm 组成。
cip-5.5-im 和 cip-5.5-mm
| 项目 | cip-5.5-im | cip-5.5-mm |
|---|---|---|
| 规模 | 360B | 800B |
| 输入上限 | 256K | 512K |
| 最大输出 | 64K | 64K |
| 输入格式 | 文本和视觉资料（文档、屏幕图像、表格·图表） | 文本和视觉资料（整合代码·文档·屏幕资料进行审阅） |
| 定位方向 | 以响应速度、成本效益和吞吐量为重点，处理日常知识工作和开发任务。 | 综合并分析多种资料和条件，处理将分析结果转化为实际工作的复杂业务。 |
| 长输入的用途 | 同时审阅多个文档、代码文件和对话记录。 | 同时处理大量参考资料和工作记录，执行调查、操作和验证多阶段衔接的智能体任务。 |
cip-5.5-im适用于目标和工作范围明确的任务。典型工作包括从提供的资料中提取所需信息、按照指定格式编写成果，以及根据要求修改代码。最大64K输出适合编写详细报告或由多个部分组成的成果。
- 开发辅助：编写函数和功能，修复范围明确的错误，并按照现有模式进行实现。
- 测试生成：根据需求和实现编写测试草案与验证案例。
- 文档处理：负责摘要、分类、条目提取、格式转换和草稿编写。
- 多模态分析：结合相关说明，审阅屏幕图像以及文档中的表格和图表。
- 交互式工作支持：基于工作资料回答问题并编写所需成果。
- 批量处理：用于处理大量文档的单独摘要、请求分类和数据转换。
- 子代理：负责代码探索、特定文件审阅、资料整理等边界明确的子任务。
例如，用于接收功能需求和相关代码后编写修改方案、测试和变更说明，或对受理文档进行分类并制作供负责人使用的摘要。
cip-5.5-mm适用于需要理解信息之间的关系并保持整体工作一致性的任务。在开发中，它用于审查需求、设计、实现和测试之间的关联；在文档分析中，它综合多个资料中的主张和依据、差异与矛盾。
- 复杂功能实现：考虑多个模块的契约和行为，同时修改代码、测试和文档。
- 大规模代码分析：审查调用关系、数据流和变更影响范围。
- 故障原因分析：对照日志、配置、代码和执行结果，整理原因假设与确认步骤。
- 设计与决策支持：构建需求和约束条件的结构，并分析实现方案的影响。
- 多文档综合分析：以证据为中心整理报告和技术文档的共同点、差异与矛盾。
- 多模态整合审查：结合解读文本和视觉资料，分析问题与需求。
- 多阶段代理：用于调查、规划、工具执行和结果审查等连续工作。
- 专业文档编写：编写反映复杂条件和依据的技术报告、设计方案和详细审查文档。
例如，用于同时审查多个服务中发生的错误相关代码和日志，或用于开展从复杂功能的需求分析到实现及验证结果审查的连续工作。
cip-5.5-sm
cip-5.5-sm在边缘服务器和本地部署环境中执行本地推理和业务自动化。由于模型规模可在24B~40B范围内调整，因此可以根据部署设备的计算资源和现场所需性能选择配置。由于在靠近数据产生的位置进行处理，它适用于现场系统集成和内部数据利用；配置所需的模型和工具后，即使在外部连接受限的环境中也可以运行。
负责解读现场产生的信息，并将其连接到处理流程。它对日志和请求进行分类，从数据中提取所需信息，并通过连接的内部工具和脚本执行重复性工作。
- 现场事件处理：对设备日志和状态信息进行分类，并筛选出需要确认的事件。
- 数据预处理：从业务记录中提取关键项目，并进行分类、标记和规范化。
- 请求路由：将接收的请求传递给负责的系统或处理流程。
- 本地业务代理：通过查询内部系统和执行脚本来完成重复性工作。
- 本地部署业务支持：基于内部资料回答问题，并整理业务内容。
- 后续分析支持：筛选需要进一步审查的资料，并整理核心内容。
例如，用于在企业现场服务器上对运行日志进行分类、查询相关历史记录，然后编写面向负责人员的事件摘要。
Cosa
Cosa是一组语音产品，可将文本转换为语音、将输入语音识别为文本，并注册和重复使用所需的声音。它适用于服务 안내、内容制作、无障碍支持以及对话式代理的语音界面。
语音生成由cosa-a和cosa-b负责，语音识别由cosa-asr负责。cosa-a和cosa-b是分别提供各自声音列表和合成设置的独立模型，可在同一服务界面中进行选择。两个模型共同提供的功能如下。
- 文本转语音：将输入的句子合成为所选声音。
- 声音克隆：基于拥有使用权限的参考录音注册声音，并合成新的句子。
- 声音设计：描述所需声音的特征，创建并注册声音。
- 声音复用：将已注册的声音用于后续合成。
- 合成设置：调整说话速度和语言等。
- 流式传输：随着文本到达，按语句进行合成并依次传输音频。
- 播放控制：支持暂停、继续、中断以及输入追加句子。
利用渐进式文本输入，可以在完整回答生成之前开始播放语音。在 CIP 撰写回答的同时，可以构建由 Cosa 朗读已准备好语句的服务。
cosa-a
cosa-a支持文本转语音、声音克隆、声音设计和流式输出。除了选择声音、语言和说话速度等基本功能外，还提供合成步骤数、引导强度、生成长度相关设置等额外控制项。可用于在语音制作过程中调整设置并查看结果，或对同一稿件应用多种设置后选择结果。
- 为应用、信息亭和业务系统合成指导语和通知。
- 将教育材料和使用说明制作成语音。
- 制作视频和音频内容的旁白。
- 使用已注册的声音制作重复性内容。
- 用于交互式代理的流式语音输出。
- 用于调整详细合成设置的语音制作。
cosa-b
cosa-b支持预设声音选择、基于描述的声音设计、基于参考声音的克隆和流式输出。可以从自有声音列表中选择声音，也可以为服务新注册声音。
声音克隆使用参考录音及其对应的文本。还支持在注册过程中通过语音识别生成参考文本的流程，已注册的声音可在后续合成中复用。
- 构建服务和角色的声音人设。
- 通过描述或参考录音制作定制声音。
- 合成品牌指导语、角色台词和内容旁白。
- 用于交互式代理的语音响应。
- 使用同一声音合成不断变化的通知消息和稿件。
在 cosa-a 和 cosa-b 之间进行选择时，请根据所需的声音、实际合成效果以及所需的控制项进行判断。
| 项目 | cosa-a | cosa-b |
|---|---|---|
| 合成设置 | 除了声音、语言和语速之外，还包括合成步骤数、引导强度和生成长度相关设置 | 语速和语言等通用设置 |
| 克隆输入 | 拥有使用权限的参考录音 | 参考录音及其对应文本。注册过程中可通过语音识别生成参考文本 |
| 作用 | 利用精细的合成控制生成语音 | 选择声音并生成自定义语音 |
cosa-asr
cosa-asr 将输入语音转换为文本。它可以将录音资料整理成文档，或将语音提出的请求转换为后续业务系统可处理的输入。
- 转录语音备忘录和录音资料。
- 将基于语音的问题和业务请求转换为输入。
- 生成用于语音克隆的参考文本。
- 用于转录后继续进行摘要、分类和搜索的处理。
将转录结果传递给 CIP 后，可进一步进行内容摘要、请求分类和业务草稿撰写。再使用 cosa-a 或 cosa-b 合成处理结果，即可构建具备语音输入和输出的业务服务。
Cova
cova-1 是一款基于 LLM、专用于视觉 OCR 的模型。它可以识别文档和图像中的文本，提取布局和表格结构，并提供对视觉元素的简要说明。
它将人类阅读的文档转换为代理和业务系统更易使用的形式。正文和表格会被提取为结构化内容，文档中包含的图像则以简短说明传递，因此后续代理可以同时掌握文档内容和视觉上下文。通过先使用提取的文本和说明了解资料，仅对需要详细确认的原始内容进行进一步查看，可以构建减少重复输入原始图像的流程，从而节省上下文令牌。
| 功能 | 说明 |
|---|---|
| 文本识别 | 从扫描或拍摄的文档中提取文字。 |
| 布局解析 | 考虑文档布局，将内容划分为不同区块。 |
| 提供位置信息 | 提供已识别区块的位置，将提取结果与原文关联起来。 |
| 表格结构提取 | 将表格内容结构化，用于搜索和数据处理。 |
| 简要图像描述 | 简要描述图像和视觉元素的内容，为代理提供解读线索。 |
| 上下文优化 | 围绕文本、结构和图像描述传递信息，减少原始图像的重复输入。 |
| 选择性详细分析 | 帮助代理判断需要进一步确认的原始图像。 |
| 文档格式转换 | 将识别结果整理为 HTML 或 Markdown。 |
- 文档数字化：将纸质文档和扫描资料转换为基于文本的资料。
- 业务文档受理：从申请表、证明材料和报告中提取内容。
- 表格数据处理：将文档中包含的表格用于后续数据处理。
- 知识搜索预处理：将文档图像和视觉资料转换为可搜索的文本和结构。
- 文档审核自动化：将提取结果传递给 CIP，执行项目确认、摘要和资料比较。
- 代理输入优化：整理长文档的正文、表格和图像描述，仅传递所需信息。
例如，在提取报告正文和表格的同时，将插入的图表描述为展示季度销售额趋势的图表。代理通过该描述了解图表的存在及用途，并在需要准确数值或趋势时进一步查看相应的原始内容。
产品连接
连接产品后，可以构建以下流程。
- 基于文档的业务：Cova 提取正文、表格和图像描述，CIP 有选择地确认所需的原始内容并执行分析和业务处理，Cosa 以语音传达结果。
- 基于语音的业务：Cosa ASR 将语音请求转换为文本，cosa-a 或 cosa-b 朗读 CIP 处理后的回答。
- 现场自动化：cip-5.5-sm 对现场数据进行分类并执行本地业务，将需要进一步综合分析的资料传递给 cip-5.5-im 或 cip-5.5-mm。
网关中允许的调用
网关计划规定每个模型允许的调用。下表列出 LLM_FREE、TTS_FREE、STT_FREE 计划开放的范围，这些计划无需申请即可自动应用。不包含通过其他路径开放的模型。
| 模型 ID | 允许的调用 | 依据计划 |
|---|---|---|
| cip-5.5-im | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-im-chat | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm-h | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cosa-a | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-b | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-tts | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-asr | audio.transcriptions | STT_FREE |
| ivy-4-embedding | embeddings | LLM_FREE |
| ivy-4-embedding-mm | embeddings | LLM_FREE |
| ivy-4-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
cip-5.5-sm 和 cova-1 不在此套餐表中。表中的 cip-5.5-im-chat、cip-5.5-mm-h、cosa-tts、ivy-4-embedding、ivy-4-embedding-mm、ivy-4-mm 是产品说明中未包含的模型 ID。API 调用文档中说明了调用密钥对应的路径。