Developer guide
Modelo
Resumo dos modelos
Os modelos CLEVI são divididos em três famílias de produtos: CIP, responsável pela inteligência geral e pela automação de tarefas; Cosa, responsável pela geração e pelo reconhecimento de voz; e Cova, responsável pela extração de informações de documentos e imagens. Cada produto pode ser usado de forma independente ou conectado a serviços que abrangem reconhecimento de documentos, análise, execução de tarefas e orientação por voz.
| Produto | ID do modelo | Principais especificações | Principal função |
|---|---|---|---|
| CIP-5.5-SM | cip-5.5-sm | 24B~40B ajustável | Automação de tarefas locais e em servidores de edge |
| CIP-5.5-IM | cip-5.5-im | 360B · entrada de 256K · saída de 64K · multimodal | Processamento geral de tarefas. Prioridade para velocidade de resposta e capacidade de processamento |
| CIP-5.5-MM | cip-5.5-mm | 800B · entrada de 512K · saída de 64K · multimodal | Análise de contextos longos e resolução de problemas complexos |
| Cosa-A | cosa-a | Síntese·clonagem·design·streaming de voz | Geração de voz com controle detalhado de síntese |
| Cosa-B | cosa-b | Síntese·clonagem·design·streaming de voz | Seleção de voz e geração de voz personalizada |
| Cosa ASR | cosa-asr | Reconhecimento de voz | Conversão de entrada de voz em texto |
| Cova | cova-1 | Exclusivo para OCR visual baseado em LLM | Extração de texto, layout e tabelas, além de descrição simples de imagens |
CIP
O CIP é responsável pela inteligência geral e pela automação de tarefas. Ele é composto pelo cip-5.5-im e pelo cip-5.5-mm, chamados por meio do gateway, e pelo cip-5.5-sm, implantado em servidores de edge e em ambientes on-premises.
cip-5.5-im e cip-5.5-mm
| Item | cip-5.5-im | cip-5.5-mm |
|---|---|---|
| Escala | 360B | 800B |
| Limite de entrada | 256K | 512K |
| Saída máxima | 64K | 64K |
| Formato de entrada | Texto e materiais visuais (documentos, imagens de tela, tabelas·gráficos) | Texto e materiais visuais (análise integrada de código·documentos·materiais de tela) |
| Direcionamento da configuração | Processa tarefas rotineiras de conhecimento e desenvolvimento com foco na velocidade de resposta, na eficiência de custos e na capacidade de processamento. | Processa tarefas complexas que integram diversos materiais e condições e conectam os resultados da análise à execução de tarefas reais. |
| Uso de entradas longas | Analisa diversos documentos, arquivos de código e históricos de conversas em conjunto. | Lida com grandes volumes de materiais de referência e históricos de tarefas e executa tarefas de agente em que pesquisa·execução·validação se estendem por várias etapas. |
O cip-5.5-im é adequado para tarefas com objetivos e escopo de trabalho claros. Exemplos típicos incluem extrair as informações necessárias dos materiais fornecidos, elaborar resultados no formato especificado e modificar o código de acordo com os requisitos. A saída máxima de 64K é usada para elaborar relatórios detalhados ou resultados compostos por várias partes.
- Assistência ao desenvolvimento: escreve funções e recursos, corrige bugs de escopo claro e implementa de acordo com os padrões existentes.
- Geração de testes: cria rascunhos de testes e casos de validação com base nos requisitos e na implementação.
- Processamento de documentos: realiza resumos, classificações, extração de itens, conversão de formatos e elaboração de rascunhos.
- Análise multimodal: revisa imagens de telas e tabelas e gráficos de documentos juntamente com as descrições relevantes.
- Suporte interativo ao trabalho: responde a perguntas com base nos materiais de trabalho e elabora os resultados necessários.
- Processamento em massa: usado para resumir individualmente vários documentos, classificar solicitações e transformar dados.
- Subagente: realiza subtarefas com limites claros, como explorar código, revisar arquivos específicos e organizar materiais.
Por exemplo, é usado para receber requisitos funcionais e o código relacionado e elaborar uma proposta de alteração, testes e uma descrição das mudanças, ou para classificar documentos recebidos e criar resumos para os responsáveis.
O cip-5.5-mm é adequado para tarefas que exigem compreender as relações entre as informações e manter a consistência de todo o trabalho. No desenvolvimento, revisa as conexões entre requisitos, projeto, implementação e testes; na análise de documentos, consolida as afirmações e evidências, diferenças e contradições de vários materiais.
- Implementação de recursos complexos: altera conjuntamente código, testes e documentação, considerando os contratos e o comportamento de vários módulos.
- Análise de grandes bases de código: revisa as relações de chamada, o fluxo de dados e o impacto das alterações.
- Análise das causas de incidentes: compara logs, configurações, código e resultados de execução para organizar hipóteses sobre as causas e os procedimentos de verificação.
- Suporte ao projeto e à tomada de decisões: estrutura requisitos e restrições e analisa os impactos das alternativas de implementação.
- Análise integrada de vários documentos: organiza, com base em evidências, os pontos em comum, as diferenças e as contradições entre relatórios e documentos técnicos.
- Revisão integrada multimodal: interpreta conjuntamente textos e materiais visuais para analisar problemas e requisitos.
- Agente de várias etapas: usado para tarefas que envolvem investigação, planejamento, execução de ferramentas e revisão dos resultados.
- Elaboração de documentos especializados: redige relatórios técnicos, propostas de projeto e documentos de revisão detalhados que incorporam condições complexas e evidências.
Por exemplo, é usado para revisar em conjunto os códigos relacionados e os logs de erros ocorridos em vários serviços, ou para tarefas que vão desde a análise de requisitos de funcionalidades complexas até a implementação e a revisão dos resultados da validação.
cip-5.5-sm
O cip-5.5-sm realiza inferência local e automação de tarefas em servidores de edge e ambientes on-premises. Como o tamanho do modelo pode ser ajustado na faixa de 24B a 40B, é possível escolher a configuração de acordo com os recursos computacionais do equipamento de implantação e o desempenho necessário no local. Como o processamento ocorre próximo ao ponto onde os dados são gerados, ele é usado para integração com sistemas locais e aproveitamento de dados internos. Ao configurar localmente os modelos e as ferramentas necessários, também pode ser operado em ambientes com conexão externa limitada.
Ele interpreta as informações geradas no local e as conecta aos procedimentos de processamento. Classifica logs e solicitações, extrai as informações necessárias dos dados e executa tarefas repetitivas usando ferramentas internas e scripts conectados.
- Processamento de eventos locais: classifica os logs e as informações de status dos equipamentos e seleciona os eventos que precisam ser verificados.
- Pré-processamento de dados: extrai os itens principais dos registros de trabalho e realiza sua classificação, etiquetagem e normalização.
- Roteamento de solicitações: encaminha as solicitações recebidas ao sistema responsável ou ao procedimento de processamento correspondente.
- Agente de tarefas locais: executa tarefas repetitivas consultando sistemas internos e executando scripts.
- Suporte a tarefas on-premises: responde a perguntas com base em materiais internos e organiza o conteúdo das tarefas.
- Suporte a análises posteriores: seleciona os materiais que precisam de revisão adicional e organiza os pontos principais.
Por exemplo, é usado em um fluxo que classifica os logs operacionais no servidor de uma unidade, consulta o histórico relacionado e elabora um resumo do incidente para o responsável.
Cosa
Cosa é uma linha de produtos de voz que converte texto em fala, reconhece a fala de entrada como texto e permite registrar e reutilizar a voz desejada. É usada para orientações de serviços, produção de conteúdo, suporte à acessibilidade e interfaces de voz de agentes conversacionais.
A geração de voz é realizada por cosa-a e cosa-b, enquanto o reconhecimento de voz é realizado por cosa-asr. cosa-a e cosa-b são modelos distintos, cada um com sua própria lista de vozes e configurações de síntese, selecionados na mesma interface de serviço. Os recursos oferecidos em comum pelos dois modelos são os seguintes.
- Síntese de texto para fala: sintetiza o texto inserido com a voz selecionada.
- Clonagem de voz: registra uma voz com base em uma gravação de referência para a qual você tem permissão de uso e sintetiza novas frases.
- Design de voz: cria e registra uma voz descrevendo as características desejadas.
- Reutilização de voz: usa a voz registrada em sínteses posteriores.
- Configurações de síntese: ajusta a velocidade da fala, o idioma e outros parâmetros.
- Entrega por streaming: sintetiza o texto em unidades de frases assim que ele chega e entrega o áudio sequencialmente.
- Controle de reprodução: permite pausar, retomar, interromper e inserir frases adicionais.
Com a entrada progressiva de texto, é possível iniciar a reprodução de voz antes que toda a resposta seja concluída. Enquanto o CIP redige a resposta, você pode configurar um serviço para que o Cosa leia as frases assim que estiverem prontas.
cosa-a
cosa-a oferece suporte à síntese de texto para fala, clonagem de voz, design de voz e saída por streaming. Além das funções básicas de selecionar voz, idioma e velocidade da fala, oferece controles adicionais, como configurações relacionadas ao número de etapas de síntese, à intensidade da orientação e à duração da geração. É usado para ajustar as configurações durante a criação da voz e revisar o resultado, ou para aplicar várias configurações ao mesmo roteiro e escolher o resultado.
- Sintetiza orientações e notificações de aplicativos, quiosques e sistemas de trabalho.
- Cria materiais educacionais e manuais de uso em áudio.
- Produz narrações para conteúdos de vídeo e áudio.
- Produz conteúdos recorrentes com a voz registrada.
- É usado para a saída de voz por streaming de agentes conversacionais.
- É usado na criação de voz com ajuste detalhado das configurações de síntese.
cosa-b
cosa-b oferece suporte à seleção de vozes predefinidas, ao design de voz com base em descrições, à clonagem com base em vozes de referência e à saída por streaming. Você pode escolher uma voz na lista de vozes própria ou registrar uma nova voz para usar no serviço.
A clonagem de voz utiliza uma gravação de referência e o texto correspondente. Também oferece suporte a um fluxo que gera o texto de referência por reconhecimento de voz durante o registro, e a voz registrada pode ser reutilizada em sínteses posteriores.
- Configura a persona de voz de serviços e personagens.
- Cria vozes personalizadas a partir de uma descrição ou gravação de referência.
- Sintetiza orientações de marca, falas de personagens e narrações de conteúdo.
- É usado para respostas de voz de agentes conversacionais.
- Sintetiza mensagens de orientação e roteiros que mudam, mantendo a mesma voz.
Ao escolher entre cosa-a e cosa-b, use como critérios a voz desejada, o resultado real da síntese e os itens de controle necessários.
| Item | cosa-a | cosa-b |
|---|---|---|
| Configurações de síntese | Além da voz, do idioma e da velocidade de fala, configurações relacionadas ao número de etapas de síntese, à intensidade da orientação e à duração da geração | Configurações comuns, como velocidade de fala e idioma |
| Entrada para clonagem | Gravação de referência para a qual você tem permissão de uso | Gravação de referência e texto correspondente. É possível gerar o texto de referência por reconhecimento de voz durante o processo de registro |
| Função | Geração de voz com controle detalhado da síntese | Seleção de voz e geração de voz personalizada |
cosa-asr
cosa-asr converte a voz de entrada em texto. Ele documenta materiais gravados ou transforma solicitações recebidas por voz em entradas que os sistemas de trabalho subsequentes podem processar.
- Transcreve memorandos de voz e materiais gravados.
- Converte perguntas e solicitações de trabalho baseadas em voz em entradas.
- Gera texto de referência para clonagem de voz.
- É usado em fluxos que continuam, após a transcrição, com resumo, classificação e pesquisa.
Ao enviar os resultados da transcrição ao CIP, o processo continua com o resumo do conteúdo, a classificação das solicitações e a elaboração de rascunhos de tarefas. Ao sintetizar os resultados processados com cosa-a ou cosa-b, você obtém um serviço de trabalho com entrada e saída de voz.
Cova
cova-1 é um modelo exclusivo de OCR visual baseado em LLM. Ele reconhece texto em documentos e imagens, extrai o layout e a estrutura das tabelas e fornece descrições simples dos elementos visuais.
Converte documentos destinados à leitura humana em um formato adequado para uso por agentes e sistemas de trabalho. O texto principal e as tabelas são extraídos como conteúdo estruturado, enquanto as imagens incluídas nos documentos são transmitidas como descrições curtas. Assim, os agentes subsequentes podem compreender tanto o conteúdo quanto o contexto visual do documento. Ao estruturar um fluxo que primeiro compreende o material com o texto e as descrições extraídos e revisa adicionalmente apenas os originais que exigem confirmação detalhada, é possível reduzir a quantidade de vezes que as imagens originais precisam ser inseridas e economizar tokens de contexto.
| Função | Descrição |
|---|---|
| Reconhecimento de texto | Extrai caracteres de documentos digitalizados ou fotografados. |
| Interpretação do layout | Considera a disposição do documento e divide o conteúdo em blocos. |
| Fornecimento de informações de localização | Fornece a localização dos blocos reconhecidos para conectar os resultados extraídos ao documento original. |
| Extração da estrutura de tabelas | Estrutura o conteúdo das tabelas para uso em pesquisas e processamento de dados. |
| Descrição simples de imagens | Descreve brevemente o conteúdo de imagens e elementos visuais para fornecer ao agente pistas para interpretação. |
| Otimização de contexto | Reduz a necessidade de inserir repetidamente a imagem original ao transmitir informações com foco no texto, na estrutura e nas descrições de imagens. |
| Análise detalhada seletiva | Ajuda o agente a determinar quais imagens originais precisam ser verificadas adicionalmente. |
| Conversão de formato de documentos | Organiza os resultados do reconhecimento em HTML ou Markdown. |
- Digitalização de documentos: converte documentos em papel e materiais digitalizados em materiais baseados em texto.
- Recebimento de documentos de trabalho: extrai conteúdo de formulários de solicitação, documentos comprobatórios e relatórios.
- Processamento de dados de tabelas: utiliza as tabelas incluídas nos documentos no processamento posterior de dados.
- Pré-processamento para pesquisa de conhecimento: converte imagens de documentos e materiais visuais em texto e estruturas pesquisáveis.
- Automação da revisão de documentos: envia os resultados extraídos ao CIP para verificar itens, resumir e comparar materiais.
- Otimização de entradas para agentes: organiza o texto principal, as tabelas e as descrições de imagens de documentos extensos para transmitir apenas as informações necessárias.
Por exemplo, ao extrair o texto principal e as tabelas de um relatório, descreve um gráfico inserido como um gráfico que mostra a tendência da receita por trimestre. Com essa descrição, o agente identifica a existência e a finalidade do gráfico e, quando precisa de valores ou tendências precisos, verifica adicionalmente o original correspondente.
Conexão entre produtos
Ao conectar os produtos, é possível configurar os seguintes fluxos.
- Operações baseadas em documentos: Cova extrai o texto principal, as tabelas e as descrições de imagens; o CIP verifica seletivamente os originais necessários para realizar análises e processar as tarefas; e Cosa transmite os resultados por voz.
- Operações baseadas em voz: o Cosa ASR converte solicitações de voz em texto, e cosa-a ou cosa-b lê as respostas processadas pelo CIP.
- Automação em campo: o cip-5.5-sm classifica os dados de campo e executa operações locais, encaminhando ao cip-5.5-im ou cip-5.5-mm os materiais que exigem análise abrangente adicional.
Chamadas permitidas no gateway
Os planos do gateway determinam as chamadas permitidas para cada modelo. A tabela abaixo mostra os escopos habilitados pelos planos LLM_FREE, TTS_FREE e STT_FREE, que são aplicados automaticamente sem necessidade de solicitação. Ela não inclui modelos habilitados por outras rotas.
| ID do modelo | Chamadas permitidas | Plano de referência |
|---|---|---|
| cip-5.5-im | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-im-chat | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm-h | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cosa-a | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-b | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-tts | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-asr | audio.transcriptions | STT_FREE |
| ivy-4-embedding | embeddings | LLM_FREE |
| ivy-4-embedding-mm | embeddings | LLM_FREE |
| ivy-4-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
cip-5.5-sm과 cova-1은 이 플랜 표에 없습니다. 표의 cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm, ivy-4-mm은 위 제품 설명에 포함되지 않은 모델 ID입니다. 호출 키가 어느 경로에 해당하는지는 API 호출하기 문서에 있습니다.