Developer guide

Modelo

Resumo dos modelos

Os modelos CLEVI são divididos em três famílias de produtos: CIP, responsável pela inteligência geral e pela automação de tarefas; Cosa, responsável pela geração e pelo reconhecimento de voz; e Cova, responsável pela extração de informações de documentos e imagens. Cada produto pode ser usado de forma independente ou conectado a serviços que abrangem reconhecimento de documentos, análise, execução de tarefas e orientação por voz.

ProdutoID do modeloPrincipais especificaçõesPrincipal função
CIP-5.5-SMcip-5.5-sm24B~40B ajustávelAutomação de tarefas locais e em servidores de edge
CIP-5.5-IMcip-5.5-im360B · entrada de 256K · saída de 64K · multimodalProcessamento geral de tarefas. Prioridade para velocidade de resposta e capacidade de processamento
CIP-5.5-MMcip-5.5-mm800B · entrada de 512K · saída de 64K · multimodalAnálise de contextos longos e resolução de problemas complexos
Cosa-Acosa-aSíntese·clonagem·design·streaming de vozGeração de voz com controle detalhado de síntese
Cosa-Bcosa-bSíntese·clonagem·design·streaming de vozSeleção de voz e geração de voz personalizada
Cosa ASRcosa-asrReconhecimento de vozConversão de entrada de voz em texto
Covacova-1Exclusivo para OCR visual baseado em LLMExtração de texto, layout e tabelas, além de descrição simples de imagens

CIP

O CIP é responsável pela inteligência geral e pela automação de tarefas. Ele é composto pelo cip-5.5-im e pelo cip-5.5-mm, chamados por meio do gateway, e pelo cip-5.5-sm, implantado em servidores de edge e em ambientes on-premises.

cip-5.5-im e cip-5.5-mm

Itemcip-5.5-imcip-5.5-mm
Escala360B800B
Limite de entrada256K512K
Saída máxima64K64K
Formato de entradaTexto e materiais visuais (documentos, imagens de tela, tabelas·gráficos)Texto e materiais visuais (análise integrada de código·documentos·materiais de tela)
Direcionamento da configuraçãoProcessa tarefas rotineiras de conhecimento e desenvolvimento com foco na velocidade de resposta, na eficiência de custos e na capacidade de processamento.Processa tarefas complexas que integram diversos materiais e condições e conectam os resultados da análise à execução de tarefas reais.
Uso de entradas longasAnalisa diversos documentos, arquivos de código e históricos de conversas em conjunto.Lida com grandes volumes de materiais de referência e históricos de tarefas e executa tarefas de agente em que pesquisa·execução·validação se estendem por várias etapas.

O cip-5.5-im é adequado para tarefas com objetivos e escopo de trabalho claros. Exemplos típicos incluem extrair as informações necessárias dos materiais fornecidos, elaborar resultados no formato especificado e modificar o código de acordo com os requisitos. A saída máxima de 64K é usada para elaborar relatórios detalhados ou resultados compostos por várias partes.

  • Assistência ao desenvolvimento: escreve funções e recursos, corrige bugs de escopo claro e implementa de acordo com os padrões existentes.
  • Geração de testes: cria rascunhos de testes e casos de validação com base nos requisitos e na implementação.
  • Processamento de documentos: realiza resumos, classificações, extração de itens, conversão de formatos e elaboração de rascunhos.
  • Análise multimodal: revisa imagens de telas e tabelas e gráficos de documentos juntamente com as descrições relevantes.
  • Suporte interativo ao trabalho: responde a perguntas com base nos materiais de trabalho e elabora os resultados necessários.
  • Processamento em massa: usado para resumir individualmente vários documentos, classificar solicitações e transformar dados.
  • Subagente: realiza subtarefas com limites claros, como explorar código, revisar arquivos específicos e organizar materiais.

Por exemplo, é usado para receber requisitos funcionais e o código relacionado e elaborar uma proposta de alteração, testes e uma descrição das mudanças, ou para classificar documentos recebidos e criar resumos para os responsáveis.

O cip-5.5-mm é adequado para tarefas que exigem compreender as relações entre as informações e manter a consistência de todo o trabalho. No desenvolvimento, revisa as conexões entre requisitos, projeto, implementação e testes; na análise de documentos, consolida as afirmações e evidências, diferenças e contradições de vários materiais.

  • Implementação de recursos complexos: altera conjuntamente código, testes e documentação, considerando os contratos e o comportamento de vários módulos.
  • Análise de grandes bases de código: revisa as relações de chamada, o fluxo de dados e o impacto das alterações.
  • Análise das causas de incidentes: compara logs, configurações, código e resultados de execução para organizar hipóteses sobre as causas e os procedimentos de verificação.
  • Suporte ao projeto e à tomada de decisões: estrutura requisitos e restrições e analisa os impactos das alternativas de implementação.
  • Análise integrada de vários documentos: organiza, com base em evidências, os pontos em comum, as diferenças e as contradições entre relatórios e documentos técnicos.
  • Revisão integrada multimodal: interpreta conjuntamente textos e materiais visuais para analisar problemas e requisitos.
  • Agente de várias etapas: usado para tarefas que envolvem investigação, planejamento, execução de ferramentas e revisão dos resultados.
  • Elaboração de documentos especializados: redige relatórios técnicos, propostas de projeto e documentos de revisão detalhados que incorporam condições complexas e evidências.

Por exemplo, é usado para revisar em conjunto os códigos relacionados e os logs de erros ocorridos em vários serviços, ou para tarefas que vão desde a análise de requisitos de funcionalidades complexas até a implementação e a revisão dos resultados da validação.

cip-5.5-sm

O cip-5.5-sm realiza inferência local e automação de tarefas em servidores de edge e ambientes on-premises. Como o tamanho do modelo pode ser ajustado na faixa de 24B a 40B, é possível escolher a configuração de acordo com os recursos computacionais do equipamento de implantação e o desempenho necessário no local. Como o processamento ocorre próximo ao ponto onde os dados são gerados, ele é usado para integração com sistemas locais e aproveitamento de dados internos. Ao configurar localmente os modelos e as ferramentas necessários, também pode ser operado em ambientes com conexão externa limitada.

Ele interpreta as informações geradas no local e as conecta aos procedimentos de processamento. Classifica logs e solicitações, extrai as informações necessárias dos dados e executa tarefas repetitivas usando ferramentas internas e scripts conectados.

  • Processamento de eventos locais: classifica os logs e as informações de status dos equipamentos e seleciona os eventos que precisam ser verificados.
  • Pré-processamento de dados: extrai os itens principais dos registros de trabalho e realiza sua classificação, etiquetagem e normalização.
  • Roteamento de solicitações: encaminha as solicitações recebidas ao sistema responsável ou ao procedimento de processamento correspondente.
  • Agente de tarefas locais: executa tarefas repetitivas consultando sistemas internos e executando scripts.
  • Suporte a tarefas on-premises: responde a perguntas com base em materiais internos e organiza o conteúdo das tarefas.
  • Suporte a análises posteriores: seleciona os materiais que precisam de revisão adicional e organiza os pontos principais.

Por exemplo, é usado em um fluxo que classifica os logs operacionais no servidor de uma unidade, consulta o histórico relacionado e elabora um resumo do incidente para o responsável.

Cosa

Cosa é uma linha de produtos de voz que converte texto em fala, reconhece a fala de entrada como texto e permite registrar e reutilizar a voz desejada. É usada para orientações de serviços, produção de conteúdo, suporte à acessibilidade e interfaces de voz de agentes conversacionais.

A geração de voz é realizada por cosa-a e cosa-b, enquanto o reconhecimento de voz é realizado por cosa-asr. cosa-a e cosa-b são modelos distintos, cada um com sua própria lista de vozes e configurações de síntese, selecionados na mesma interface de serviço. Os recursos oferecidos em comum pelos dois modelos são os seguintes.

  • Síntese de texto para fala: sintetiza o texto inserido com a voz selecionada.
  • Clonagem de voz: registra uma voz com base em uma gravação de referência para a qual você tem permissão de uso e sintetiza novas frases.
  • Design de voz: cria e registra uma voz descrevendo as características desejadas.
  • Reutilização de voz: usa a voz registrada em sínteses posteriores.
  • Configurações de síntese: ajusta a velocidade da fala, o idioma e outros parâmetros.
  • Entrega por streaming: sintetiza o texto em unidades de frases assim que ele chega e entrega o áudio sequencialmente.
  • Controle de reprodução: permite pausar, retomar, interromper e inserir frases adicionais.

Com a entrada progressiva de texto, é possível iniciar a reprodução de voz antes que toda a resposta seja concluída. Enquanto o CIP redige a resposta, você pode configurar um serviço para que o Cosa leia as frases assim que estiverem prontas.

cosa-a

cosa-a oferece suporte à síntese de texto para fala, clonagem de voz, design de voz e saída por streaming. Além das funções básicas de selecionar voz, idioma e velocidade da fala, oferece controles adicionais, como configurações relacionadas ao número de etapas de síntese, à intensidade da orientação e à duração da geração. É usado para ajustar as configurações durante a criação da voz e revisar o resultado, ou para aplicar várias configurações ao mesmo roteiro e escolher o resultado.

  • Sintetiza orientações e notificações de aplicativos, quiosques e sistemas de trabalho.
  • Cria materiais educacionais e manuais de uso em áudio.
  • Produz narrações para conteúdos de vídeo e áudio.
  • Produz conteúdos recorrentes com a voz registrada.
  • É usado para a saída de voz por streaming de agentes conversacionais.
  • É usado na criação de voz com ajuste detalhado das configurações de síntese.

cosa-b

cosa-b oferece suporte à seleção de vozes predefinidas, ao design de voz com base em descrições, à clonagem com base em vozes de referência e à saída por streaming. Você pode escolher uma voz na lista de vozes própria ou registrar uma nova voz para usar no serviço.

A clonagem de voz utiliza uma gravação de referência e o texto correspondente. Também oferece suporte a um fluxo que gera o texto de referência por reconhecimento de voz durante o registro, e a voz registrada pode ser reutilizada em sínteses posteriores.

  • Configura a persona de voz de serviços e personagens.
  • Cria vozes personalizadas a partir de uma descrição ou gravação de referência.
  • Sintetiza orientações de marca, falas de personagens e narrações de conteúdo.
  • É usado para respostas de voz de agentes conversacionais.
  • Sintetiza mensagens de orientação e roteiros que mudam, mantendo a mesma voz.

Ao escolher entre cosa-a e cosa-b, use como critérios a voz desejada, o resultado real da síntese e os itens de controle necessários.

Itemcosa-acosa-b
Configurações de sínteseAlém da voz, do idioma e da velocidade de fala, configurações relacionadas ao número de etapas de síntese, à intensidade da orientação e à duração da geraçãoConfigurações comuns, como velocidade de fala e idioma
Entrada para clonagemGravação de referência para a qual você tem permissão de usoGravação de referência e texto correspondente. É possível gerar o texto de referência por reconhecimento de voz durante o processo de registro
FunçãoGeração de voz com controle detalhado da sínteseSeleção de voz e geração de voz personalizada

cosa-asr

cosa-asr converte a voz de entrada em texto. Ele documenta materiais gravados ou transforma solicitações recebidas por voz em entradas que os sistemas de trabalho subsequentes podem processar.

  • Transcreve memorandos de voz e materiais gravados.
  • Converte perguntas e solicitações de trabalho baseadas em voz em entradas.
  • Gera texto de referência para clonagem de voz.
  • É usado em fluxos que continuam, após a transcrição, com resumo, classificação e pesquisa.

Ao enviar os resultados da transcrição ao CIP, o processo continua com o resumo do conteúdo, a classificação das solicitações e a elaboração de rascunhos de tarefas. Ao sintetizar os resultados processados com cosa-a ou cosa-b, você obtém um serviço de trabalho com entrada e saída de voz.

Cova

cova-1 é um modelo exclusivo de OCR visual baseado em LLM. Ele reconhece texto em documentos e imagens, extrai o layout e a estrutura das tabelas e fornece descrições simples dos elementos visuais.

Converte documentos destinados à leitura humana em um formato adequado para uso por agentes e sistemas de trabalho. O texto principal e as tabelas são extraídos como conteúdo estruturado, enquanto as imagens incluídas nos documentos são transmitidas como descrições curtas. Assim, os agentes subsequentes podem compreender tanto o conteúdo quanto o contexto visual do documento. Ao estruturar um fluxo que primeiro compreende o material com o texto e as descrições extraídos e revisa adicionalmente apenas os originais que exigem confirmação detalhada, é possível reduzir a quantidade de vezes que as imagens originais precisam ser inseridas e economizar tokens de contexto.

FunçãoDescrição
Reconhecimento de textoExtrai caracteres de documentos digitalizados ou fotografados.
Interpretação do layoutConsidera a disposição do documento e divide o conteúdo em blocos.
Fornecimento de informações de localizaçãoFornece a localização dos blocos reconhecidos para conectar os resultados extraídos ao documento original.
Extração da estrutura de tabelasEstrutura o conteúdo das tabelas para uso em pesquisas e processamento de dados.
Descrição simples de imagensDescreve brevemente o conteúdo de imagens e elementos visuais para fornecer ao agente pistas para interpretação.
Otimização de contextoReduz a necessidade de inserir repetidamente a imagem original ao transmitir informações com foco no texto, na estrutura e nas descrições de imagens.
Análise detalhada seletivaAjuda o agente a determinar quais imagens originais precisam ser verificadas adicionalmente.
Conversão de formato de documentosOrganiza os resultados do reconhecimento em HTML ou Markdown.
  • Digitalização de documentos: converte documentos em papel e materiais digitalizados em materiais baseados em texto.
  • Recebimento de documentos de trabalho: extrai conteúdo de formulários de solicitação, documentos comprobatórios e relatórios.
  • Processamento de dados de tabelas: utiliza as tabelas incluídas nos documentos no processamento posterior de dados.
  • Pré-processamento para pesquisa de conhecimento: converte imagens de documentos e materiais visuais em texto e estruturas pesquisáveis.
  • Automação da revisão de documentos: envia os resultados extraídos ao CIP para verificar itens, resumir e comparar materiais.
  • Otimização de entradas para agentes: organiza o texto principal, as tabelas e as descrições de imagens de documentos extensos para transmitir apenas as informações necessárias.

Por exemplo, ao extrair o texto principal e as tabelas de um relatório, descreve um gráfico inserido como um gráfico que mostra a tendência da receita por trimestre. Com essa descrição, o agente identifica a existência e a finalidade do gráfico e, quando precisa de valores ou tendências precisos, verifica adicionalmente o original correspondente.

Conexão entre produtos

Ao conectar os produtos, é possível configurar os seguintes fluxos.

  • Operações baseadas em documentos: Cova extrai o texto principal, as tabelas e as descrições de imagens; o CIP verifica seletivamente os originais necessários para realizar análises e processar as tarefas; e Cosa transmite os resultados por voz.
  • Operações baseadas em voz: o Cosa ASR converte solicitações de voz em texto, e cosa-a ou cosa-b lê as respostas processadas pelo CIP.
  • Automação em campo: o cip-5.5-sm classifica os dados de campo e executa operações locais, encaminhando ao cip-5.5-im ou cip-5.5-mm os materiais que exigem análise abrangente adicional.

Chamadas permitidas no gateway

Os planos do gateway determinam as chamadas permitidas para cada modelo. A tabela abaixo mostra os escopos habilitados pelos planos LLM_FREE, TTS_FREE e STT_FREE, que são aplicados automaticamente sem necessidade de solicitação. Ela não inclui modelos habilitados por outras rotas.

ID do modeloChamadas permitidasPlano de referência
cip-5.5-imanthropic.messages · chat.completions · chat.completions.batch · completions · responsesLLM_FREE
cip-5.5-im-chatanthropic.messages · chat.completions · chat.completions.batch · completions · responsesLLM_FREE
cip-5.5-mmanthropic.messages · chat.completions · chat.completions.batch · completions · responsesLLM_FREE
cip-5.5-mm-hanthropic.messages · chat.completions · chat.completions.batch · completions · responsesLLM_FREE
cosa-aaudio.speech · audio.speech.clone · voices · voices.designTTS_FREE
cosa-baudio.speech · audio.speech.clone · voices · voices.designTTS_FREE
cosa-ttsaudio.speech · audio.speech.clone · voices · voices.designTTS_FREE
cosa-asraudio.transcriptionsSTT_FREE
ivy-4-embeddingembeddingsLLM_FREE
ivy-4-embedding-mmembeddingsLLM_FREE
ivy-4-mmanthropic.messages · chat.completions · chat.completions.batch · completions · responsesLLM_FREE

cip-5.5-sm과 cova-1은 이 플랜 표에 없습니다. 표의 cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm, ivy-4-mm은 위 제품 설명에 포함되지 않은 모델 ID입니다. 호출 키가 어느 경로에 해당하는지는 API 호출하기 문서에 있습니다.

Idioma e região

Os idiomas traduzidos automaticamente são traduzidos por clevi/cip-5.5-im e identificados como tal. Isso se aplica aos idiomas com um pacote de site publicado.

137 idiomas

Recomendado

1

Ásia Oriental

7

Sudeste Asiático

11

Ásia Meridional

18

Ásia Central

5

Oriente Médio e Cáucaso

10

Europa Ocidental e Europa Meridional

17

Reino Unido e Irlanda

4

Europa Setentrional

10

Europa Central e Bálcãs

14

Europa Oriental

5

África Oriental

8

África Ocidental e África Central

9

África Meridional

8

Américas

5

Oceania

5