Developer guide
Modèl
Resumit dels modèls
Los modèls CLEVI se divison en tres gamas de produches: CIP, encargat de l’intelligéncia generala e de l’automatizacion dels prètzfaches; Cosa, encargat de la generacion e de la reconeissença vocala; e Cova, encargat de l’extraccion d’informacions dels documents e de las imatges. Cada produch pòt èsser utilizat independentament o connectat a de servicis que menan de la reconeissença de documents a l’analisi, a l’execucion de prètzfaches e a la guida vocala.
| Produch | ID del modèl | Especificacions principalas | Ròtle principal |
|---|---|---|---|
| CIP-5.5-SM | cip-5.5-sm | 24B~40B ajustable | Automatizacion dels prètzfaches sus de servidors edge e en local |
| CIP-5.5-IM | cip-5.5-im | 360B · entrada 256K · sortida 64K · multimodal | Tractament general dels prètzfaches. Prioritat a la velocitat de responsa e al debit |
| CIP-5.5-MM | cip-5.5-mm | 800B · entrada 512K · sortida 64K · multimodal | Analisi de contèxtes longs e resolucion de problèmas complèxes |
| Cosa-A | cosa-a | Sintèsi·clonatge·dessenh·streaming vocals | Generacion vocala amb un contraròtle detalhat de la sintèsi |
| Cosa-B | cosa-b | Sintèsi·clonatge·dessenh·streaming vocals | Seleccion de votz e generacion vocala personalizada |
| Cosa ASR | cosa-asr | Reconeissença vocala | Conversion de las entradas vocalas en tèxte |
| Cova | cova-1 | Vision OCR dedicada basada sus un LLM | Extraccion de tèxte, de la mesa en pagina e de tablèus, e descripcion simpla d’imatges |
CIP
CIP s’encarga de l’intelligéncia generala e de l’automatizacion dels prètzfaches. Se compausa de cip-5.5-im e cip-5.5-mm, apelats via la passerèla, e de cip-5.5-sm, desplegat sus de servidors edge e en local.
cip-5.5-im e cip-5.5-mm
| Element | cip-5.5-im | cip-5.5-mm |
|---|---|---|
| Talha | 360B | 800B |
| Limit d’entrada | 256K | 512K |
| Sortida maximala | 64K | 64K |
| Formats d’entrada | Tèxte e contenguts visuals (documents, capturas d’ecran, tablèus e grafics) | Tèxte e contenguts visuals (revision integrada de còde, documents e contenguts d’ecran) |
| Orientacion de la configuracion | Tracta los prètzfaches quotidians de coneissenças e los trabalhs de desvolopament en priorizant la velocitat de responsa, l’eficacitat dels còstes e lo debit. | Tracta los prètzfaches complèxes que sintetizan e analizan de fonts e de condicions multiplas, e que connectan los resultats de l’analisi a d’accions concrètas. |
| Utilizacion de las entradas longas | Revisa simultanèament mantun document, fichièr de còde e istoric de conversacion. | Tracta simultanèament de fonts de referéncia e d’istorics de trabalh voluminoses, e realiza de prètzfaches d’agent ont l’enquèsta, l’execucion e la validacion s’encadenan sus mantun nivèl. |
cip-5.5-im es adaptat a las tasques amb objectius e encastre de trabalh clars. Los exemples principals son l’extraccion de las informacions necessàrias dels documents provesits, la redaccion dels resultats dins lo format indicat e la modificacion del còdi segon los requisits. La sortida maximala de 64K servís a redigir de rapòrts detalhats o de resultats compausats de mantuna partida.
- Assisténcia al desvolopament: escriure de foncions e de foncionalitats, corregir de bugs amb un encastre ben definit e implementar segon los modèls existents.
- Generacion de tèstes: redigir d’esboces de tèstes e de cases de validacion a partir dels requisits e de l’implementacion.
- Tractament de documents: s’ocupar del resum, de la classificacion, de l’extraccion d’elements, de la conversion de formats e de la redaccion d’esboces.
- Analisi multimodala: examinar d’imatges d’ecrans e de tablèus e esquèmas de documents amb las explicacions pertinentas.
- Assisténcia interactiva a las tasques: respondre a de questions a partir dels documents de trabalh e redigir los resultats necessaris.
- Tractament en massa: utilizar per los resums individuals de nombroses documents, la classificacion de demandas e la conversion de donadas.
- Subagent: s’ocupar de sos-tasques amb de limits clars, coma l’exploracion del còdi, l’examen de fichièrs especifics o l’organizacion de documents.
Per exemple, s’utiliza per recebre de requisits foncionals e lo còdi concernit e redigir una prepausa de modificacion, de tèstes e una explicacion dels cambiaments, o per classificar de documents de recepcion e crear un resum destinat als responsables.
cip-5.5-mm es adaptat a las tasques que demandan de comprene las relacions entre las informacions e de manténer la coeréncia de l’ensemble del trabalh. En desvolopament, examina las ligasons entre los requisits, la concepcion, l’implementacion e los tèstes; dins l’analisi de documents, sintetiza las afirmacions e las pròvas, las diferéncias e las contradiccions de mantun document.
- Implementacion de foncionalitats complèxas: modificar ensems lo còdi, los tèstes e la documentacion en tenent compte dels contractes e del comportament de mantun modul.
- Analisi de còdi a granda escala: examinar las relacions d’apèl, los fluxes de donadas e l’encastre dels impactes de las modificacions.
- Analisi de las causas d’un incident: confrontar los jornals, la configuracion, lo còdi e los resultats d’execucion per organizar las ipotèsis sus la causa e los procediments de confirmacion.
- Assisténcia a la concepcion e a la presa de decisions: estructurar los requisits e las constrenchas e analisar l’impacte de las alternativas d’implementacion.
- Analisi sintetica de mantun document: presentar per de pròvas los punts comuns, las diferéncias e las contradiccions dels rapòrts e documents tecnics.
- Revision integranta de mantuns mòdes: interpretar ensems de tèxt e de documents visuals per analisar los problèmas e los requisits.
- Agent en mantuna etapa: utilizar per las tasques que seguisson una cadena d’enquèsta, de planificacion, d’execucion d’aisinas e de revision dels resultats.
- Redaccion de documents especializats: redigir de rapòrts tecnics, de proposicions de concepcion e de documents de revision detalhats en integrant de condicions complèxas e de pròvas.
Per exemple, s’utiliza per examinar amassa los còdis e los jornals relacionats amb d’errors apareguts dins mai d’un servici, o per menar de trabalhs que van de l’analisi dels besonhs d’una foncionalitat complèxa a son implementacion e a l’examen dels resultats de validacion.
cip-5.5-sm
cip-5.5-sm realiza d’inferéncia locala e automatiza de trabalhs sus de servidors edge e dins d’environaments on-premises. Coma la talha del modèl pòt èsser ajustada dins l’interval de 24B a 40B, se pòt causir una configuracion adaptada a las ressorsas de calcul de l’equipament de desplegament e a las performanças demandadas sul terren. Coma lo tractament se fa al pus près del luòc ont las donadas son produchas, s’utiliza per l’integracion amb los sistèmas del terren e l’utilizacion de donadas intèrnas. En configurant localament los modèls e aisinas necessaris, se pòt tanben operar dins d’environaments ont las connexions extèrnas son limitadas.
Ten un ròtle d’interpretacion de las informacions produchas sul terren e de lor conversion en proceduras de tractament. Classifica los jornals e las demandas, extrai las informacions necessàrias de las donadas e realiza de prètzfaches repetitius amb d’aisinas intèrnas e de scripts connectats.
- Tractament dels eveniments sul terren: classifica los jornals dels equipaments e las informacions d’estat, e selecciona los eveniments que requerisson una verificacion.
- Pretractament de las donadas: extrai e classifica, etiqueta e normaliza los elements essencials dels registres de trabalh.
- Routatge de las demandas: transmet las demandas recebudas al sistèma responsable o a la procedura de tractament apropriada.
- Agent de trabalh local: realiza de prètzfaches repetitius en consultant los sistèmas intèrnes e en executant de scripts.
- Assisténcia als trabalhs on-premises: respond a las questions a partir de documents intèrnes e organiza las informacions de trabalh.
- Assisténcia a l’analisi posteriora: selecciona los documents que demandan un examen suplementari e ne sintetiza los elements essencials.
Per exemple, s’utiliza dins un flux que consistís a classificar los jornals d’expleitacion sus un servidor de l’establiment, consultar l’istoric pertinent e redigir un resum de l’incident destinat al responsable.
Cosa
Cosa es una gama de produches vocals que convertís lo tèxte en votz, reconeis la votz entrada coma tèxte e permet d’enregistrar e de reutilizar la votz volguda. S’utiliza per las informacions de servici, la creacion de contengut, l’accessibilitat e las interfàcias vocalas dels agents conversacionals.
La generacion vocala es assegurada per cosa-a e cosa-b, e la reconeissença vocala per cosa-asr. cosa-a e cosa-b son de modèls separats que provesisson cadun sa lista de voses e sos paramètres de sintèsi, e se seleccionan dins la meteissa interfàcia de servici. Las foncionalitats provesidas en comun pels dos modèls son las seguentas.
- Sintèsi de tèxte en votz: sintetiza lo tèxte picat amb la votz seleccionada.
- Clonatge de votz: registra una votz a partir d’un enregistrament de referéncia qu’avètz lo drech d’utilizar e sintetiza de tèxtes novèls.
- Dessenh de votz: crea e registra una votz en descrivent las caracteristicas desirada.
- Reutilizacion de la votz: utiliza una votz enregistrada per las sintèsis ulterioras.
- Paramètres de sintèsi: ajusta la velocitat de la paraula e la lenga, entre d’autras opcions.
- Transmision en flux: sintetiza lo tèxte per frasas a mesura que lo tèxte arriba e transmet l’àudio de manièra seqüenciala.
- Contraròtle de lectura: pren en carga la pausa, la represa, l’interrupcion e l’intrada de frasas suplementàrias.
L’utilizacion d’una entrada de tèxte progressiva permet d’aviar la lectura vocala abans que la responsa entièra siá acabada. Pendant que CIP redigís la responsa, podètz configurar un servici ont Cosa legís las frasas ja preparadas.
cosa-a
cosa-a pren en carga la sintèsi de tèxte en votz, lo clonatge de votz, lo dessenh de votz e la sortida en flux. En mai de las foncions de basa que permeton de seleccionar la votz, la lenga e la velocitat de la paraula, ofrís de paramètres de contraròtle suplementaris, coma lo nombre d’etapas de sintèsi, l’intensitat del guidatge e los paramètres ligats a la longor de la generacion. S’utiliza per ajustar los paramètres pendent la creacion de la votz e revisar lo resultat, o per aplicar mantun ensemble de paramètres al meteis tèxte e causir lo resultat.
- Sintetiza las instruccions e las notificacions de las aplicacions, dels kiosques e dels sistèmas de trabalh.
- Crèa de materials pedagogics e de manuals d’utilizacion en format vocal.
- Produsís la narracion de contenguts vidèo e àudio.
- Crèa de contenguts repetitius amb una votz enregistrada.
- S’utiliza per la sortida vocala en flux dels agents conversacionals.
- S’utiliza per la creacion de votz amb ajustament detalhat dels paramètres de sintèsi.
cosa-b
cosa-b pren en carga la seleccion de votzes predefinidas, lo dessenh de votz basat sus una descripcion, lo clonatge basat sus una votz de referéncia e la sortida en flux. Podètz causir una votz dins la lista de votzes pròpria o enregistrar una votz novèla per l’utilizar dins lo servici.
Lo clonatge de votz utiliza un enregistrament de referéncia e lo tèxte correspondent. Pren tanben en carga un flux que genera lo tèxte de referéncia amb la reconeissença vocala pendent l’enregistrament, e las votzes enregistradas son reutilizadas dins las sintèsis ulterioras.
- Configura la persona vocala dels servicis e dels personatges.
- Crèa de votzes personalizadas a partir d’una descripcion o d’un enregistrament de referéncia.
- Sintetiza las instruccions de marca, las replicas dels personatges e la narracion dels contenguts.
- S’utiliza per las responsas vocalas dels agents conversacionals.
- Sintetiza los messatges d’instruccion e los tèxtes que càmbian, amb la meteissa votz.
Per causir entre cosa-a e cosa-b, basatz-vos sus la votz desirada, lo resultat de sintèsi real e los elements de contraròtle necessaris.
| Element | cosa-a | cosa-b |
|---|---|---|
| Paramètres de sintèsi | Paramètres relatius al nombre d'etapas de sintèsi, a l'intensitat de guidatge e a la longor de generacion, en mai de la votz, de la lenga e de la velocitat de paraula | Paramètres comuns coma la velocitat de paraula e la lenga |
| Entrada de clonatge | Enregistrament de referéncia qu'avètz lo drech d'utilizar | Enregistrament de referéncia e tèxte correspondent. Lo tèxte de referéncia pòt èsser generat per reconeissença vocala pendent lo procèssus d'inscripcion |
| Ròtle | Generacion de votz amb de contraròtles de sintèsi detalhats | Seleccion de la votz e generacion de votz personalizada |
cosa-asr
cosa-asr convertís la votz d'entrada en tèxte. Documentatz de contenguts enregistrats o transformatz de demandas recebudas per votz en entradas que los sistèmas de trabalh seguents pòdon tractar.
- Transcrivètz de nòtas vocalas e de contenguts enregistrats.
- Convertissètz de questions e de demandas de trabalh vocalas en entradas.
- Generatz de tèxtes de referéncia per la clonacion vocala.
- Utilizatz-lo per de tractaments que seguisson la transcripcion, coma lo resumit, la classificacion e la recèrca.
En transmetent lo resultat de la transcripcion a CIP, podètz encadenar amb lo resumit del contengut, la classificacion de las demandas e la redaccion d'esbòsses de trabalh. En sintetizant los resultats del tractament amb cosa-a o cosa-b, obtenètz un servici de trabalh amb d'entradas e de sortidas vocalas.
Cova
cova-1 es un modèl especializat en OCR visual basat sus un LLM. Reconeis lo tèxte dels documents e de las imatges, extrai la disposicion e l'estructura de las taulas e provesís de descripcions simplas dels elements visuals.
Convertís los documents que las personas legisson en un format mai aisit d'utilizar pels agents e los sistèmas de trabalh. Lo còs del tèxte e las taulas son extraches coma de contengut estructurat, e las imatges contengudas dins los documents son transmesas amb de brèvas descripcions. Los agents seguents pòdon atal comprene a l'encòp lo contengut del document e son contèxte visual. Se podètz configurar un flux que permet d'identificar d'en primièr los documents amb lo tèxte e las descripcions extraches, puèi d'examinar sonque los originals que requerisson una verificacion detalhada, redusètz la quantitat d'imatges originalas entradas repetidament e estalviatz de getons de contèxte.
| Foncion | Descripcion |
|---|---|
| Reconeissença de tèxte | Extrai las letras dels documents escanejats o fotografiats. |
| Interpretacion de la mesa en pagina | Ten en compte la disposicion del document per separar lo contengut en blòts. |
| Provesiment d’informacions de posicion | Provesís la posicion dels blòts reconeguts per religar los resultats extraits al tèxte original. |
| Extraccion de l’estructura dels tablèus | Estructura lo contengut dels tablèus per la recèrca e lo tractament de las donadas. |
| Descripcion simpla de l’imatge | Descriu brèvament lo contengut de l’imatge e dels elements visuals per donar a l’agent d’indices d’interpretacion. |
| Optimizacion del contèxt | Transmet las informacions en priorizar lo tèxte, l’estructura e la descripcion de l’imatge per reduire las entradas repetidas de l’imatge originala. |
| Analisi detalhada selectiva | Ajuda l’agent a determinar quinas imatges originalas cal verificar mai. |
| Conversion del format dels documents | Organiza los resultats de la reconeissença en HTML o Markdown. |
- Digitalizacion dels documents : convertís los documents en papièr e los documents escanejats en documents basats sus de tèxte.
- Recepcion dels documents de trabalh : extrai lo contengut dels formularis, dels justificatius e dels rapòrts.
- Tractament de las donadas dels tablèus : utiliza los tablèus contenguts dins los documents per lo tractament ulterior de las donadas.
- Pretractament per la recèrca de coneissenças : convertís las imatges dels documents e los documents visuals en tèxte e estructuras cercables.
- Automatizacion de la revision dels documents : transmet los resultats extraits a CIP per verificar los elements, realizar de resums e comparar de documents entre eles.
- Optimizacion de las entradas dels agents : organiza lo tèxte, los tablèus e las descripcions d’imatges dels documents longs per transmetre sonque las informacions necessàrias.
Per exemple, en extrair lo tèxte principal e los tablèus d’un rapòrt, descriu lo graf inserit coma un graf que mòstra l’evolucion trimestriala de las vendas. Amb aquesta descripcion, l’agent compren l’existéncia e l’utilitat del graf e, quand a besonh de chifras o de tendéncias precisas, examina mai l’original correspondent.
Connexion de las familhas de produches
En connectar los produches, podètz configurar lo flux seguent.
- Trabalh basat sus de documents : Cova extrai lo tèxte principal, los tablèus e las descripcions d’imatges, CIP verifica selectivament los documents originals necessaris per realizar l’analisi e lo tractament del trabalh, e Cosa transmet los resultats per la votz.
- Trabalh basat sus la votz : Cosa ASR convertís las demandas vocalas en tèxte, e cosa-a o cosa-b legisson las responsas tractadas per CIP.
- Automatizacion de terren : cip-5.5-sm classifica las donadas de terren e realiza lo trabalh local, puèi transmet las donadas que necessitan una analisi sintetica suplementària a cip-5.5-im o cip-5.5-mm.
Apèls autorizats per la passerèla
Los plans de la passerèla determinan los apèls autorizats per cada modèl. Lo tablèu çai jos indica l'espandida dobèrta pels plans LLM_FREE, TTS_FREE e STT_FREE, que s'aplican automaticament sens demanda. Los modèls dobèrts per d'autras rotas ne son pas incluses.
| ID del modèl | Apèls autorizats | Plan d'origina |
|---|---|---|
| cip-5.5-im | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-im-chat | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm-h | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cosa-a | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-b | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-tts | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-asr | audio.transcriptions | STT_FREE |
| ivy-4-embedding | embeddings | LLM_FREE |
| ivy-4-embedding-mm | embeddings | LLM_FREE |
| ivy-4-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
cip-5.5-sm과 cova-1 ne figuran pas dins aqueste tablèu de plans. cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm e ivy-4-mm, presents dins aqueste tablèu, son d’ID de modèl que figuran pas dins las descripcions dels produches çaisús. La documentacion sus las apèls API indica a quina rota correspond la clau d’apèl.