Developer guide
Modelo
Katingbanan sa modelo
Ang mga modelo sa CLEVI gibahin sa tulo ka linya sa produkto: CIP alang sa kinatibuk-ang intelihensiya ug awtomasyon sa trabaho, Cosa alang sa pagmugna ug pag-ila sa tingog, ug Cova alang sa pagkuha sa impormasyon gikan sa mga dokumento ug hulagway. Ang matag produkto mahimong gamiton nga independente o ikonektar isip serbisyo nga nagpadayon gikan sa pag-ila sa dokumento, pag-analisa, ug pagtuman sa trabaho hangtod sa giya sa tingog.
| Produkto | ID sa modelo | Pangunang espesipikasyon | Pangunang papel |
|---|---|---|---|
| CIP-5.5-SM | cip-5.5-sm | 24B~40B nga ma-adjust | Awtomasyon sa lokal nga trabaho ug edge server |
| CIP-5.5-IM | cip-5.5-im | 360B · Input 256K · Output 64K · Multimodal | Kinatibuk-ang pagproseso sa trabaho. Prayoridad ang katulin sa tubag ug throughput |
| CIP-5.5-MM | cip-5.5-mm | 800B · Input 512K · Output 64K · Multimodal | Pag-analisa sa taas nga konteksto ug pagsulbad sa komplikadong mga problema |
| Cosa-A | cosa-a | Sintesis·kloning·disenyo·streaming sa tingog | Pagmugna og tingog gamit ang detalyadong pagkontrol sa sintesis |
| Cosa-B | cosa-b | Sintesis·kloning·disenyo·streaming sa tingog | Pagpili og tingog ug pagmugna og personalisadong tingog |
| Cosa ASR | cosa-asr | Pag-ila sa tingog | Pag-usab sa input sa tingog ngadto sa teksto |
| Cova | cova-1 | Eksklusibo nga vision OCR nga gibase sa LLM | Pagkuha sa teksto, layout, ug mga lamesa, lakip ang yano nga paghulagway sa hulagway |
CIP
Ang CIP maoy responsable sa kinatibuk-ang intelihensiya ug awtomasyon sa trabaho. Naglangkob kini sa cip-5.5-im ug cip-5.5-mm nga gitawag pinaagi sa gateway, ug sa cip-5.5-sm nga ideploy sa edge server ug on-premises.
cip-5.5-im ug cip-5.5-mm
| Butang | cip-5.5-im | cip-5.5-mm |
|---|---|---|
| Gidak-on | 360B | 800B |
| Limitasyon sa input | 256K | 512K |
| Pinakataas nga output | 64K | 64K |
| Pormat sa input | Teksto ug biswal nga materyales (dokumento, hulagway sa screen, lamesa·tsart) | Teksto ug biswal nga materyales (hiniusang pagsusi sa code·dokumento·materyales sa screen) |
| Direksiyon sa pagdesinyo | Nagproseso sa naandang buluhaton sa kahibalo ug mga trabaho sa pag-develop nga nag-una sa katulin sa tubag, episyente sa gasto, ug throughput. | Nagproseso sa komplikadong mga buluhaton nga naghiusa sa daghang materyales ug kondisyon, ug nagdugtong sa mga resulta sa pag-analisa ngadto sa aktuwal nga trabaho. |
| Gamit sa taas nga input | Magdungan og pagsusi sa daghang dokumento, code file, ug kasaysayan sa panag-istoryahanay. | Nagdumala sa dagkong reperensiyang materyales ug kasaysayan sa trabaho, ug nagtuman sa mga buluhaton sa ahente diin ang panukiduki, pagpatuman, ug pag-verify nagpadayon sa daghang yugto. |
Ang cip-5.5-im angayan sa mga buluhaton nga klaro ang tumong ug sakop sa trabaho. Kasagarang mga pananglitan niini mao ang pagkuha sa gikinahanglang impormasyon gikan sa gihatag nga mga materyal, pagsulat og resulta sa gitakdang pormat, ug pag-usab sa code sumala sa mga kinahanglanon. Ang labing taas nga 64K nga output magamit sa pagsulat og detalyadong mga taho o mga resulta nga gilangkuban sa daghang bahin.
- Tabang sa pag-develop: Pagsulat og mga function ug feature, pag-ayo sa mga bug nga klaro ang sakop, ug pagpatuman sumala sa kasamtangang mga pattern.
- Paghimo og mga pagsulay: Pagsulat og mga draft sa test ug mga kaso sa validation base sa mga kinahanglanon ug implementasyon.
- Pagproseso sa dokumento: Pagdumala sa pagsumada, pagklase-klase, pagkuha sa mga item, pagkakabig sa pormat, ug paghimo og mga draft.
- Multimodal nga pag-analisar: Pagsusi sa mga hulagway sa screen ug sa mga lamesa ug tsart sa mga dokumento uban sa may kalabotang mga pagpasabot.
- Interaktibong suporta sa trabaho: Pagtubag sa mga pangutana base sa mga materyal sa trabaho ug paghimo sa gikinahanglang mga resulta.
- Dagkong volume nga pagproseso: Paggamit niini alang sa tagsa-tagsa nga pagsumada sa daghang dokumento, pagklase-klase sa mga hangyo, ug pagkakabig sa datos.
- Subagent: Pagdumala sa mga subtask nga klaro ang utlanan, sama sa pagsusi sa code, pagrepaso sa piho nga mga file, ug paghan-ay sa mga materyal.
Pananglitan, magamit kini sa pagdawat og mga kinahanglanon sa feature ug may kalabotang code aron makahimo og sugyot sa kausaban, mga test, ug pagpasabot sa mga kausaban, o sa pagklase-klase sa mga dokumento sa pagdawat ug paghimo og sumada alang sa responsable nga empleyado.
Ang cip-5.5-mm angayan sa mga buluhaton nga nanginahanglan og pagsabot sa mga relasyon tali sa impormasyon ug pagmintinar sa pagkahiusa sa tibuok trabaho. Sa pag-develop, kini nagrepaso sa koneksyon tali sa mga kinahanglanon, disenyo, implementasyon, ug test; sa pag-analisar sa dokumento, kini naghiusa sa mga pahayag ug ebidensya, mga kalainan, ug mga panagsumpaki sa daghang materyal.
- Pagpatuman sa komplikadong feature: Pag-usab sa code, test, ug dokumentasyon nga dungan, samtang gikonsiderar ang mga kontrata ug pamatasan sa daghang module.
- Pag-analisar sa dako nga codebase: Pagrepaso sa mga relasyon sa pagtawag, dagan sa datos, ug gilapdon sa epekto sa mga kausaban.
- Pag-analisar sa hinungdan sa insidente: Pagtandi sa mga log, setting, code, ug resulta sa pagdagan aron mahan-ay ang mga hipotesis sa hinungdan ug mga pamaagi sa pagkumpirma.
- Suporta sa disenyo ug pagdesisyon: Pag-istruktura sa mga kinahanglanon ug limitasyon, ug pag-analisar sa epekto sa mga alternatibo sa implementasyon.
- Komprehensibong pag-analisar sa daghang dokumento: Paghan-ay sa mga pagkapareho, kalainan, ug panagsumpaki sa mga taho ug teknikal nga dokumento base sa ebidensya.
- Integradong multimodal nga pagrepaso: Paghiusa sa interpretasyon sa teksto ug biswal nga mga materyal aron ma-analisar ang mga problema ug kinahanglanon.
- Multi-step nga ahente: Magamit sa mga buluhaton nga naglangkob sa imbestigasyon, pagplano, pagpadagan sa mga tool, ug pagrepaso sa resulta.
- Pagsulat og propesyonal nga dokumento: Pagsulat og teknikal nga mga taho, sugyot sa disenyo, ug detalyadong mga dokumento sa pagrepaso nga naglakip sa komplikadong mga kondisyon ug ebidensya.
Pananglitan, gigamit kini sa hiniusang pagrepaso sa mga may kalabotang code ug log sa mga sayop nga nahitabo sa daghang serbisyo, o sa mga buluhaton nga gikan sa pag-analisar sa mga kinahanglanon sa komplikadong mga feature hangtod sa pagpatuman ug pagrepaso sa mga resulta sa pag-validate.
cip-5.5-sm
Ang cip-5.5-sm naghimo og lokal nga inference ug automation sa trabaho sa edge server ug on-premises nga mga palibot. Tungod kay mahimong i-adjust ang gidak-on sa modelo sulod sa 24B~40B, makapili ka og konfigurasyon nga angay sa computational resources sa deployment device ug sa gikinahanglang performance sa lugar. Tungod kay giproseso niini ang datos duol sa dapit diin kini namugna, gigamit kini alang sa pag-integrate sa mga sistema sa lugar ug paggamit sa internal nga datos. Kung ang gikinahanglang mga modelo ug himan i-configure lokal, mahimong ipadagan kini bisan sa mga palibot nga limitado ang external nga koneksiyon.
Kini ang naghubad ug nagproseso sa impormasyon nga nahitabo sa lugar ug nagkonektar niini sa mga pamaagi sa pagproseso. Giklasipikar niini ang mga log ug request, gikuha ang gikinahanglang impormasyon gikan sa datos, ug naghimo sa balik-balik nga mga buluhaton gamit ang konektadong internal nga mga himan ug script.
- Pagproseso sa mga panghitabo sa lugar: Giklasipikar ug gisusi ang mga log sa kagamitan ug impormasyon sa kahimtang, ug gipili ang mga panghitabo nga nagkinahanglan og pagkompirma.
- Pag-andam sa datos: Gikuha ang mga importanteng aytem gikan sa mga rekord sa trabaho ug giklasipikar, gitag, ug gi-normalize kini.
- Pag-ruta sa request: Gipasa ang nadawat nga request ngadto sa responsable nga sistema o pamaagi sa pagproseso.
- Lokal nga ahente sa trabaho: Naghimo og balik-balik nga mga buluhaton pinaagi sa pagtan-aw sa internal nga mga sistema ug pagpadagan sa mga script.
- On-premises nga suporta sa trabaho: Nagtubag sa mga pangutana base sa internal nga mga materyal ug nag-organisar sa sulod sa trabaho.
- Suporta sa sunod nga pag-analisar: Gipili ang mga materyal nga nagkinahanglan og dugang nga pagrepaso ug gisumada ang importanteng sulod.
Pananglitan, gigamit kini sa usa ka workflow diin giklasipikar ang mga operational log sa server sa lugar, gitan-aw ang may kalabotang kasaysayan, ug gihimo ang summary sa insidente alang sa responsable nga tawo.
Cosa
Ang Cosa usa ka hugpong sa mga produkto sa tingog nga nag-convert sa teksto ngadto sa tingog, nag-ila sa input nga tingog isip teksto, ug nagtugot sa pagparehistro ug pag-usab sa gusto nga tingog. Gigamit kini alang sa mga pahibalo sa serbisyo, paghimo og sulod, suporta sa accessibility, ug voice interface sa mga interactive nga ahente.
Ang cosa-a ug cosa-b maoy responsable sa voice generation, samtang ang cosa-asr maoy responsable sa voice recognition. Ang cosa-a ug cosa-b lahi-lahi nga mga modelo nga naghatag sa tagsa-tagsa nilang lista sa mga tingog ug synthesis settings, ug pilion kini sulod sa samang service interface. Ang mga feature nga pareho nga gihatag sa duha ka modelo mao ang mosunod:
- Text-to-speech: Gisintesis ang gisulod nga mga sentence gamit ang gipiling tingog.
- Pagkopya sa tingog: Nagparehistro og tingog base sa reference recording nga adunay permiso sa paggamit, ug nagsintesis og bag-ong mga sentence.
- Disenyo sa tingog: Naghimo ug nagparehistro og tingog pinaagi sa paghulagway sa mga kinaiya sa gitinguhang tingog.
- Paggamit pag-usab sa tingog: Gigamit ang narehistrong tingog alang sa sunod nga mga synthesis.
- Mga setting sa synthesis: Gi-adjust ang katulin sa pagsulti ug pinulongan, ug uban pa.
- Streaming delivery: Gisintesis ang teksto matag hugpong sa dihang moabot kini ug sunod-sunod nga gipadala ang audio.
- Kontrol sa playback: Gisuportahan ang pag-pause, pagpadayon, paghunong, ug pagsulod og dugang nga mga sentence.
Pinaagi sa progresibong pagsulod sa teksto, mahimong sugdan ang pagpatukar sa tingog sa dili pa mahuman ang tibuok tubag. Samtang gisulat sa CIP ang tubag, mahimong i-configure ang serbisyo diin basahon sa Cosa ang mga hugpong nga andam na.
cosa-a
Ang cosa-a nagsuporta sa text-to-speech, pagkopya sa tingog, disenyo sa tingog, ug streaming output. Gawas sa batakang mga function sama sa pagpili sa tingog, pinulongan, ug katulin sa pagsulti, naghatag usab kini og dugang nga mga kontrol sama sa mga setting nga may kalabotan sa gidaghanon sa synthesis steps, kusog sa guidance, ug gitas-on sa generation. Gigamit kini sa proseso sa paghimo og tingog aron i-adjust ang mga setting ug susihon ang resulta, o aron i-apply ang lain-laing mga setting sa parehas nga script ug pilion ang resulta.
- Nagsintesis og mga pahibalo ug alerto alang sa mga app, kiosk, ug sistema sa trabaho.
- Naghimo og audio alang sa mga materyal sa pagbansay ug mga manwal sa paggamit.
- Naghimo og narration alang sa video ug audio content.
- Naghimo og balik-balik nga content gamit ang narehistrong tingog.
- Gigamit alang sa streaming voice output sa mga interactive agent.
- Gigamit sa paghimo og tingog nga gi-adjust ang detalyadong mga setting sa synthesis.
cosa-b
Ang cosa-b nagsuporta sa pagpili og preset nga tingog, disenyo sa tingog base sa deskripsyon, pagkopya base sa reference nga tingog, ug streaming output. Mahimo kang mopili og tingog gikan sa kaugalingong listahan sa mga tingog o magparehistro og bag-ong tingog nga gamiton sa serbisyo.
Alang sa pagkopya sa tingog, gigamit ang reference recording ug ang katugbang nga teksto niini. Gisuportahan usab ang proseso diin pagmugnaon ang reference text pinaagi sa speech recognition panahon sa pagparehistro, ug ang narehistrong tingog mahimong gamiton pag-usab sa sunod nga mga synthesis.
- Naghimo og voice persona alang sa mga serbisyo ug karakter.
- Naghimo og customized nga tingog gamit ang deskripsyon o reference recording.
- Nagsintesis og mga pahibalo sa brand, linya sa karakter, ug narration sa content.
- Gigamit alang sa mga tubag sa tingog sa mga interactive agent.
- Nagsintesis og mga pahibalo ug script nga mausab gamit ang parehas nga tingog.
Kung mopili tali sa cosa-a ug cosa-b, basehi ang imong pagpili sa tingog nga gusto nimo, sa aktuwal nga resulta sa synthesis, ug sa mga kontrol nga gikinahanglan.
| Butang | cosa-a | cosa-b |
|---|---|---|
| Mga setting sa synthesis | Gawas sa tingog, pinulongan, ug katulin sa pagsulti, apil ang mga setting nga may kalabotan sa gidaghanon sa mga yugto sa synthesis, kusog sa guidance, ug gitas-on sa henerasyon | Kasagarang mga setting sama sa katulin sa pagsulti ug pinulongan |
| Input alang sa cloning | Reference recording nga adunay permiso sa paggamit | Reference recording ug katugbang nga teksto. Atol sa proseso sa pagparehistro, mahimong maghimo og reference text pinaagi sa speech recognition |
| Papel | Paghimo og tingog gamit ang detalyadong mga kontrol sa synthesis | Pagpili og tingog ug paghimo og gipahaom nga tingog |
cosa-asr
Ang cosa-asr nagkombinar sa input nga tingog ngadto sa teksto. Gigamit kini sa pagdokumento sa mga recording o sa pag-usab sa mga hangyo nga nadawat pinaagi sa tingog ngadto sa input nga maproseso sa mosunod nga sistema sa trabaho.
- I-transcribe ang mga voice memo ug recording.
- Usba ang mga pangutana ug hangyo sa trabaho nga gibase sa tingog ngadto sa input.
- Paghimo og reference text alang sa voice cloning.
- Gamita kini alang sa mga proseso nga mosunod sa transcription, sama sa summarization, classification, ug search.
Kung ipadala ang resulta sa transcription ngadto sa CIP, mosunod ang pag-summarize sa sulod, pag-classify sa hangyo, ug paghimo og draft sa trabaho. Kung i-synthesize ang resulta gamit ang cosa-a o cosa-b, mahimong serbisyo sa trabaho kini nga adunay voice input ug output.
Cova
Ang cova-1 usa ka LLM-based nga modelo nga eksklusibo alang sa vision OCR. Giila niini ang teksto gikan sa mga dokumento ug imahe, gi-extract ang layout ug estruktura sa mga lamesa, ug naghatag og mubo nga mga deskripsyon sa mga biswal nga elemento.
Gikombinar niini ang mga dokumento nga makita sa tawo ngadto sa pormat nga mas magamit sa mga ahente ug sistema sa trabaho. Ang lawas sa teksto ug mga lamesa i-extract isip structured content, samtang ang mga imahe nga gilakip sa dokumento ihatud isip mubo nga mga deskripsyon. Busa, masabtan sa mosunod nga ahente ang sulod sa dokumento ug ang biswal nga konteksto niini. Kung maghimo og workflow diin una nga susihon ang materyal gamit ang na-extract nga teksto ug mga deskripsyon, ug ang orihinal lamang nga gikinahanglan og detalyadong kumpirmasyon ang susihon pag-usab, maminusan ang balik-balik nga pag-input sa orihinal nga imahe ug makatipig og mga context token.
| Function | Deskripsyon |
|---|---|
| Pag-ila sa teksto | Nagkuha og mga letra gikan sa mga dokumento nga gi-scan o gikuhaan og litrato. |
| Paghubad sa layout | Gibahin ang sulod ngadto sa mga bloke pinaagi sa pagkonsiderar sa pagkahan-ay sa dokumento. |
| Paghatag og impormasyon sa lokasyon | Naghatag sa lokasyon sa giila nga mga bloke aron masumpay ang resulta sa pagkuha ug ang orihinal nga sulod. |
| Pagkuha sa estruktura sa lamesa | Gi-estruktura ang sulod sa lamesa aron magamit sa pagpangita ug pagproseso sa datos. |
| Yano nga paghulagway sa hulagway | Mubo nga naghulagway sa sulod sa hulagway ug mga biswal nga elemento aron makahatag og mga timailhan sa ahente alang sa interpretasyon. |
| Pag-optimize sa konteksto | Gipasa ang impormasyon nga nagpunting sa teksto, estruktura, ug paghulagway sa hulagway aron maminusan ang balik-balik nga pag-input sa orihinal nga hulagway. |
| Pinili nga detalyadong pag-analisar | Motabang sa ahente sa paghukom kung unsang orihinal nga mga hulagway ang kinahanglan pa niyang susihon. |
| Pag-ilis sa pormat sa dokumento | Gihan-ay ang mga resulta sa pag-ila ngadto sa HTML o Markdown. |
- Pag-digitize sa mga dokumento: Gibalhin ang mga dokumentong papel ug gi-scan nga materyales ngadto sa mga materyales nga nakabase sa teksto.
- Pagdawat sa mga dokumento sa trabaho: Nagkuha og sulod gikan sa mga aplikasyon, dokumento nga pamatuod, ug mga taho.
- Pagproseso sa datos sa lamesa: Gigamit ang mga lamesa nga anaa sa dokumento alang sa sunod nga pagproseso sa datos.
- Preprocessing alang sa pagpangita sa kahibalo: Gikombinar ang mga hulagway sa dokumento ug biswal nga mga materyales ngadto sa mapangita nga teksto ug estruktura.
- Automasyon sa pagrepaso sa dokumento: Gipasa ang mga resulta sa pagkuha ngadto sa CIP aron mapamatud-an ang mga aytem, makahimo og mga katingbanan, ug ikumpara ang mga materyales.
- Pag-optimize sa input sa ahente: Gihan-ay ang lawas sa taas nga dokumento, mga lamesa, ug mga paghulagway sa hulagway aron ang gikinahanglang impormasyon lamang ang ipasa.
Pananglitan, samtang gikuha ang lawas ug mga lamesa sa usa ka taho, ang gisulod nga grapiko gihulagway isip grapiko nga nagpakita sa uso sa halin matag quarter. Pinaagi niini nga paghulagway, masabtan sa ahente ang presensya ug gamit sa grapiko, ug kung gikinahanglan ang tukmang mga numero o uso, dugang niyang susihon ang may kalabotan nga orihinal.
Pagkonektar sa mga grupo sa produkto
Pinaagi sa pagkonektar sa mga produkto, mahimo nimong ma-configure ang mosunod nga mga agos.
- Trabahong nakabase sa dokumento: Gikuha sa Cova ang lawas, mga lamesa, ug mga paghulagway sa hulagway; pinili nga susihon sa CIP ang gikinahanglang orihinal aron himuon ang pag-analisar ug pagproseso sa trabaho; ug ipahibalo sa Cosa ang resulta pinaagi sa tingog.
- Trabahong nakabase sa tingog: Gikonektar sa Cosa ASR ang mga hangyo sa tingog ngadto sa teksto, ug basahon sa cosa-a o cosa-b ang tubag nga giproseso sa CIP.
- Automasyon sa lugar sa operasyon: Gi-classify sa cip-5.5-sm ang datos sa lugar sa operasyon ug gihimo ang lokal nga trabaho, samtang gipasa ngadto sa cip-5.5-im o cip-5.5-mm ang mga materyales nga nanginahanglan og dugang nga komprehensibong pag-analisar.
Mga tawag nga gitugotan sa gateway
Gitino sa mga plano sa gateway ang mga tawag nga gitugotan alang sa matag modelo. Gipakita sa talaan sa ubos ang sakop nga giablihan sa mga plano nga LLM_FREE, TTS_FREE, ug STT_FREE, ug kini nga mga plano awtomatikong magamit bisan walay aplikasyon. Wala gilakip ang mga modelo nga giablihan pinaagi sa ubang mga agianan.
| ID sa modelo | Gitugot nga mga tawag | Plano nga basehan |
|---|---|---|
| cip-5.5-im | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-im-chat | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm-h | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cosa-a | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-b | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-tts | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-asr | audio.transcriptions | STT_FREE |
| ivy-4-embedding | embeddings | LLM_FREE |
| ivy-4-embedding-mm | embeddings | LLM_FREE |
| ivy-4-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
Wala ang cip-5.5-sm ug cova-1 niini nga talaan sa plano. Ang cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm, ug ivy-4-mm nga mga ID sa modelo niini nga talaan wala gilakip sa mga deskripsyon sa produkto sa ibabaw. Makita sa dokumento sa paghimo og API call kung asa nga agianan nahisakop ang yawe sa pagtawag.
