Developer guide
Modeli
Muhtasari wa modeli
Modeli za CLEVI zimegawanywa katika familia tatu za bidhaa: CIP, inayohusika na akili ya jumla na uendeshaji wa kazi kiotomatiki; Cosa, inayohusika na uzalishaji na utambuzi wa sauti; na Cova, inayohusika na uchimbaji wa taarifa kutoka kwenye hati na picha. Kila bidhaa inaweza kutumika kivyake au kuunganishwa katika huduma zinazoendelea kutoka utambuzi wa hati, uchanganuzi, utekelezaji wa kazi hadi mwongozo wa sauti.
| Bidhaa | Kitambulisho cha modeli | Vipimo muhimu | Jukumu kuu |
|---|---|---|---|
| CIP-5.5-SM | cip-5.5-sm | 24B~40B inayoweza kurekebishwa | Uendeshaji wa kazi kiotomatiki kwenye seva za edge na ndani ya kifaa |
| CIP-5.5-IM | cip-5.5-im | 360B · Ingizo 256K · Tokeo 64K · Aina nyingi za data | Utekelezaji wa kazi za jumla. Kipaumbele kwa kasi ya majibu na uwezo wa kuchakata |
| CIP-5.5-MM | cip-5.5-mm | 800B · Ingizo 512K · Tokeo 64K · Aina nyingi za data | Uchanganuzi wa muktadha mrefu na utatuzi wa matatizo changamano |
| Cosa-A | cosa-a | Usanisi·kunakili·usanifu·utiririshaji wa sauti | Uzalishaji wa sauti kwa kutumia udhibiti wa kina wa usanisi |
| Cosa-B | cosa-b | Usanisi·kunakili·usanifu·utiririshaji wa sauti | Uteuzi wa sauti na uzalishaji wa sauti uliobinafsishwa |
| Cosa ASR | cosa-asr | Utambuzi wa sauti | Kubadilisha ingizo la sauti kuwa maandishi |
| Cova | cova-1 | Imejitolea kwa OCR ya maono inayotegemea LLM | Uchimbaji wa maandishi, mpangilio na majedwali, pamoja na maelezo rahisi ya picha |
CIP
CIP inahusika na akili ya jumla na uendeshaji wa kazi kiotomatiki. Inajumuisha cip-5.5-im na cip-5.5-mm, zinazoitwa kupitia lango, pamoja na cip-5.5-sm, inayosambazwa kwenye seva za edge na katika mazingira ya ndani ya kampuni.
cip-5.5-im na cip-5.5-mm
| Kipengele | cip-5.5-im | cip-5.5-mm |
|---|---|---|
| Ukubwa | 360B | 800B |
| Kikomo cha ingizo | 256K | 512K |
| Tokeo la juu zaidi | 64K | 64K |
| Muundo wa ingizo | Maandishi na nyenzo za kuona (hati, picha za skrini, majedwali·michoro) | Maandishi na nyenzo za kuona (hupitia kwa pamoja msimbo·hati·nyenzo za skrini) |
| Mwelekeo wa usanidi | Hushughulikia kazi za kawaida za maarifa na maendeleo kwa kuzingatia kasi ya majibu, ufanisi wa gharama na uwezo wa kuchakata. | Hushughulikia kazi changamano zinazochanganya vyanzo na masharti mbalimbali, na kuunganisha matokeo ya uchanganuzi na kazi halisi. |
| Matumizi ya ingizo refu | Hupitia kwa pamoja hati nyingi, faili za msimbo na historia za mazungumzo. | Hushughulikia marejeo mengi na historia za kazi kwa pamoja, na hufanya kazi za mawakala ambapo utafiti·utekelezaji·uthibitishaji huendelea kupitia hatua nyingi. |
cip-5.5-im inafaa kwa kazi zilizo na malengo na wigo wa kazi ulio wazi. Mifano yake ni kutoa taarifa muhimu kutoka kwenye nyenzo zilizotolewa, kuunda matokeo kwa muundo uliowekwa, na kurekebisha msimbo kulingana na mahitaji. Uwezo wa kutoa hadi 64K hutumika kuandika ripoti za kina au matokeo yanayojumuisha sehemu nyingi.
- Msaada wa uundaji: Huandika vitendakazi na vipengele, hurekebisha hitilafu zilizo na wigo wazi, na kutekeleza kulingana na mifumo iliyopo.
- Uundaji wa majaribio: Huandika rasimu za majaribio na hali za uthibitishaji kulingana na mahitaji na utekelezaji.
- Uchakataji wa hati: Hushughulikia muhtasari, uainishaji, uchimbaji wa vipengele, ubadilishaji wa miundo na uandishi wa rasimu.
- Uchambuzi wa aina nyingi za data: Hukagua picha za skrini na majedwali au michoro katika hati pamoja na maelezo yanayohusiana.
- Msaada wa kazi shirikishi: Hujibu maswali na kuunda matokeo yanayohitajika kulingana na nyenzo za kazi.
- Uchakataji wa kiasi kikubwa: Hutumika kwa muhtasari wa kibinafsi wa hati nyingi, uainishaji wa maombi na ubadilishaji wa data.
- Wakala msaidizi: Hushughulikia kazi ndogo zilizo na mipaka iliyo wazi, kama vile kuchunguza msimbo, kukagua faili mahususi na kupanga nyenzo.
Kwa mfano, hutumika kupokea mahitaji ya kipengele na msimbo unaohusiana, kisha kuandika pendekezo la marekebisho, majaribio na maelezo ya mabadiliko; au kuainisha hati za maombi na kuunda muhtasari kwa ajili ya wahusika wanaohusika.
cip-5.5-mm inafaa kwa kazi zinazohitaji kuelewa uhusiano kati ya taarifa na kudumisha ulinganifu wa kazi nzima. Katika uundaji, hukagua uhusiano kati ya mahitaji, usanifu, utekelezaji na majaribio; katika uchanganuzi wa hati, huunganisha madai na ushahidi, tofauti na kinzani kutoka kwenye nyenzo nyingi.
- Utekelezaji wa vipengele changamano: Hubadilisha msimbo, majaribio na hati kwa pamoja huku ikizingatia mikataba na mienendo ya moduli nyingi.
- Uchambuzi wa msimbo mkubwa: Hukagua uhusiano wa miito, mtiririko wa data na wigo wa athari za mabadiliko.
- Uchambuzi wa chanzo cha hitilafu: Hulinganisha kumbukumbu, mipangilio, msimbo na matokeo ya utekelezaji ili kupanga dhana za chanzo na taratibu za uthibitishaji.
- Msaada wa usanifu na ufanyaji maamuzi: Huunda mahitaji na masharti kwa muundo na kuchanganua athari za njia mbadala za utekelezaji.
- Uchambuzi jumuishi wa hati nyingi: Hupanga kwa kuzingatia ushahidi mambo yanayofanana, tofauti na kinzani katika ripoti na hati za kiufundi.
- Ukaguzi jumuishi wa aina nyingi za data: Hutafsiri maandishi na nyenzo za kuona kwa pamoja ili kuchanganua matatizo na mahitaji.
- Wakala wa hatua nyingi: Hutumika kwa kazi zinazoendelea kupitia utafiti, upangaji, utekelezaji wa zana na ukaguzi wa matokeo.
- Uandishi wa hati za kitaalamu: Huandika ripoti za kiufundi, mipango ya usanifu na hati za ukaguzi wa kina zinazoakisi masharti na ushahidi changamano.
Kwa mfano, hutumika kukagua kwa pamoja misimbo na kumbukumbu zinazohusiana na hitilafu zilizotokea katika huduma nyingi, au katika kazi zinazoanzia uchanganuzi wa mahitaji ya vipengele changamano hadi utekelezaji na ukaguzi wa matokeo ya uthibitishaji.
cip-5.5-sm
cip-5.5-sm hufanya makisio ya ndani na uwekaji otomatiki wa kazi kwenye seva za edge na mazingira ya ndani ya kampuni. Kwa kuwa ukubwa wa modeli unaweza kurekebishwa kati ya 24B na 40B, unaweza kuchagua usanidi unaolingana na rasilimali za kompyuta za kifaa cha uwekaji na kiwango cha utendaji kinachohitajika kwenye eneo husika. Kwa kuchakata data karibu na inapotokea, hutumika kuunganisha mifumo ya eneo husika na kutumia data ya ndani; ukisanidi modeli na zana zinazohitajika ndani ya eneo hilo, inaweza kuendeshwa hata katika mazingira yenye muunganisho mdogo wa nje.
Huchanganua taarifa zinazotokea kwenye eneo husika na kuziunganisha na taratibu za uchakataji. Hupanga kumbukumbu na maombi, hutoa taarifa zinazohitajika kutoka kwenye data, na kutekeleza kazi zinazorudiwa kwa kutumia zana na hati za ndani zilizounganishwa.
- Uchakataji wa matukio ya eneo husika: Hupanga kumbukumbu za vifaa na taarifa za hali, kisha huchagua matukio yanayohitaji ukaguzi.
- Uchakataji wa awali wa data: Hutoa vipengele muhimu kutoka kwenye kumbukumbu za kazi na kuvipanga, kuvipatia lebo na kuvisawazisha.
- Uelekezaji wa maombi: Huelekeza maombi yaliyopokelewa kwenye mfumo unaohusika au utaratibu wa uchakataji.
- Wakala wa kazi wa ndani: Hutekeleza kazi zinazorudiwa kwa kutafuta taarifa katika mifumo ya ndani na kuendesha hati.
- Usaidizi wa kazi ndani ya kampuni: Hujibu maswali kwa kutumia nyenzo za ndani na kupanga maelezo ya kazi.
- Usaidizi wa uchanganuzi wa ufuatiliaji: Huchagua nyenzo zinazohitaji ukaguzi wa ziada na kuandaa muhtasari wa mambo muhimu.
Kwa mfano, hutumika katika mtiririko unaopanga kumbukumbu za uendeshaji kwenye seva ya eneo la biashara, kutafuta historia husika, kisha kuandaa muhtasari wa tukio kwa ajili ya mhusika anayehusika.
Cosa
Cosa ni familia ya bidhaa za sauti inayobadilisha maandishi kuwa sauti, kutambua sauti ya ingizo kama maandishi, na kusajili na kutumia tena sauti inayotakiwa. Hutumika kwa maelekezo ya huduma, utengenezaji wa maudhui, usaidizi wa ufikivu na kiolesura cha sauti cha mawakala shirikishi.
cosa-a na cosa-b hushughulikia utengenezaji wa sauti, huku cosa-asr ikishughulikia utambuzi wa sauti. cosa-a na cosa-b ni modeli tofauti zinazotoa orodha zao za sauti na mipangilio ya usanisi, na huchaguliwa kwenye kiolesura kimoja cha huduma. Vipengele vinavyotolewa kwa pamoja na modeli hizi mbili ni vifuatavyo.
- Ugeuzaji wa maandishi kuwa sauti: Husanisi maandishi uliyoweka kwa kutumia sauti uliyochagua.
- Kunakili sauti: Husajili sauti kwa kutumia rekodi ya marejeo ambayo una ruhusa ya kutumia, kisha husanisi maandishi mapya.
- Muundo wa sauti: Huunda na kusajili sauti kwa kueleza sifa za sauti unayoitaka.
- Kutumia tena sauti: Hutumia sauti iliyosajiliwa katika usanisi unaofuata.
- Mipangilio ya usanisi: Hurekebisha kasi ya kuzungumza, lugha na vipengele vingine.
- Uwasilishaji wa mtiririko: Husanisi maandishi kwa vipande pindi yanapowasili na kuwasilisha sauti kwa mfuatano.
- Udhibiti wa uchezaji: Huwezesha kusitisha kwa muda, kuendelea, kusimamisha na kuingiza maandishi ya ziada.
Kwa kutumia uingizaji wa maandishi unaoendelea, unaweza kuanza kucheza sauti kabla jibu lote halijakamilika. CIP inapounda jibu, unaweza kusanidi huduma ambayo Cosa husoma vipande vilivyo tayari kuanzia vilivyokamilika.
cosa-a
cosa-a inasaidia ugeuzaji wa maandishi kuwa sauti, kunakili sauti, muundo wa sauti na utoaji wa mtiririko. Mbali na vipengele vya msingi vya kuchagua sauti, lugha na kasi ya kuzungumza, hutoa vidhibiti vya ziada kama vile idadi ya hatua za usanisi, nguvu ya mwongozo na mipangilio inayohusiana na urefu wa uzalishaji. Hutumika kurekebisha mipangilio na kukagua matokeo wakati wa kuunda sauti, au kutumia mipangilio kadhaa kwenye hati hiyo hiyo na kuchagua matokeo.
- Husanisi maelekezo na arifa za programu, vioski na mifumo ya kazi.
- Huunda nyenzo za mafunzo na miongozo ya matumizi kwa sauti.
- Hutengeneza masimulizi ya maudhui ya video na sauti.
- Huunda maudhui ya kurudiwa kwa kutumia sauti iliyosajiliwa.
- Hutumika kwa utoaji wa sauti wa mtiririko wa mawakala shirikishi.
- Hutumika kuunda sauti kwa kurekebisha mipangilio ya kina ya usanisi.
cosa-b
cosa-b inasaidia kuchagua sauti zilizowekwa mapema, kubuni sauti kulingana na maelezo, kunakili kwa kutumia sauti ya marejeo na kutoa kwa mtiririko. Unaweza kuchagua sauti kutoka kwenye orodha yako ya sauti au kusajili sauti mpya ya kutumia katika huduma.
Kunakili sauti hutumia rekodi ya marejeo na maandishi yanayolingana nayo. Pia inasaidia mtiririko wa kuunda maandishi ya marejeo kwa utambuzi wa sauti wakati wa usajili, na sauti iliyosajiliwa inaweza kutumika tena katika usanisi unaofuata.
- Huunda persona ya sauti ya huduma na mhusika.
- Huunda sauti maalum kwa kutumia maelezo au rekodi ya marejeo.
- Husanisi maelekezo ya chapa, mistari ya wahusika na masimulizi ya maudhui.
- Hutumika kwa majibu ya sauti ya mawakala shirikishi.
- Husanisi ujumbe wa maelekezo na hati zinazobadilika kwa kutumia sauti hiyo hiyo.
Unapochagua kati ya cosa-a na cosa-b, tumia sauti unayotaka, matokeo halisi ya usanisi, na vipengele vya udhibiti unavyohitaji kama vigezo.
| Kipengele | cosa-a | cosa-b |
|---|---|---|
| Mipangilio ya usanisi | Mbali na sauti, lugha na kasi ya kuzungumza, mipangilio inayohusiana na idadi ya hatua za usanisi, nguvu ya mwongozo na urefu wa uzalishaji | Mipangilio ya kawaida kama kasi ya kuzungumza na lugha |
| Ingizo la uigaji | Rekodi ya marejeleo ambayo una ruhusa ya kuitumia | Rekodi ya marejeleo na maandishi yanayoendana nayo. Maandishi ya marejeleo yanaweza kuzalishwa kwa utambuzi wa sauti wakati wa usajili |
| Jukumu | Uzalishaji wa sauti kwa kutumia udhibiti wa kina wa usanisi | Uteuzi wa sauti na uzalishaji wa sauti maalum |
cosa-asr
cosa-asr hubadilisha sauti ya ingizo kuwa maandishi. Hutumika kuweka kumbukumbu za rekodi au kubadilisha maombi yaliyowasilishwa kwa sauti kuwa ingizo ambalo mifumo ya kazi inayofuata inaweza kuchakata.
- Hunukuu memo za sauti na rekodi.
- Hubadilisha maswali na maombi ya kazi yanayotegemea sauti kuwa ingizo.
- Huzalisha maandishi ya marejeleo kwa ajili ya kuiga sauti.
- Hutumika katika michakato inayoendelea baada ya unukuu, kama vile muhtasari, uainishaji na utafutaji.
Ukiwasilisha matokeo ya unukuu kwa CIP, mchakato huendelea hadi kufupisha maudhui, kuainisha maombi na kuandaa rasimu za kazi. Ukisanisi matokeo ya uchakataji kwa cosa-a au cosa-b, unapata huduma ya kazi yenye ingizo na matokeo ya sauti.
Cova
cova-1 ni modeli maalum ya vision OCR inayotegemea LLM. Hutambua maandishi katika hati na picha, hutoa mpangilio na muundo wa majedwali, na hutoa maelezo mafupi ya vipengele vya kuona.
Hubadilisha hati zinazoonekana na watu kuwa muundo unaofaa kutumiwa na mawakala na mifumo ya kazi. Maandishi ya mwili na majedwali hutolewa kama maudhui yaliyopangwa, huku picha zilizojumuishwa kwenye hati zikiwasilishwa kama maelezo mafupi. Kwa hivyo, mawakala wanaofuata wanaweza kuelewa kwa pamoja maudhui ya hati na muktadha wake wa kuona. Ukijenga mtiririko unaotumia kwanza maandishi na maelezo yaliyotolewa ili kuelewa nyenzo, kisha kukagua zaidi picha asili zinazohitaji uthibitishaji wa kina pekee, unaweza kupunguza kiasi cha kuingiza picha asili mara kwa mara na kuokoa tokeni za muktadha.
| Kipengele | Maelezo |
|---|---|
| Utambuzi wa maandishi | Hutoa maandishi kutoka kwenye hati zilizochanganuliwa au kupigwa picha. |
| Ufafanuzi wa mpangilio | Hugawanya maudhui katika vizuizi kwa kuzingatia mpangilio wa hati. |
| Kutoa maelezo ya eneo | Hutoa maeneo ya vizuizi vilivyotambuliwa ili kuunganisha matokeo yaliyotolewa na hati asili. |
| Kutoa muundo wa jedwali | Huunda maudhui ya majedwali kwa muundo unaoweza kutumika katika utafutaji na uchakataji wa data. |
| Maelezo mafupi ya picha | Hueleza kwa ufupi maudhui ya picha na vipengele vya kuona, na kumpa wakala vidokezo vya ufasiri. |
| Uboreshaji wa muktadha | Hupunguza uingizaji wa mara kwa mara wa picha asili kwa kuwasilisha taarifa hasa kupitia maelezo ya maandishi, muundo na picha. |
| Uchambuzi wa kina unaochaguliwa | Husaidia wakala kuamua ni picha zipi asili zinahitaji kukaguliwa zaidi. |
| Ubadilishaji wa muundo wa hati | Hupanga matokeo yaliyotambuliwa kuwa HTML au Markdown. |
- Ubadilishaji wa hati kuwa za kidijitali: Hubadilisha hati za karatasi na nyenzo zilizochanganuliwa kuwa nyenzo zenye msingi wa maandishi.
- Upokeaji wa hati za kazi: Hutoa maudhui kutoka kwenye fomu za maombi, hati za uthibitisho na ripoti.
- Uchakataji wa data ya majedwali: Hutumia majedwali yaliyo kwenye hati katika uchakataji wa data unaofuata.
- Uchakataji wa awali wa utafutaji wa maarifa: Hubadilisha picha za hati na nyenzo za kuona kuwa maandishi na miundo inayoweza kutafutwa.
- Uendeshaji wa ukaguzi wa hati: Hutuma matokeo yaliyotolewa kwa CIP ili kufanya uthibitishaji wa vipengele, muhtasari na ulinganishaji wa nyenzo.
- Uboreshaji wa ingizo la wakala: Hupanga mwili wa maandishi, majedwali na maelezo ya picha ya hati ndefu ili kuwasilisha tu taarifa zinazohitajika.
Kwa mfano, hutoa mwili wa maandishi na majedwali ya ripoti, huku ikieleza grafu iliyopachikwa kuwa grafu inayoonyesha mwenendo wa mauzo kwa kila robo mwaka. Wakala hutumia maelezo haya kutambua kuwepo na madhumuni ya grafu, na hukagua zaidi picha asili husika inapohitaji takwimu au mwenendo sahihi.
Kuunganisha bidhaa
Kwa kuunganisha bidhaa, unaweza kuunda mtiririko ufuatao.
- Kazi zinazotegemea hati: Cova hutoa mwili wa maandishi, majedwali na maelezo ya picha, CIP hukagua kwa kuchagua picha asili zinazohitajika ili kufanya uchanganuzi na kuchakata kazi, na Cosa huwasilisha matokeo kwa sauti.
- Kazi zinazotegemea sauti: Cosa ASR hubadilisha maombi ya sauti kuwa maandishi, na cosa-a au cosa-b husoma majibu yaliyoshughulikiwa na CIP.
- Uendeshaji wa kiotomatiki wa eneo la kazi: cip-5.5-sm huainisha data ya eneo la kazi na kufanya kazi za ndani, kisha kupeleka nyenzo zinazohitaji uchanganuzi wa ziada wa kina kwa cip-5.5-im au cip-5.5-mm.
Miito iliyoruhusiwa kwenye lango
Mipango ya gateway huamua miito inayoruhusiwa kwa kila modeli. Jedwali lililo hapa chini linaonyesha miito inayofunguliwa na mipango ya LLM_FREE, TTS_FREE na STT_FREE, ambayo hutumika kiotomatiki bila kuwasilisha ombi. Halijumuishi modeli zinazofunguliwa kupitia njia nyingine.
| Kitambulisho cha modeli | Miito inayoruhusiwa | Mpango unaotumika |
|---|---|---|
| cip-5.5-im | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-im-chat | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm-h | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cosa-a | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-b | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-tts | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-asr | audio.transcriptions | STT_FREE |
| ivy-4-embedding | embeddings | LLM_FREE |
| ivy-4-embedding-mm | embeddings | LLM_FREE |
| ivy-4-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
cip-5.5-sm na cova-1 hazipo katika jedwali hili la mpango. cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm na ivy-4-mm zilizo katika jedwali ni vitambulisho vya miundo ambavyo havikujumuishwa katika maelezo ya bidhaa hapo juu. Maelezo kuhusu njia ambayo ufunguo wa ombi unalingana nayo yanapatikana katika hati ya Kufanya ombi la API.