Developer guide
Model
Ringkesan model
Model CLEVI kaperang dadi telung kulawarga produk: CIP kanggo kecerdasan umum lan otomatisasi tugas, Cosa kanggo generasi lan pangenalan swara, lan Cova kanggo ekstraksi informasi saka dokumen lan gambar. Saben produk bisa digunakake kanthi mandiri utawa disambungake dadi layanan sing nyakup pangenalan dokumen, analisis, pelaksanaan tugas, lan pandhuan swara.
| Produk | ID model | Spesifikasi utama | Peran utama |
|---|---|---|---|
| CIP-5.5-SM | cip-5.5-sm | 24B~40B sing bisa disetel | Otomatisasi tugas lokal lan server edge |
| CIP-5.5-IM | cip-5.5-im | 360B · input 256K · output 64K · multimodal | Pangolahan tugas umum. Ngutamakake kacepetan tanggapan lan throughput |
| CIP-5.5-MM | cip-5.5-mm | 800B · input 512K · output 64K · multimodal | Analisis konteks dawa lan ngrampungake masalah kompleks |
| Cosa-A | cosa-a | Sintesis·kloning·desain·streaming swara | Generasi swara kanthi kontrol sintesis sing rinci |
| Cosa-B | cosa-b | Sintesis·kloning·desain·streaming swara | Milih swara lan nggawe swara khusus |
| Cosa ASR | cosa-asr | Pangenalan swara | Ngowahi input swara dadi teks |
| Cova | cova-1 | Khusus kanggo OCR visi adhedhasar LLM | Ekstraksi teks·tata letak·tabel lan katrangan gambar prasaja |
CIP
CIP nangani kecerdasan umum lan otomatisasi tugas. CIP dumadi saka cip-5.5-im lan cip-5.5-mm sing diakses liwat gateway, uga cip-5.5-sm sing disebarake ing server edge lan lingkungan on-premises.
cip-5.5-im lan cip-5.5-mm
| Item | cip-5.5-im | cip-5.5-mm |
|---|---|---|
| Skala | 360B | 800B |
| Wates input | 256K | 512K |
| Output maksimum | 64K | 64K |
| Format input | Teks lan materi visual (dokumen, gambar layar, tabel·diagram) | Teks lan materi visual (mriksa kode·dokumen·materi layar kanthi terpadu) |
| Arah rancangan | Nangani tugas kawruh saben dina lan tugas pangembangan kanthi ngutamakake kacepetan tanggapan, efisiensi biaya, lan throughput. | Nangani tugas kompleks sing nggabungake lan nganalisis macem-macem materi lan kahanan, banjur nyambungake asil analisis menyang tugas nyata. |
| Panggunaan input dawa | Mriksa sawetara dokumen, berkas kode, lan riwayat obrolan bebarengan. | Nangani referensi lan riwayat tugas sing akeh bebarengan, uga nindakake tugas agen sing riset, eksekusi, lan verifikasine ditindakake liwat sawetara tahap. |
cip-5.5-im cocog kanggo tugas kanthi tujuan lan ruang lingkup kerja sing cetha. Tuladhane yaiku ngekstrak informasi sing dibutuhake saka materi sing diwenehake, nyusun asil ing format sing ditemtokake, lan ngowahi kode miturut syarat. Output maksimal 64K digunakake kanggo nyusun laporan rinci utawa asil sing dumadi saka sawetara bagean.
- Bantuan pangembangan: nulis fungsi lan fitur, ndandani bug kanthi ruang lingkup sing cetha, lan nindakake implementasi miturut pola sing wis ana.
- Nggawe tes: nyusun draf tes lan kasus verifikasi adhedhasar syarat lan implementasi.
- Pangolahan dokumen: nindakake ringkesan, klasifikasi, ekstraksi item, konversi format, lan nyusun draf.
- Analisis multimodal: mriksa gambar layar lan tabel utawa diagram ing dokumen bebarengan karo katrangan sing relevan.
- Dhukungan kerja interaktif: njawab pitakon adhedhasar materi kerja lan nyusun asil sing dibutuhake.
- Pangolahan massal: digunakake kanggo ringkesan individu saka akeh dokumen, klasifikasi panjalukan, lan konversi data.
- Subagen: nangani sub-tugas kanthi wates sing cetha, kayata njelajah kode, mriksa file tartamtu, lan nata materi.
Contone, digunakake kanggo nampa syarat fitur lan kode sing gegandhengan banjur nyusun usulan modifikasi, tes, lan katrangan owah-owahan, utawa kanggo ngklasifikasi dokumen sing ditampa lan nggawe ringkesan kanggo penanggung jawab.
cip-5.5-mm cocog kanggo tugas sing mbutuhake pangerten babagan sesambungan antarane informasi lan njaga konsistensi kabeh proses kerja. Ing pangembangan, model iki mriksa sesambungan antarane syarat, desain, implementasi, lan tes; ing analisis dokumen, model iki nyawijikake pratelan lan dhasar bukti, uga bedane lan kontradiksi ing pirang-pirang materi.
- Implementasi fitur kompleks: ngowahi kode, tes, lan dokumentasi bebarengan kanthi nimbang kontrak lan prilaku sawetara modul.
- Analisis kode skala gedhe: mriksa sesambungan panggilan, aliran data, lan ruang lingkup dampak owah-owahan.
- Analisis panyebab gangguan: mbandhingake log, konfigurasi, kode, lan asil eksekusi kanggo nyusun hipotesis panyebab lan prosedur verifikasi.
- Dhukungan desain lan pengambilan keputusan: nyusun syarat lan watesan kanthi terstruktur lan nganalisis dampak saka alternatif implementasi.
- Analisis sintesis saka pirang-pirang dokumen: nyusun persamaan, bedane, lan kontradiksi ing laporan lan dokumen teknis kanthi adhedhasar bukti.
- Tinjauan integrasi multimodal: napsirake teks lan materi visual bebarengan kanggo nganalisis masalah lan syarat.
- Agen multi-tahap: digunakake kanggo tugas sing dumadi saka investigasi, perencanaan, eksekusi alat, lan tinjauan asil.
- Penyusunan dokumen profesional: nyusun laporan teknis, rancangan desain, lan dokumen tinjauan rinci sing nggambarake kahanan lan dhasar bukti sing kompleks.
Contoné, iki digunakaké kanggo mriksa bebarengan kode lan log sing ana gandhèngané karo kesalahan saka pirang-pirang layanan, utawa kanggo tugas sing diwiwiti saka nganalisis syarat fungsi kompleks nganti implementasi lan mriksa asil verifikasi.
cip-5.5-sm
cip-5.5-sm nindakake inferensi lokal lan otomatisasi tugas ing server edge lan lingkungan on-premise. Amarga ukuran model bisa diatur ing rentang 24B~40B, konfigurasi bisa dipilih supaya cocog karo sumber daya komputasi piranti panyebaran lan kinerja sing dibutuhaké ing lapangan. Amarga diproses cedhak karo papan data diasilaké, iki digunakaké kanggo integrasi karo sistem lapangan lan pemanfaatan data internal. Yen model lan piranti sing dibutuhaké dikonfigurasi sacara lokal, sistem iki uga bisa dioperasikaké ing lingkungan sing sambungan eksternale diwatesi.
Perané yaiku nerjemahaké lan ngolah informasi sing kedadeyan ing lapangan dadi prosedur pangolahan. Sistem iki nggolongaké log lan panjaluk, ngekstrak informasi sing dibutuhaké saka data, lan nindakake tugas bola-bali nganggo piranti internal lan skrip sing wis disambungaké.
- Pangolahan prastawa lapangan: NgGolongaké log piranti lan informasi status, banjur milih prastawa sing kudu dipriksa.
- Pra-pangolahan data: Ngekstrak item utama saka cathetan tugas, banjur nggolongaké, menehi tag, lan normalisasi.
- Perutean panjaluk: Neruské panjaluk sing ditampa menyang sistem sing tanggung jawab utawa prosedur pangolahan.
- Agen tugas lokal: Nindakake tugas bola-bali kanthi mriksa sistem internal lan nglakokaké skrip.
- Dhukungan tugas on-premise: Njawab pitakon adhedhasar bahan internal lan ngringkes isi tugas.
- Dhukungan analisis tindak lanjut: Milih bahan sing mbutuhaké mriksa tambahan lan ngringkes isi utama.
Contoné, iki digunakaké ing alur kerja kanggo nggolongaké log operasi ing server lokasi usaha, mriksa riwayat sing ana gandhèngané, banjur nyusun ringkesan prastawa kanggo pihak sing tanggung jawab.
Cosa
Cosa minangka kumpulan produk swara sing ngowahi teks dadi swara, ngenali swara input dadi teks, lan ndhaptar swara sing dikarepaké supaya bisa digunakaké manèh. Iki digunakaké kanggo pandhuan layanan, produksi konten, dhukungan aksesibilitas, lan antarmuka swara kanggo agen interaktif.
Generasi swara ditangani déning cosa-a lan cosa-b, dene pangenalan swara ditangani déning cosa-asr. cosa-a lan cosa-b minangka model kapisah sing saben-saben nyedhiyakake dhaptar swara lan setelan sintesisé dhéwé, lan bisa dipilih ing antarmuka layanan sing padha. Fitur sing diwènèhaké bebarengan déning kaloro model kasebut yaiku minangka ing ngisor iki.
- Teks dadi swara: Nyintesis ukara sing dilebokake nganggo swara sing dipilih.
- Kloning swara: Ndhaptar swara adhedhasar rekaman referensi sing nduwèni idin panggunaan, banjur nyintesis ukara anyar.
- Desain swara: Nggawe lan ndhaptar swara kanthi njlentrehake ciri-ciri swara sing dikarepake.
- Panggunaan ulang swara: Nggunakake swara sing wis didhaptar kanggo sintesis sabanjure.
- Setelan sintesis: Nyetel kacepetan ngomong lan basa, lan liya-liyane.
- Pangiriman streaming: Nyintesis miturut frasa nalika teks teka lan ngirim audio kanthi urut.
- Kontrol puter maneh: Ndhukung ngaso, nerusake, mandheg, lan nambah ukara.
Kanthi nggunakake input teks kanthi bertahap, puter maneh swara bisa diwiwiti sadurunge kabeh jawaban rampung. Nalika CIP nulis jawaban, bisa dikonfigurasi layanan supaya Cosa maca frasa sing wis siyap.
cosa-a
cosa-a ndhukung teks dadi swara, kloning swara, desain swara, lan output streaming. Saliyane fungsi dhasar kanggo milih swara, basa, lan kacepetan ngomong, uga nyedhiyakake kontrol tambahan kayata jumlah tahap sintesis, kekuwatan pandhuan, lan setelan sing gegandhengan karo dawa generasi. Iki digunakake kanggo nyetel setelan lan mriksa asil sajrone proses nggawe swara, utawa ngetrapake macem-macem setelan ing naskah sing padha banjur milih asile.
- Nyintesis pandhuan lan kabar kanggo aplikasi, kios, lan sistem kerja.
- Nggawe bahan piwulangan lan pandhuan panggunaan dadi swara.
- Nggawe narasi kanggo konten video lan audio.
- Nggawe konten bola-bali nganggo swara sing wis didhaptar.
- Digunakake kanggo output swara streaming saka agen interaktif.
- Digunakake kanggo nggawe swara kanthi nyetel setelan sintesis kanthi rinci.
cosa-b
cosa-b ndhukung pilihan swara prasetel, desain swara adhedhasar deskripsi, kloning adhedhasar swara referensi, lan output streaming. Sampeyan bisa milih swara saka dhaptar swara dhewe utawa ndhaptar swara anyar kanggo digunakake ing layanan.
Kloning swara nggunakake rekaman referensi lan teks sing cocog karo rekaman kasebut. Uga ndhukung alur kanggo ngasilake teks referensi liwat pangenalan swara nalika proses pendaftaran, lan swara sing wis didhaptar bisa digunakake maneh ing sintesis sabanjure.
- Ngatur persona swara kanggo layanan lan karakter.
- Nggawe swara khusus adhedhasar deskripsi utawa rekaman referensi.
- Nyintesis pandhuan merek, dialog karakter, lan narasi konten.
- Digunakake kanggo tanggapan swara saka agen interaktif.
- Nyintesis pesen pandhuan lan naskah sing diganti nganggo swara sing padha.
Nalika milih salah siji antarane cosa-a lan cosa-b, gunakna swara sing dikarepake, asil sintesis nyata, lan item kontrol sing dibutuhake minangka dhasar.
| Item | cosa-a | cosa-b |
|---|---|---|
| Setelan sintesis | Saliyane swara, basa, lan kacepetan wicara, uga setelan sing gegayutan karo jumlah langkah sintesis, kekuwatan pandhuan, lan dawa asil generasi | Setelan umum kayata kacepetan wicara lan basa |
| Input kloning | Rekaman referensi sing sampeyan duwe hak kanggo nggunakake | Rekaman referensi lan teks sing cocog. Sajrone proses registrasi, teks referensi bisa digawe nganggo pangenalan swara |
| Peran | Generasi swara kanthi nggunakake kontrol sintesis rinci | Pamilihan swara lan generasi swara khusus |
cosa-asr
cosa-asr ngowahi swara input dadi teks. Iki digunakake kanggo ndokumentasikake bahan rekaman utawa ngowahi panjaluk sing ditampa liwat swara dadi input sing bisa diproses dening sistem tugas sabanjure.
- Nentranskripsikake memo swara lan bahan rekaman.
- Ngowahi pitakon lan panjaluk tugas adhedhasar swara dadi input.
- Nggawe teks referensi kanggo kloning swara.
- Digunakake kanggo proses sabanjure sawise transkripsi, kayata ringkesan, klasifikasi, lan panelusuran.
Yen asil transkripsi dikirim menyang CIP, proses kasebut bisa diterusake menyang ringkesan isi, klasifikasi panjaluk, lan panyusunan draf tugas. Yen asil pangolahan disintesis nganggo cosa-a utawa cosa-b, asil kasebut dadi layanan tugas kanthi input lan output swara.
Cova
cova-1 minangka model khusus OCR visi adhedhasar LLM. Model iki ngenali teks saka dokumen lan gambar, ngekstrak tata letak lan struktur tabel, lan menehi katrangan singkat babagan unsur visual.
Model iki ngowahi dokumen sing diwaca manungsa dadi wujud sing luwih gampang digunakake dening agen lan sistem tugas. Isi utama lan tabel diekstrak dadi konten terstruktur, dene gambar sing ana ing dokumen diwenehi katrangan singkat. Mula, agen sabanjure bisa mangerteni isi dokumen lan konteks visualé bebarengan. Kanthi nyusun alur sing luwih dhisik mangerteni bahan adhedhasar teks lan katrangan sing diekstrak, banjur mung mriksa maneh sumber asli sing mbutuhake konfirmasi rinci, jumlah input gambar asli sing bola-bali bisa dikurangi lan token konteks bisa diirit.
| Fungsi | Katrangan |
|---|---|
| Pangenalan teks | Ekstrak aksara saka dokumen sing dipindai utawa difoto. |
| Interpretasi tata letak | Misahake isi dadi blok kanthi nimbang tata letak dokumen. |
| Nyedhiyakake informasi posisi | Nyedhiyakake posisi blok sing dikenali supaya asil ekstraksi bisa disambungake karo teks asli. |
| Ekstraksi struktur tabel | Nstrukturake isi tabel kanggo digunakake ing panelusuran lan pangolahan data. |
| Katrangan gambar sing ringkes | Njlentrehake isi gambar lan unsur visual kanthi ringkes kanggo menehi pituduh interpretasi marang agen. |
| Efisiensi konteks | Nyampeake informasi kanthi fokus ing teks, struktur, lan katrangan gambar kanggo nyuda input gambar asli sing bola-bali. |
| Analisis rinci kanthi selektif | Mbantu agen nemtokake gambar asli sing perlu dipriksa luwih lanjut. |
| Konversi format dokumen | Nata asil pangenalan dadi HTML utawa Markdown. |
- Digitalisasi dokumen: Ngowahi dokumen kertas lan bahan pindai dadi bahan adhedhasar teks.
- Penerimaan dokumen kerja: Ekstrak isi saka formulir, dokumen bukti, lan laporan.
- Pangolahan data tabel: Nggunakake tabel sing ana ing dokumen kanggo pangolahan data sabanjure.
- Pranata awal panelusuran kawruh: Ngowahi gambar dokumen lan bahan visual dadi teks lan struktur sing bisa digoleki.
- Otomatisasi peninjauan dokumen: Ngirim asil ekstraksi menyang CIP kanggo mriksa item, ngringkes, lan mbandhingake antarane bahan.
- Optimalisasi input agen: Nata isi utama, tabel, lan katrangan gambar ing dokumen dawa supaya mung informasi sing dibutuhake sing diterusake.
Contone, nalika ngekstrak isi utama lan tabel saka laporan, grafik sing disisipake diterangake minangka grafik sing nuduhake tren dodolan saben kuartal. Kanthi katrangan iki, agen bisa mangerteni anane lan gunane grafik, banjur mriksa sumber asli kasebut luwih lanjut nalika mbutuhake angka utawa tren sing akurat.
Sambungan kulawarga produk
Kanthi nyambungake produk, alur ing ngisor iki bisa dibangun.
- Pakaryan adhedhasar dokumen: Cova ngekstrak isi utama, tabel, lan katrangan gambar, CIP kanthi selektif mriksa sumber asli sing dibutuhake kanggo nindakake analisis lan pangolahan tugas, banjur Cosa nyampekake asil kasebut kanthi swara.
- Pakaryan adhedhasar swara: Cosa ASR ngowahi panjaluk swara dadi teks, banjur cosa-a utawa cosa-b maca jawaban sing wis diproses dening CIP.
- Otomatisasi lapangan: cip-5.5-sm nggolongake data lapangan lan nindakake tugas lokal, banjur nerusake bahan sing mbutuhake analisis gabungan tambahan menyang cip-5.5-im utawa cip-5.5-mm.
Panggilan sing diidinake ing gateway
Rencana gateway nemtokake panggilan sing diidinake kanggo saben model. Tabel ing ngisor iki nuduhake cakupan sing dibukak dening rencana LLM_FREE, TTS_FREE, lan STT_FREE, lan rencana kasebut ditrapake kanthi otomatis tanpa perlu ngajuake panjalukan. Model sing dibukak liwat jalur liyane ora kalebu.
| ID model | Panggilan sing diidinake | Rencana dhasar |
|---|---|---|
| cip-5.5-im | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-im-chat | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm-h | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cosa-a | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-b | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-tts | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-asr | audio.transcriptions | STT_FREE |
| ivy-4-embedding | embeddings | LLM_FREE |
| ivy-4-embedding-mm | embeddings | LLM_FREE |
| ivy-4-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
cip-5.5-sm lan cova-1 ora ana ing tabel rencana iki. ID model cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm, lan ivy-4-mm ing tabel iki ora kalebu ing katrangan produk ing ndhuwur. Dokumen Nindakake Panggilan API nerangake kunci panggilan cocog karo jalur endi.
