Model

Model CLEVI terbahagi kepada tiga rangkaian produk: CIP untuk kecerdasan umum dan automasi kerja, Cosa untuk penjanaan dan pengecaman suara, serta Cova untuk pengekstrakan maklumat daripada dokumen dan imej. Setiap produk boleh digunakan secara berasingan atau dihubungkan menjadi perkhidmatan yang merangkumi pengecaman dokumen, analisis, pelaksanaan tugas dan panduan suara.

CIP

CIP bertanggungjawab terhadap kecerdasan umum dan automasi kerja. Ia terdiri daripada cip-5.5-im dan cip-5.5-mm yang dipanggil melalui get laluan, serta cip-5.5-sm yang digunakan pada pelayan edge dan digunakan secara on-premises.

cip-5.5-im dan cip-5.5-mm

cip-5.5-im sesuai untuk tugasan dengan matlamat dan skop kerja yang jelas. Contoh utamanya ialah mengekstrak maklumat yang diperlukan daripada bahan yang diberikan, menghasilkan output dalam format yang ditetapkan, dan mengubah suai kod mengikut keperluan. Output maksimum 64K sesuai untuk menghasilkan laporan terperinci atau hasil yang terdiri daripada beberapa bahagian.

• Bantuan pembangunan: Menulis fungsi dan ciri, membetulkan pepijat dengan skop yang jelas, serta melaksanakan perubahan mengikut corak sedia ada.
• Penjanaan ujian: Menyediakan draf ujian dan kes pengesahan berdasarkan keperluan serta pelaksanaan.
• Pemprosesan dokumen: Mengendalikan ringkasan, pengelasan, pengekstrakan item, penukaran format dan penyediaan draf.
• Analisis multimodal: Meneliti imej skrin serta jadual dan carta dalam dokumen bersama penerangan yang berkaitan.
• Sokongan kerja interaktif: Menjawab soalan berdasarkan bahan kerja dan menghasilkan hasil yang diperlukan.
• Pemprosesan berskala besar: Digunakan untuk meringkaskan banyak dokumen secara individu, mengelaskan permintaan dan menukar data.
• Subejen: Mengendalikan subtugas dengan sempadan yang jelas, seperti meneroka kod, menyemak fail tertentu dan menyusun bahan.

Sebagai contoh, ia digunakan untuk menerima keperluan ciri dan kod berkaitan, kemudian menghasilkan cadangan pengubahsuaian, ujian dan penerangan perubahan, atau mengelaskan dokumen penerimaan serta menyediakan ringkasan untuk pihak yang bertanggungjawab.

cip-5.5-mm sesuai untuk tugasan yang memerlukan pemahaman tentang hubungan antara maklumat serta pengekalan konsistensi keseluruhan kerja. Dalam pembangunan, ia menyemak hubungan antara keperluan, reka bentuk, pelaksanaan dan ujian, manakala dalam analisis dokumen, ia menggabungkan dakwaan dan bukti, perbezaan serta percanggahan daripada pelbagai bahan.

• Pelaksanaan ciri kompleks: Mengubah kod, ujian dan dokumentasi secara serentak dengan mengambil kira kontrak serta tingkah laku beberapa modul.
• Analisis kod berskala besar: Menyemak hubungan panggilan, aliran data dan skop kesan perubahan.
• Analisis punca insiden: Membandingkan log, konfigurasi, kod dan hasil pelaksanaan untuk menyusun hipotesis punca serta prosedur pengesahan.
• Sokongan reka bentuk dan pembuatan keputusan: Menstrukturkan keperluan dan kekangan serta menganalisis kesan alternatif pelaksanaan.
• Analisis sintesis pelbagai dokumen: Menyusun persamaan, perbezaan dan percanggahan dalam laporan serta dokumen teknikal berdasarkan bukti.
• Semakan integrasi multimodal: Mentafsir teks dan bahan visual bersama-sama untuk menganalisis masalah serta keperluan.
• Ejen berbilang langkah: Digunakan untuk tugasan yang melibatkan penyelidikan, perancangan, pelaksanaan alat dan semakan hasil.
• Penulisan dokumen profesional: Menulis laporan teknikal, cadangan reka bentuk dan dokumen semakan terperinci yang mencerminkan syarat serta bukti yang kompleks.

Sebagai contoh, ia digunakan untuk menyemak bersama-sama kod berkaitan dan log bagi ralat yang berlaku dalam pelbagai perkhidmatan, atau untuk tugas yang merangkumi analisis keperluan fungsi kompleks, pelaksanaan, hingga semakan hasil pengesahan.

cip-5.5-sm

cip-5.5-sm melaksanakan inferens setempat dan automasi kerja pada pelayan edge serta dalam persekitaran on-premises. Oleh sebab saiz model boleh dilaraskan dalam julat 24B~40B, konfigurasi boleh dipilih mengikut sumber pengkomputeran peralatan penggunaan dan prestasi yang diperlukan di lapangan. Pemprosesan dilakukan berdekatan tempat data dijana, maka ia digunakan untuk integrasi dengan sistem lapangan dan penggunaan data dalaman. Dengan mengkonfigurasi model dan alat yang diperlukan secara setempat, ia juga boleh dikendalikan dalam persekitaran dengan sambungan luaran yang terhad.

Ia berperanan mentafsir maklumat yang berlaku di lapangan dan menghubungkannya kepada prosedur pemprosesan. Ia mengklasifikasikan log dan permintaan, mengekstrak maklumat yang diperlukan daripada data, serta melaksanakan tugas berulang menggunakan alat dalaman dan skrip yang disambungkan.

• Pemprosesan peristiwa lapangan: Mengklasifikasikan log peralatan dan maklumat status serta memilih peristiwa yang memerlukan pengesahan.
• Prapemprosesan data: Mengekstrak item utama daripada rekod kerja dan melaksanakan pengelasan, pengetegan serta penormalan.
• Penghalaan permintaan: Menyampaikan permintaan yang diterima kepada sistem atau prosedur pemprosesan yang bertanggungjawab.
• Ejen kerja setempat: Melaksanakan tugas berulang dengan membuat pertanyaan pada sistem dalaman dan menjalankan skrip.
• Sokongan kerja on-premises: Menjawab soalan berdasarkan bahan dalaman dan menyusun kandungan kerja.
• Sokongan analisis susulan: Memilih bahan yang memerlukan semakan tambahan dan meringkaskan perkara utama.

Sebagai contoh, ia digunakan dalam aliran kerja yang mengklasifikasikan log operasi pada pelayan di tapak, menyemak sejarah berkaitan, kemudian menyediakan ringkasan insiden untuk pihak yang bertanggungjawab.

Cosa

Cosa ialah rangkaian produk suara yang menukar teks kepada suara, mengenali suara input sebagai teks, serta mendaftarkan dan menggunakan semula suara yang dikehendaki. Ia digunakan untuk panduan perkhidmatan, penciptaan kandungan, sokongan kebolehcapaian dan antara muka suara ejen interaktif.

Penjanaan suara dikendalikan oleh cosa-a dan cosa-b, manakala pengecaman suara dikendalikan oleh cosa-asr. cosa-a dan cosa-b ialah model berasingan yang masing-masing menyediakan senarai suara dan tetapan sintesis, dan boleh dipilih daripada antara muka perkhidmatan yang sama. Fungsi yang disediakan secara bersama oleh kedua-dua model adalah seperti berikut.

• Teks kepada pertuturan: Mensintesis ayat yang dimasukkan menggunakan suara yang dipilih.
• Pengklonan suara: Mendaftarkan suara berdasarkan rakaman rujukan yang anda mempunyai kebenaran untuk gunakan, kemudian mensintesis ayat baharu.
• Reka bentuk suara: Mencipta dan mendaftarkan suara dengan menerangkan ciri-ciri suara yang diingini.
• Penggunaan semula suara: Menggunakan suara yang didaftarkan untuk sintesis seterusnya.
• Tetapan sintesis: Melaraskan kelajuan pertuturan, bahasa dan sebagainya.
• Penyampaian penstriman: Mensintesis teks mengikut frasa sebaik sahaja teks diterima dan menyampaikan audio secara berurutan.
• Kawalan main balik: Menyokong jeda, sambung semula, hentikan dan input ayat tambahan.

Dengan menggunakan input teks secara berperingkat, anda boleh memulakan main balik suara sebelum keseluruhan jawapan selesai. Semasa CIP menulis jawapan, anda boleh mengkonfigurasi perkhidmatan yang membolehkan Cosa membacakan frasa yang telah siap.

cosa-a

cosa-a menyokong teks kepada pertuturan, pengklonan suara, reka bentuk suara dan output penstriman. Selain fungsi asas untuk memilih suara, bahasa dan kelajuan pertuturan, ia menyediakan item kawalan tambahan seperti tetapan berkaitan bilangan langkah sintesis, kekuatan panduan dan panjang janaan. Ia digunakan untuk melaraskan tetapan dan menyemak hasil semasa proses menghasilkan suara, atau menggunakan beberapa tetapan pada skrip yang sama untuk memilih hasil.

• Mensintesis panduan dan pemberitahuan untuk aplikasi, kiosk dan sistem kerja.
• Menghasilkan bahan latihan dan manual pengguna dalam bentuk suara.
• Menghasilkan penceritaan untuk kandungan video dan audio.
• Menghasilkan kandungan berulang menggunakan suara yang didaftarkan.
• Digunakan untuk output suara penstriman ejen interaktif.
• Digunakan untuk penghasilan suara yang melaraskan tetapan sintesis secara terperinci.

cosa-b

cosa-b menyokong pemilihan suara pratetap, reka bentuk suara berasaskan penerangan, pengklonan berasaskan suara rujukan dan output penstriman. Anda boleh memilih suara daripada senarai suara sendiri atau mendaftarkan suara baharu untuk digunakan dalam perkhidmatan.

Pengklonan suara menggunakan rakaman rujukan dan teks yang sepadan dengannya. Ia juga menyokong aliran kerja yang menjana teks rujukan melalui pengecaman suara semasa proses pendaftaran, dan suara yang didaftarkan boleh digunakan semula untuk sintesis seterusnya.

• Membina persona suara untuk perkhidmatan dan watak.
• Menghasilkan suara tersuai berdasarkan penerangan atau rakaman rujukan.
• Mensintesis panduan jenama, dialog watak dan penceritaan kandungan.
• Digunakan untuk respons suara ejen interaktif.
• Mensintesis mesej panduan dan skrip yang berubah menggunakan suara yang sama.

Apabila memilih antara cosa-a dan cosa-b, gunakan suara yang dikehendaki, hasil sintesis sebenar dan item kawalan yang diperlukan sebagai panduan.

cosa-asr

cosa-asr menukar pertuturan input kepada teks. Ia mendokumenkan bahan rakaman atau menukar permintaan yang diterima melalui suara kepada input yang boleh diproses oleh sistem kerja susulan.

• Mentranskripsikan memo suara dan bahan rakaman.
• Menukar soalan dan permintaan kerja berasaskan suara kepada input.
• Menjana teks rujukan untuk penduaan suara.
• Menggunakannya untuk pemprosesan selepas transkripsi seperti ringkasan, pengelasan dan carian.

Dengan menghantar hasil transkripsi kepada CIP, proses diteruskan kepada ringkasan kandungan, pengelasan permintaan dan penyediaan draf kerja. Dengan mensintesiskan hasil pemprosesan menggunakan cosa-a atau cosa-b, anda boleh membina perkhidmatan kerja yang mempunyai input dan output suara.

Cova

cova-1 ialah model khusus OCR visual berasaskan LLM. Ia mengenali teks dalam dokumen dan imej, mengekstrak reka letak serta struktur jadual dan menyediakan penerangan ringkas tentang elemen visual.

Ia menukar dokumen yang dilihat manusia kepada format yang mudah digunakan oleh ejen dan sistem kerja. Teks utama dan jadual diekstrak sebagai kandungan berstruktur, manakala imej yang disertakan dalam dokumen disampaikan sebagai penerangan ringkas. Oleh itu, ejen susulan dapat memahami kandungan dokumen serta konteks visualnya secara bersama. Dengan membina aliran kerja yang terlebih dahulu memahami bahan menggunakan teks dan penerangan yang diekstrak, kemudian menyemak hanya dokumen asal yang memerlukan pengesahan terperinci, jumlah input imej asal yang berulang dapat dikurangkan dan token konteks dapat dijimatkan.

• Pendigitalan dokumen: Menukar dokumen kertas dan bahan yang diimbas kepada bahan berasaskan teks.
• Penerimaan dokumen kerja: Mengekstrak kandungan daripada borang permohonan, dokumen sokongan dan laporan.
• Pemprosesan data jadual: Menggunakan jadual yang terkandung dalam dokumen untuk pemprosesan data seterusnya.
• Prapemprosesan carian pengetahuan: Menukar imej dokumen dan bahan visual kepada teks serta struktur yang boleh dicari.
• Automasi semakan dokumen: Menghantar hasil ekstrak kepada CIP untuk melakukan semakan item, ringkasan dan perbandingan antara bahan.
• Pengoptimuman input ejen: Menyusun kandungan utama, jadual dan penerangan imej dokumen panjang untuk menyampaikan maklumat yang diperlukan sahaja.

Sebagai contoh, semasa mengekstrak kandungan utama dan jadual laporan, graf yang disisipkan diterangkan sebagai graf yang menunjukkan trend jualan mengikut suku tahun. Dengan penerangan ini, ejen dapat memahami kewujudan dan tujuan graf tersebut, lalu memeriksa sumber asalnya dengan lebih lanjut apabila memerlukan nilai atau trend yang tepat.

Sambungan kumpulan produk

Dengan menyambungkan produk, aliran berikut boleh dikonfigurasikan.

• Kerja berasaskan dokumen: Cova mengekstrak kandungan utama, jadual dan penerangan imej, CIP memilih dan memeriksa bahan asal yang diperlukan untuk menjalankan analisis serta pemprosesan kerja, manakala Cosa menyampaikan hasilnya melalui suara.
• Kerja berasaskan suara: Cosa ASR menukar permintaan suara kepada teks, dan cosa-a atau cosa-b membacakan jawapan yang diproses oleh CIP.
• Automasi lapangan: cip-5.5-sm mengklasifikasikan data lapangan dan menjalankan kerja tempatan, manakala bahan yang memerlukan analisis gabungan tambahan dihantar kepada cip-5.5-im atau cip-5.5-mm.

Panggilan yang dibenarkan di get laluan

Pelan gateway menentukan panggilan yang dibenarkan untuk setiap model. Jadual di bawah menunjukkan skop yang dibuka oleh pelan LLM_FREE, TTS_FREE dan STT_FREE, dan pelan ini digunakan secara automatik tanpa permohonan. Model yang dibuka melalui laluan lain tidak disertakan.

cip-5.5-sm dan cova-1 tiada dalam jadual pelan ini. cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm dan ivy-4-mm dalam jadual ini ialah ID model yang tidak disertakan dalam penerangan produk di atas. Laluan yang sepadan dengan kunci panggilan API dinyatakan dalam dokumentasi Panggilan API.