Developer guide

Model

Sažetak modela

CLEVI modeli podijeljeni su u tri proizvodne linije: CIP za opću inteligenciju i automatizaciju poslovanja, Cosa za generiranje i prepoznavanje govora te Cova za izdvajanje informacija iz dokumenata i slika. Svaki se proizvod može koristiti zasebno ili povezati u uslugu koja obuhvaća prepoznavanje dokumenata, analizu, izvršavanje zadataka i glasovno navođenje.

ProizvodID modelaGlavne specifikacijeGlavna uloga
CIP-5.5-SMcip-5.5-sm24B~40B, prilagodljiviAutomatizacija lokalnih zadataka i zadataka na rubnim poslužiteljima
CIP-5.5-IMcip-5.5-im360B · ulaz 256K · izlaz 64K · multimodalanOpća obrada zadataka. Prioritet su brzina odgovora i propusnost
CIP-5.5-MMcip-5.5-mm800B · ulaz 512K · izlaz 64K · multimodalanAnaliza dugog konteksta i rješavanje složenih problema
Cosa-Acosa-aSinteza·kloniranje·dizajn·strujanje glasaGeneriranje glasa uz detaljnu kontrolu sinteze
Cosa-Bcosa-bSinteza·kloniranje·dizajn·strujanje glasaOdabir glasa i generiranje prilagođenog glasa
Cosa ASRcosa-asrPrepoznavanje govoraPretvaranje glasovnog unosa u tekst
Covacova-1Specijaliziran za vizualni OCR temeljen na LLM-uIzdvajanje teksta, izgleda i tablica te jednostavan opis slika

CIP

CIP je zadužen za opću inteligenciju i automatizaciju poslovanja. Sastoji se od cip-5.5-im i cip-5.5-mm, koji se pozivaju putem pristupnika, te cip-5.5-sm, koji se implementira na rubnim poslužiteljima i lokalno.

cip-5.5-im i cip-5.5-mm

Stavkacip-5.5-imcip-5.5-mm
Veličina360B800B
Ograničenje ulaza256K512K
Maksimalni izlaz64K64K
Ulazni formatiTekst i vizualni materijali (dokumenti, slike zaslona, tablice i grafikoni)Tekst i vizualni materijali (objedinjeni pregled koda, dokumenata i materijala sa zaslona)
Usmjerenje dizajnaObrađuje svakodnevne poslove znanja i razvojne zadatke, s naglaskom na brzinu odgovora, troškovnu učinkovitost i propusnost.Obrađuje složene zadatke koji objedinjuju više materijala i uvjeta te povezuju rezultate analize sa stvarnim radom.
Namjena dugih ulazaZajedno pregledava više dokumenata, datoteka koda i povijesti razgovora.Istodobno obrađuje opsežne referentne materijale i povijest zadataka te izvršava agentske zadatke u kojima se istraživanje, izvršavanje i provjera odvijaju kroz više koraka.

cip-5.5-im prikladan je za zadatke s jasno definiranim ciljem i opsegom. Tipični su zadaci izdvajanje potrebnih informacija iz dostavljenih materijala, izrada rezultata u zadanom formatu i izmjena koda u skladu sa zahtjevima. Maksimalni izlaz od 64K tokena koristi se za izradu detaljnih izvješća ili rezultata sastavljenih od više dijelova.

  • Pomoć pri razvoju: piše funkcije i značajke, ispravlja jasno ograničene pogreške i implementira rješenja u skladu s postojećim obrascima.
  • Generiranje testova: izrađuje nacrte testova i slučajeve provjere na temelju zahtjeva i implementacije.
  • Obrada dokumenata: izrađuje sažetke, klasificira sadržaj, izdvaja stavke, pretvara obrasce i priprema nacrte.
  • Multimodalna analiza: pregledava slike zaslona te tablice i grafikone u dokumentima zajedno s povezanim objašnjenjima.
  • Interaktivna poslovna podrška: odgovara na pitanja na temelju poslovnih materijala i izrađuje potrebne rezultate.
  • Skupna obrada: koristi se za pojedinačno sažimanje većeg broja dokumenata, klasifikaciju zahtjeva i pretvorbu podataka.
  • Podagent: obavlja jasno ograničene podzadatke poput istraživanja koda, pregleda određenih datoteka i organiziranja materijala.

Primjerice, koristi se za izradu prijedloga izmjena, testova i opisa promjena na temelju funkcionalnih zahtjeva i povezanog koda ili za izradu sažetka za odgovornu osobu nakon klasifikacije zaprimljenih dokumenata.

cip-5.5-mm prikladan je za zadatke koji zahtijevaju razumijevanje odnosa između informacija i održavanje dosljednosti cjelokupnog rada. U razvoju pregledava povezanost zahtjeva, dizajna, implementacije i testiranja, a u analizi dokumenata objedinjuje tvrdnje i dokaze, razlike i proturječnosti iz više materijala.

  • Implementacija složenih značajki: istodobno mijenja kod, testove i dokumentaciju uzimajući u obzir ugovore i ponašanje više modula.
  • Analiza velikih baza koda: pregledava odnose poziva, tokove podataka i opseg utjecaja promjena.
  • Analiza uzroka incidenta: uspoređuje zapisnike, konfiguraciju, kod i rezultate izvođenja te organizira hipoteze o uzroku i postupke provjere.
  • Podrška dizajnu i donošenju odluka: strukturira zahtjeve i ograničenja te analizira utjecaj alternativa implementacije.
  • Sintetička analiza više dokumenata: na temelju dokaza organizira zajedničke značajke, razlike i proturječnosti u izvješćima i tehničkoj dokumentaciji.
  • Integrirani multimodalni pregled: zajedno tumači tekstualne i vizualne materijale kako bi analizirao probleme i zahtjeve.
  • Višefazni agent: koristi se za zadatke koji uključuju istraživanje, planiranje, izvršavanje alata i pregled rezultata.
  • Izrada stručne dokumentacije: izrađuje tehnička izvješća, prijedloge dizajna i detaljne dokumente za pregled koji odražavaju složene uvjete i dokaze.

Na primjer, koristi se za istodobni pregled povezanih kodova pogrešaka i zapisnika iz više usluga ili za zadatke koji obuhvaćaju sve, od analize zahtjeva za složene funkcije do implementacije i pregleda rezultata provjere.

cip-5.5-sm

cip-5.5-sm provodi lokalno zaključivanje i automatizaciju poslovanja na rubnim poslužiteljima i u lokalnim okruženjima. Budući da se veličina modela može prilagoditi u rasponu od 24B do 40B, konfiguraciju možete odabrati prema računalnim resursima opreme za implementaciju i potrebnim performansama na lokaciji. Budući da se obrada odvija blizu mjesta nastanka podataka, koristi se za povezivanje s lokalnim sustavima i upotrebu internih podataka. Ako potrebne modele i alate konfigurirate lokalno, može raditi i u okruženjima s ograničenom vanjskom povezivošću.

Ima ulogu tumačenja informacija nastalih na lokaciji i njihova povezivanja s postupcima obrade. Klasificira zapisnike i zahtjeve, izdvaja potrebne informacije iz podataka te obavlja ponavljajuće zadatke povezanom internom opremom i skriptama.

  • Obrada događaja na lokaciji: Klasificira zapisnike opreme i informacije o statusu te odabire događaje koje je potrebno provjeriti.
  • Pretprocesiranje podataka: Iz poslovnih zapisa izdvaja ključne stavke te ih klasificira, označava i normalizira.
  • Usmjeravanje zahtjeva: Zaprimljene zahtjeve prosljeđuje odgovarajućem sustavu ili postupku obrade.
  • Lokalni poslovni agent: Obavlja ponavljajuće zadatke dohvaćanjem podataka iz internih sustava i pokretanjem skripti.
  • Podrška poslovanju u lokalnom okruženju: Odgovara na pitanja na temelju internih materijala i sažima poslovni sadržaj.
  • Podrška naknadnoj analizi: Odabire materijale koji zahtijevaju dodatni pregled i sažima ključni sadržaj.

Na primjer, koristi se za tijek rada u kojem se na poslužitelju poslovne lokacije klasificiraju operativni zapisnici, dohvaća povezana povijest i sastavlja sažetak incidenta za odgovornu osobu.

Cosa

Cosa je skup glasovnih proizvoda koji pretvara tekst u govor, prepoznaje ulazni govor kao tekst te omogućuje registraciju i ponovnu upotrebu željenog glasa. Koristi se za obavijesti o uslugama, izradu sadržaja, podršku pristupačnosti i glasovna sučelja konverzacijskih agenata.

Generiranje govora obavljaju cosa-a i cosa-b, a prepoznavanje govora cosa-asr. cosa-a i cosa-b zasebni su modeli koji pružaju vlastite popise glasova i postavke sinteze, a odabiru se u istom servisnom sučelju. Značajke koje oba modela zajednički pružaju su sljedeće.

  • Pretvaranje teksta u govor: sintetizira unesene rečenice odabranim glasom.
  • Kloniranje glasa: registrira glas na temelju referentne snimke za koju imate dopuštenje za korištenje i sintetizira nove rečenice.
  • Dizajn glasa: stvara i registrira glas na temelju opisa željenih značajki glasa.
  • Ponovna upotreba glasa: koristi registrirani glas za naknadnu sintezu.
  • Postavke sinteze: prilagođava brzinu govora, jezik i druge postavke.
  • Strujni prijenos: sintetizira tekst u jedinicama fraza čim stigne i uzastopno prenosi zvuk.
  • Upravljanje reprodukcijom: podržava pauziranje, nastavak, prekid i unos dodatnih rečenica.

Pomoću postupnog unosa teksta reprodukciju glasa možete započeti prije nego što se cijeli odgovor dovrši. Dok CIP sastavlja odgovor, možete konfigurirati uslugu u kojoj Cosa čita pripremljene fraze.

cosa-a

cosa-a podržava pretvaranje teksta u govor, kloniranje glasa, dizajn glasa i strujni izlaz. Uz osnovne funkcije odabira glasa, jezika i brzine govora, pruža i dodatne mogućnosti upravljanja, kao što su postavke povezane s brojem koraka sinteze, jačinom usmjeravanja i duljinom generiranja. Koristi se za prilagođavanje postavki i pregled rezultata tijekom izrade glasa ili za primjenu više postavki na isti predložak i odabir rezultata.

  • Sintetizira obavijesti i upute za aplikacije, kioske i poslovne sustave.
  • Izrađuje obrazovne materijale i korisničke priručnike u zvučnom obliku.
  • Izrađuje naraciju za video i audio sadržaj.
  • Izrađuje ponavljajući sadržaj registriranim glasom.
  • Koristi se za strujni glasovni izlaz interaktivnih agenata.
  • Koristi se za izradu glasa uz prilagođavanje detaljnih postavki sinteze.

cosa-b

cosa-b podržava odabir unaprijed postavljenih glasova, dizajn glasa na temelju opisa, kloniranje na temelju referentnog glasa i strujni izlaz. Možete odabrati glas s vlastitog popisa glasova ili registrirati novi glas za upotrebu u usluzi.

Za kloniranje glasa koriste se referentna snimka i tekst koji joj odgovara. Podržan je i postupak u kojem se referentni tekst generira prepoznavanjem govora tijekom registracije, a registrirani se glas ponovno koristi u naknadnoj sintezi.

  • Oblikuje glasovnu personu usluge i lika.
  • Izrađuje prilagođeni glas na temelju opisa ili referentne snimke.
  • Sintetizira obavijesti robne marke, dijaloge likova i naraciju sadržaja.
  • Koristi se za glasovne odgovore interaktivnih agenata.
  • Sintetizira promijenjene obavijesti i predloške istim glasom.

Kada birate između cosa-a i cosa-b, vodite se željenim glasom, stvarnim rezultatom sinteze i potrebnim mogućnostima upravljanja.

Stavkacosa-acosa-b
Postavke sintezeUz glas, jezik i brzinu govora, postavke povezane s brojem koraka sinteze, jačinom vođenja i duljinom generiranjaZajedničke postavke poput brzine govora i jezika
Ulaz za kloniranjeReferentna snimka za koju imate pravo korištenjaReferentna snimka i odgovarajući tekst. Tijekom registracije referentni tekst može se generirati prepoznavanjem govora
UlogaGeneriranje glasa uz detaljno upravljanje sintezomOdabir glasa i generiranje prilagođenog glasa

cosa-asr

cosa-asr pretvara ulazni govor u tekst. Dokumentira snimljene materijale ili zahtjeve primljene glasom pretvara u ulaz koji naknadni poslovni sustavi mogu obraditi.

  • Transkribira glasovne bilješke i snimljene materijale.
  • Pretvara pitanja i poslovne zahtjeve temeljene na glasu u ulaz.
  • Generira referentni tekst za kloniranje glasa.
  • Koristi se za obradu koja nakon transkripcije uključuje sažimanje, klasifikaciju i pretraživanje.

Prosljeđivanjem rezultata transkripcije u CIP slijede sažimanje sadržaja, klasifikacija zahtjeva i izrada nacrta poslovnih dokumenata. Sintetiziranjem rezultata pomoću cosa-a ili cosa-b dobiva se poslovna usluga s glasovnim ulazom i izlazom.

Cova

cova-1 je LLM model namijenjen isključivo vizualnom OCR-u. Prepoznaje tekst iz dokumenata i slika, izdvaja raspored i strukturu tablica te pruža kratke opise vizualnih elemenata.

Dokumente koje ljudi čitaju pretvara u format prikladniji za agente i poslovne sustave. Tekst i tablice izdvaja kao strukturirani sadržaj, a slike uključene u dokument prenosi kao kratke opise, pa naknadni agent može istodobno razumjeti sadržaj dokumenta i vizualni kontekst. Ako se organizira tijek rada u kojem se materijal najprije pregledava pomoću izdvojenog teksta i opisa, a samo se izvornici koji zahtijevaju detaljnu provjeru naknadno pregledavaju, smanjuje se količina ponovnog unosa izvornih slika i štede se kontekstni tokeni.

FunkcijaOpis
Prepoznavanje tekstaIzvlači tekst iz skeniranih ili fotografiranih dokumenata.
Tumačenje izgledaRazdvaja sadržaj u blokove uzimajući u obzir raspored dokumenta.
Pružanje informacija o položajuPruža položaj prepoznatih blokova kako bi povezao rezultate izdvajanja s izvornim tekstom.
Izdvajanje strukture tabliceStrukturira sadržaj tablica za pretraživanje i obradu podataka.
Jednostavan opis slikeUkratko opisuje sadržaj slike i vizualnih elemenata kako bi agentu pružio smjernice za tumačenje.
Optimizacija kontekstaPrenosi informacije prvenstveno kroz tekst, strukturu i opis slike kako bi smanjio ponovljeni unos izvorne slike.
Selektivna detaljna analizaPomaže agentu procijeniti koje izvorne slike treba dodatno provjeriti.
Pretvorba formata dokumentaOrganizira rezultate prepoznavanja u HTML ili Markdown.
  • Digitalizacija dokumenata: Pretvara papirnate dokumente i skenirane materijale u tekstualne podatke.
  • Zaprimanje poslovnih dokumenata: Izvlači sadržaj iz obrazaca, popratne dokumentacije i izvješća.
  • Obrada tabličnih podataka: Upotrebljava tablice sadržane u dokumentima za daljnju obradu podataka.
  • Predobrada za pretraživanje znanja: Pretvara slike dokumenata i vizualne materijale u tekst i strukture koje se mogu pretraživati.
  • Automatizacija pregleda dokumenata: Prosljeđuje rezultate izdvajanja CIP-u radi provjere stavki, sažimanja i usporedbe materijala.
  • Optimizacija unosa za agente: Organizira glavni tekst, tablice i opise slika dugih dokumenata kako bi se prenijele samo potrebne informacije.

Na primjer, uz izdvajanje glavnog teksta i tablica iz izvješća, umetnuti grafikon opisuje se kao grafikon koji prikazuje tromjesečna kretanja prihoda. Agent pomoću tog opisa utvrđuje postojanje i svrhu grafikona, a kada su potrebne točne vrijednosti ili trendovi, dodatno provjerava odgovarajući izvorni materijal.

Povezivanje proizvoda

Povezivanjem proizvoda možete konfigurirati sljedeći tijek.

  • Poslovanje temeljeno na dokumentima: Cova izdvaja glavni tekst, tablice i opise slika, CIP selektivno provjerava potrebne izvorne materijale te provodi analizu i obradu zadataka, a Cosa rezultate prenosi glasom.
  • Glasovno poslovanje: Cosa ASR pretvara glasovne zahtjeve u tekst, a cosa-a ili cosa-b čita odgovore koje je obradio CIP.
  • Automatizacija na terenu: cip-5.5-sm klasificira podatke s terena i obavlja lokalne zadatke, a materijale za koje je potrebna dodatna sveobuhvatna analiza prosljeđuje modelima cip-5.5-im ili cip-5.5-mm.

Pozivi dopušteni na pristupniku

Planovi pristupnika određuju dopuštene pozive za svaki model. Tablica u nastavku prikazuje opseg koji omogućuju planovi LLM_FREE, TTS_FREE i STT_FREE, a ti se planovi automatski primjenjuju bez podnošenja zahtjeva. Ne uključuje modele otvorene drugim rutama.

ID modelaDopušteni poziviTemeljni plan
cip-5.5-imanthropic.messages · chat.completions · chat.completions.batch · completions · responsesLLM_FREE
cip-5.5-im-chatanthropic.messages · chat.completions · chat.completions.batch · completions · responsesLLM_FREE
cip-5.5-mmanthropic.messages · chat.completions · chat.completions.batch · completions · responsesLLM_FREE
cip-5.5-mm-hanthropic.messages · chat.completions · chat.completions.batch · completions · responsesLLM_FREE
cosa-aaudio.speech · audio.speech.clone · voices · voices.designTTS_FREE
cosa-baudio.speech · audio.speech.clone · voices · voices.designTTS_FREE
cosa-ttsaudio.speech · audio.speech.clone · voices · voices.designTTS_FREE
cosa-asraudio.transcriptionsSTT_FREE
ivy-4-embeddingembeddingsLLM_FREE
ivy-4-embedding-mmembeddingsLLM_FREE
ivy-4-mmanthropic.messages · chat.completions · chat.completions.batch · completions · responsesLLM_FREE

cip-5.5-sm i cova-1 nisu navedeni u ovoj tablici plana. cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm i ivy-4-mm u tablici ID-jevi su modela koji nisu uključeni u gornje opise proizvoda. Dokumentacija o pozivanju API-ja navodi putanju kojoj odgovara ključ za poziv.

CLEVI

Jezik i regija

Strojno prevedeni jezici označeni su. Dostupnost prati objavljeni paket web-mjesta.

136 jezika

Preporučeno

1

Istočna Azija

7

Jugoistočna Azija

11

Južna Azija

18

Srednja Azija

5

Bliski istok i Kavkaz

10

Zapadna Europa i Južna Europa

16

Ujedinjeno Kraljevstvo i Irska

4

Sjeverna Europa

10

Srednja Europa i Balkan

14

Istočna Europa

5

Istočna Afrika

8

Zapadna Afrika i Središnja Afrika

9

Južna Afrika

8

Amerike

5

Oceanija

5