Developer guide
Model
Sažetak modela
CLEVI modeli podijeljeni su u tri proizvodne linije: CIP za opću inteligenciju i automatizaciju poslovanja, Cosa za generiranje i prepoznavanje govora te Cova za izdvajanje informacija iz dokumenata i slika. Svaki se proizvod može koristiti zasebno ili povezati u uslugu koja obuhvaća prepoznavanje dokumenata, analizu, izvršavanje zadataka i glasovno navođenje.
| Proizvod | ID modela | Glavne specifikacije | Glavna uloga |
|---|---|---|---|
| CIP-5.5-SM | cip-5.5-sm | 24B~40B, prilagodljivi | Automatizacija lokalnih zadataka i zadataka na rubnim poslužiteljima |
| CIP-5.5-IM | cip-5.5-im | 360B · ulaz 256K · izlaz 64K · multimodalan | Opća obrada zadataka. Prioritet su brzina odgovora i propusnost |
| CIP-5.5-MM | cip-5.5-mm | 800B · ulaz 512K · izlaz 64K · multimodalan | Analiza dugog konteksta i rješavanje složenih problema |
| Cosa-A | cosa-a | Sinteza·kloniranje·dizajn·strujanje glasa | Generiranje glasa uz detaljnu kontrolu sinteze |
| Cosa-B | cosa-b | Sinteza·kloniranje·dizajn·strujanje glasa | Odabir glasa i generiranje prilagođenog glasa |
| Cosa ASR | cosa-asr | Prepoznavanje govora | Pretvaranje glasovnog unosa u tekst |
| Cova | cova-1 | Specijaliziran za vizualni OCR temeljen na LLM-u | Izdvajanje teksta, izgleda i tablica te jednostavan opis slika |
CIP
CIP je zadužen za opću inteligenciju i automatizaciju poslovanja. Sastoji se od cip-5.5-im i cip-5.5-mm, koji se pozivaju putem pristupnika, te cip-5.5-sm, koji se implementira na rubnim poslužiteljima i lokalno.
cip-5.5-im i cip-5.5-mm
| Stavka | cip-5.5-im | cip-5.5-mm |
|---|---|---|
| Veličina | 360B | 800B |
| Ograničenje ulaza | 256K | 512K |
| Maksimalni izlaz | 64K | 64K |
| Ulazni formati | Tekst i vizualni materijali (dokumenti, slike zaslona, tablice i grafikoni) | Tekst i vizualni materijali (objedinjeni pregled koda, dokumenata i materijala sa zaslona) |
| Usmjerenje dizajna | Obrađuje svakodnevne poslove znanja i razvojne zadatke, s naglaskom na brzinu odgovora, troškovnu učinkovitost i propusnost. | Obrađuje složene zadatke koji objedinjuju više materijala i uvjeta te povezuju rezultate analize sa stvarnim radom. |
| Namjena dugih ulaza | Zajedno pregledava više dokumenata, datoteka koda i povijesti razgovora. | Istodobno obrađuje opsežne referentne materijale i povijest zadataka te izvršava agentske zadatke u kojima se istraživanje, izvršavanje i provjera odvijaju kroz više koraka. |
cip-5.5-im prikladan je za zadatke s jasno definiranim ciljem i opsegom. Tipični su zadaci izdvajanje potrebnih informacija iz dostavljenih materijala, izrada rezultata u zadanom formatu i izmjena koda u skladu sa zahtjevima. Maksimalni izlaz od 64K tokena koristi se za izradu detaljnih izvješća ili rezultata sastavljenih od više dijelova.
- Pomoć pri razvoju: piše funkcije i značajke, ispravlja jasno ograničene pogreške i implementira rješenja u skladu s postojećim obrascima.
- Generiranje testova: izrađuje nacrte testova i slučajeve provjere na temelju zahtjeva i implementacije.
- Obrada dokumenata: izrađuje sažetke, klasificira sadržaj, izdvaja stavke, pretvara obrasce i priprema nacrte.
- Multimodalna analiza: pregledava slike zaslona te tablice i grafikone u dokumentima zajedno s povezanim objašnjenjima.
- Interaktivna poslovna podrška: odgovara na pitanja na temelju poslovnih materijala i izrađuje potrebne rezultate.
- Skupna obrada: koristi se za pojedinačno sažimanje većeg broja dokumenata, klasifikaciju zahtjeva i pretvorbu podataka.
- Podagent: obavlja jasno ograničene podzadatke poput istraživanja koda, pregleda određenih datoteka i organiziranja materijala.
Primjerice, koristi se za izradu prijedloga izmjena, testova i opisa promjena na temelju funkcionalnih zahtjeva i povezanog koda ili za izradu sažetka za odgovornu osobu nakon klasifikacije zaprimljenih dokumenata.
cip-5.5-mm prikladan je za zadatke koji zahtijevaju razumijevanje odnosa između informacija i održavanje dosljednosti cjelokupnog rada. U razvoju pregledava povezanost zahtjeva, dizajna, implementacije i testiranja, a u analizi dokumenata objedinjuje tvrdnje i dokaze, razlike i proturječnosti iz više materijala.
- Implementacija složenih značajki: istodobno mijenja kod, testove i dokumentaciju uzimajući u obzir ugovore i ponašanje više modula.
- Analiza velikih baza koda: pregledava odnose poziva, tokove podataka i opseg utjecaja promjena.
- Analiza uzroka incidenta: uspoređuje zapisnike, konfiguraciju, kod i rezultate izvođenja te organizira hipoteze o uzroku i postupke provjere.
- Podrška dizajnu i donošenju odluka: strukturira zahtjeve i ograničenja te analizira utjecaj alternativa implementacije.
- Sintetička analiza više dokumenata: na temelju dokaza organizira zajedničke značajke, razlike i proturječnosti u izvješćima i tehničkoj dokumentaciji.
- Integrirani multimodalni pregled: zajedno tumači tekstualne i vizualne materijale kako bi analizirao probleme i zahtjeve.
- Višefazni agent: koristi se za zadatke koji uključuju istraživanje, planiranje, izvršavanje alata i pregled rezultata.
- Izrada stručne dokumentacije: izrađuje tehnička izvješća, prijedloge dizajna i detaljne dokumente za pregled koji odražavaju složene uvjete i dokaze.
Na primjer, koristi se za istodobni pregled povezanih kodova pogrešaka i zapisnika iz više usluga ili za zadatke koji obuhvaćaju sve, od analize zahtjeva za složene funkcije do implementacije i pregleda rezultata provjere.
cip-5.5-sm
cip-5.5-sm provodi lokalno zaključivanje i automatizaciju poslovanja na rubnim poslužiteljima i u lokalnim okruženjima. Budući da se veličina modela može prilagoditi u rasponu od 24B do 40B, konfiguraciju možete odabrati prema računalnim resursima opreme za implementaciju i potrebnim performansama na lokaciji. Budući da se obrada odvija blizu mjesta nastanka podataka, koristi se za povezivanje s lokalnim sustavima i upotrebu internih podataka. Ako potrebne modele i alate konfigurirate lokalno, može raditi i u okruženjima s ograničenom vanjskom povezivošću.
Ima ulogu tumačenja informacija nastalih na lokaciji i njihova povezivanja s postupcima obrade. Klasificira zapisnike i zahtjeve, izdvaja potrebne informacije iz podataka te obavlja ponavljajuće zadatke povezanom internom opremom i skriptama.
- Obrada događaja na lokaciji: Klasificira zapisnike opreme i informacije o statusu te odabire događaje koje je potrebno provjeriti.
- Pretprocesiranje podataka: Iz poslovnih zapisa izdvaja ključne stavke te ih klasificira, označava i normalizira.
- Usmjeravanje zahtjeva: Zaprimljene zahtjeve prosljeđuje odgovarajućem sustavu ili postupku obrade.
- Lokalni poslovni agent: Obavlja ponavljajuće zadatke dohvaćanjem podataka iz internih sustava i pokretanjem skripti.
- Podrška poslovanju u lokalnom okruženju: Odgovara na pitanja na temelju internih materijala i sažima poslovni sadržaj.
- Podrška naknadnoj analizi: Odabire materijale koji zahtijevaju dodatni pregled i sažima ključni sadržaj.
Na primjer, koristi se za tijek rada u kojem se na poslužitelju poslovne lokacije klasificiraju operativni zapisnici, dohvaća povezana povijest i sastavlja sažetak incidenta za odgovornu osobu.
Cosa
Cosa je skup glasovnih proizvoda koji pretvara tekst u govor, prepoznaje ulazni govor kao tekst te omogućuje registraciju i ponovnu upotrebu željenog glasa. Koristi se za obavijesti o uslugama, izradu sadržaja, podršku pristupačnosti i glasovna sučelja konverzacijskih agenata.
Generiranje govora obavljaju cosa-a i cosa-b, a prepoznavanje govora cosa-asr. cosa-a i cosa-b zasebni su modeli koji pružaju vlastite popise glasova i postavke sinteze, a odabiru se u istom servisnom sučelju. Značajke koje oba modela zajednički pružaju su sljedeće.
- Pretvaranje teksta u govor: sintetizira unesene rečenice odabranim glasom.
- Kloniranje glasa: registrira glas na temelju referentne snimke za koju imate dopuštenje za korištenje i sintetizira nove rečenice.
- Dizajn glasa: stvara i registrira glas na temelju opisa željenih značajki glasa.
- Ponovna upotreba glasa: koristi registrirani glas za naknadnu sintezu.
- Postavke sinteze: prilagođava brzinu govora, jezik i druge postavke.
- Strujni prijenos: sintetizira tekst u jedinicama fraza čim stigne i uzastopno prenosi zvuk.
- Upravljanje reprodukcijom: podržava pauziranje, nastavak, prekid i unos dodatnih rečenica.
Pomoću postupnog unosa teksta reprodukciju glasa možete započeti prije nego što se cijeli odgovor dovrši. Dok CIP sastavlja odgovor, možete konfigurirati uslugu u kojoj Cosa čita pripremljene fraze.
cosa-a
cosa-a podržava pretvaranje teksta u govor, kloniranje glasa, dizajn glasa i strujni izlaz. Uz osnovne funkcije odabira glasa, jezika i brzine govora, pruža i dodatne mogućnosti upravljanja, kao što su postavke povezane s brojem koraka sinteze, jačinom usmjeravanja i duljinom generiranja. Koristi se za prilagođavanje postavki i pregled rezultata tijekom izrade glasa ili za primjenu više postavki na isti predložak i odabir rezultata.
- Sintetizira obavijesti i upute za aplikacije, kioske i poslovne sustave.
- Izrađuje obrazovne materijale i korisničke priručnike u zvučnom obliku.
- Izrađuje naraciju za video i audio sadržaj.
- Izrađuje ponavljajući sadržaj registriranim glasom.
- Koristi se za strujni glasovni izlaz interaktivnih agenata.
- Koristi se za izradu glasa uz prilagođavanje detaljnih postavki sinteze.
cosa-b
cosa-b podržava odabir unaprijed postavljenih glasova, dizajn glasa na temelju opisa, kloniranje na temelju referentnog glasa i strujni izlaz. Možete odabrati glas s vlastitog popisa glasova ili registrirati novi glas za upotrebu u usluzi.
Za kloniranje glasa koriste se referentna snimka i tekst koji joj odgovara. Podržan je i postupak u kojem se referentni tekst generira prepoznavanjem govora tijekom registracije, a registrirani se glas ponovno koristi u naknadnoj sintezi.
- Oblikuje glasovnu personu usluge i lika.
- Izrađuje prilagođeni glas na temelju opisa ili referentne snimke.
- Sintetizira obavijesti robne marke, dijaloge likova i naraciju sadržaja.
- Koristi se za glasovne odgovore interaktivnih agenata.
- Sintetizira promijenjene obavijesti i predloške istim glasom.
Kada birate između cosa-a i cosa-b, vodite se željenim glasom, stvarnim rezultatom sinteze i potrebnim mogućnostima upravljanja.
| Stavka | cosa-a | cosa-b |
|---|---|---|
| Postavke sinteze | Uz glas, jezik i brzinu govora, postavke povezane s brojem koraka sinteze, jačinom vođenja i duljinom generiranja | Zajedničke postavke poput brzine govora i jezika |
| Ulaz za kloniranje | Referentna snimka za koju imate pravo korištenja | Referentna snimka i odgovarajući tekst. Tijekom registracije referentni tekst može se generirati prepoznavanjem govora |
| Uloga | Generiranje glasa uz detaljno upravljanje sintezom | Odabir glasa i generiranje prilagođenog glasa |
cosa-asr
cosa-asr pretvara ulazni govor u tekst. Dokumentira snimljene materijale ili zahtjeve primljene glasom pretvara u ulaz koji naknadni poslovni sustavi mogu obraditi.
- Transkribira glasovne bilješke i snimljene materijale.
- Pretvara pitanja i poslovne zahtjeve temeljene na glasu u ulaz.
- Generira referentni tekst za kloniranje glasa.
- Koristi se za obradu koja nakon transkripcije uključuje sažimanje, klasifikaciju i pretraživanje.
Prosljeđivanjem rezultata transkripcije u CIP slijede sažimanje sadržaja, klasifikacija zahtjeva i izrada nacrta poslovnih dokumenata. Sintetiziranjem rezultata pomoću cosa-a ili cosa-b dobiva se poslovna usluga s glasovnim ulazom i izlazom.
Cova
cova-1 je LLM model namijenjen isključivo vizualnom OCR-u. Prepoznaje tekst iz dokumenata i slika, izdvaja raspored i strukturu tablica te pruža kratke opise vizualnih elemenata.
Dokumente koje ljudi čitaju pretvara u format prikladniji za agente i poslovne sustave. Tekst i tablice izdvaja kao strukturirani sadržaj, a slike uključene u dokument prenosi kao kratke opise, pa naknadni agent može istodobno razumjeti sadržaj dokumenta i vizualni kontekst. Ako se organizira tijek rada u kojem se materijal najprije pregledava pomoću izdvojenog teksta i opisa, a samo se izvornici koji zahtijevaju detaljnu provjeru naknadno pregledavaju, smanjuje se količina ponovnog unosa izvornih slika i štede se kontekstni tokeni.
| Funkcija | Opis |
|---|---|
| Prepoznavanje teksta | Izvlači tekst iz skeniranih ili fotografiranih dokumenata. |
| Tumačenje izgleda | Razdvaja sadržaj u blokove uzimajući u obzir raspored dokumenta. |
| Pružanje informacija o položaju | Pruža položaj prepoznatih blokova kako bi povezao rezultate izdvajanja s izvornim tekstom. |
| Izdvajanje strukture tablice | Strukturira sadržaj tablica za pretraživanje i obradu podataka. |
| Jednostavan opis slike | Ukratko opisuje sadržaj slike i vizualnih elemenata kako bi agentu pružio smjernice za tumačenje. |
| Optimizacija konteksta | Prenosi informacije prvenstveno kroz tekst, strukturu i opis slike kako bi smanjio ponovljeni unos izvorne slike. |
| Selektivna detaljna analiza | Pomaže agentu procijeniti koje izvorne slike treba dodatno provjeriti. |
| Pretvorba formata dokumenta | Organizira rezultate prepoznavanja u HTML ili Markdown. |
- Digitalizacija dokumenata: Pretvara papirnate dokumente i skenirane materijale u tekstualne podatke.
- Zaprimanje poslovnih dokumenata: Izvlači sadržaj iz obrazaca, popratne dokumentacije i izvješća.
- Obrada tabličnih podataka: Upotrebljava tablice sadržane u dokumentima za daljnju obradu podataka.
- Predobrada za pretraživanje znanja: Pretvara slike dokumenata i vizualne materijale u tekst i strukture koje se mogu pretraživati.
- Automatizacija pregleda dokumenata: Prosljeđuje rezultate izdvajanja CIP-u radi provjere stavki, sažimanja i usporedbe materijala.
- Optimizacija unosa za agente: Organizira glavni tekst, tablice i opise slika dugih dokumenata kako bi se prenijele samo potrebne informacije.
Na primjer, uz izdvajanje glavnog teksta i tablica iz izvješća, umetnuti grafikon opisuje se kao grafikon koji prikazuje tromjesečna kretanja prihoda. Agent pomoću tog opisa utvrđuje postojanje i svrhu grafikona, a kada su potrebne točne vrijednosti ili trendovi, dodatno provjerava odgovarajući izvorni materijal.
Povezivanje proizvoda
Povezivanjem proizvoda možete konfigurirati sljedeći tijek.
- Poslovanje temeljeno na dokumentima: Cova izdvaja glavni tekst, tablice i opise slika, CIP selektivno provjerava potrebne izvorne materijale te provodi analizu i obradu zadataka, a Cosa rezultate prenosi glasom.
- Glasovno poslovanje: Cosa ASR pretvara glasovne zahtjeve u tekst, a cosa-a ili cosa-b čita odgovore koje je obradio CIP.
- Automatizacija na terenu: cip-5.5-sm klasificira podatke s terena i obavlja lokalne zadatke, a materijale za koje je potrebna dodatna sveobuhvatna analiza prosljeđuje modelima cip-5.5-im ili cip-5.5-mm.
Pozivi dopušteni na pristupniku
Planovi pristupnika određuju dopuštene pozive za svaki model. Tablica u nastavku prikazuje opseg koji omogućuju planovi LLM_FREE, TTS_FREE i STT_FREE, a ti se planovi automatski primjenjuju bez podnošenja zahtjeva. Ne uključuje modele otvorene drugim rutama.
| ID modela | Dopušteni pozivi | Temeljni plan |
|---|---|---|
| cip-5.5-im | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-im-chat | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm-h | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cosa-a | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-b | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-tts | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-asr | audio.transcriptions | STT_FREE |
| ivy-4-embedding | embeddings | LLM_FREE |
| ivy-4-embedding-mm | embeddings | LLM_FREE |
| ivy-4-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
cip-5.5-sm i cova-1 nisu navedeni u ovoj tablici plana. cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm i ivy-4-mm u tablici ID-jevi su modela koji nisu uključeni u gornje opise proizvoda. Dokumentacija o pozivanju API-ja navodi putanju kojoj odgovara ključ za poziv.
