Malli

CLEVI-mallit jakautuvat kolmeen tuoteperheeseen: CIP vastaa yleisestä älykkyydestä ja työtehtävien automatisoinnista, Cosa puheen tuottamisesta ja tunnistamisesta sekä Cova asiakirjojen ja kuvien tietojen poiminnasta. Kutakin tuotetta voidaan käyttää itsenäisesti tai ne voidaan yhdistää palveluksi, joka etenee asiakirjojen tunnistamisesta analyysiin, tehtävien suorittamiseen ja puheohjaukseen.

CIP

CIP vastaa yleisestä älykkyydestä ja työtehtävien automatisoinnista. Se koostuu yhdyskäytävän kautta kutsuttavista malleista cip-5.5-im ja cip-5.5-mm sekä reunapalvelimille ja paikalliseen ympäristöön asennettavasta mallista cip-5.5-sm.

cip-5.5-im ja cip-5.5-mm

cip-5.5-im sopii tehtäviin, joissa tavoitteet ja työn laajuus ovat selkeästi määriteltyjä. Tyypillisiä tehtäviä ovat tarvittavien tietojen poimiminen toimitetuista aineistoista, tuotosten laatiminen määritetyssä muodossa ja koodin muokkaaminen vaatimusten mukaisesti. Enintään 64K:n tulostetta käytetään yksityiskohtaisten raporttien tai useista osista koostuvien tuotosten laatimiseen.

• Kehityksen avustaminen: kirjoittaa funktioita ja toiminnallisuuksia, korjaa rajattuja virheitä ja toteuttaa ratkaisuja olemassa olevien mallien mukaisesti.
• Testien luonti: laatii vaatimusten ja toteutuksen perusteella testiluonnoksia ja varmennustapauksia.
• Dokumenttien käsittely: huolehtii yhteenvedoista, luokittelusta, tietojen poiminnasta, muotojen muuntamisesta ja luonnosten laatimisesta.
• Monimodaalinen analyysi: tarkastelee näyttökuvia sekä asiakirjojen taulukoita ja kaavioita niihin liittyvien kuvausten kanssa.
• Vuorovaikutteinen työtehtävien tuki: vastaa kysymyksiin työaineistojen perusteella ja laatii tarvittavat tuotokset.
• Massakäsittely: käyttää useiden asiakirjojen yksittäisiin yhteenvetoihin, pyyntöjen luokitteluun ja tietojen muuntamiseen.
• Aliagentti: hoitaa selkeästi rajattuja alitehtäviä, kuten koodin tutkimista, tiettyjen tiedostojen tarkastelua ja aineistojen järjestämistä.

Sitä käytetään esimerkiksi tehtävissä, joissa vastaanotettujen toiminnallisten vaatimusten ja niihin liittyvän koodin perusteella laaditaan muutosehdotus, testit ja muutosten kuvaus, tai joissa vastaanottoasiakirjat luokitellaan ja niistä laaditaan yhteenveto vastuuhenkilöä varten.

cip-5.5-mm sopii tehtäviin, joissa on ymmärrettävä tietojen välisiä suhteita ja säilytettävä koko työn johdonmukaisuus. Kehitystyössä se tarkastelee vaatimusten, suunnittelun, toteutuksen ja testauksen välisiä yhteyksiä, ja asiakirja-analyysissä se kokoaa yhteen useiden aineistojen väitteet ja perustelut sekä erot ja ristiriidat.

• Monimutkaisten toiminnallisuuksien toteutus: muuttaa koodia, testejä ja dokumentaatiota yhdessä useiden moduulien sopimukset ja toiminnan huomioon ottaen.
• Laajamittainen koodianalyysi: tarkastelee kutsusuhteita, tietovirtoja ja muutosten vaikutusaluetta.
• Häiriöiden syiden analyysi: vertailee lokeja, asetuksia, koodia ja suoritustuloksia sekä kokoaa hypoteesit syistä ja niiden vahvistamismenettelyt.
• Suunnittelun ja päätöksenteon tuki: jäsentää vaatimukset ja rajoitteet sekä analysoi toteutusvaihtoehtojen vaikutuksia.
• Useiden asiakirjojen synteesianalyysi: kokoaa raporttien ja teknisten asiakirjojen yhtäläisyydet, erot ja ristiriidat näyttöön perustuvalla tavalla.
• Monimodaalinen integroitu tarkastelu: tulkitsee tekstiä ja visuaalista aineistoa yhdessä sekä analysoi ongelmia ja vaatimuksia.
• Monivaiheinen agentti: käyttää tutkimusta, suunnittelua, työkalujen suorittamista ja tulosten tarkastelua sisältäviin tehtäviin.
• Ammattimainen dokumentointi: laatii teknisiä raportteja, suunnitelmia ja yksityiskohtaisia tarkastusasiakirjoja, joissa huomioidaan monimutkaiset ehdot ja perustelut.

Sitä käytetään esimerkiksi useista palveluista peräisin olevien virheiden asiaankuuluvien koodien ja lokien tarkasteluun yhdessä sekä tehtäviin, jotka etenevät monimutkaisten toimintojen vaatimusten analysoinnista toteutukseen ja verifiointitulosten tarkasteluun.

cip-5.5-sm

cip-5.5-sm suorittaa paikallista päättelyä ja automatisoi työtehtäviä reunapalvelimilla ja paikallisissa ympäristöissä. Mallin kokoa voidaan säätää välillä 24B–40B, joten kokoonpano voidaan valita käyttöönotettavan laitteen laskentaresurssien ja käyttöympäristön suorituskykyvaatimusten mukaan. Koska käsittely tapahtuu lähellä tietojen syntypaikkaa, sitä käytetään työympäristön järjestelmäintegraatioihin ja sisäisen datan hyödyntämiseen. Kun tarvittavat mallit ja työkalut määritetään paikallisesti, sitä voidaan käyttää myös ympäristöissä, joissa ulkoisia yhteyksiä on rajoitettu.

Sen tehtävänä on tulkita työympäristössä syntyviä tietoja ja yhdistää ne käsittelymenettelyihin. Se luokittelee lokit ja pyynnöt, poimii tiedoista tarvittavat tiedot ja suorittaa toistuvia tehtäviä yhdistettyjen sisäisten työkalujen ja skriptien avulla.

• Työympäristön tapahtumien käsittely: Luokittelee laitelokit ja tilatiedot sekä valitsee tapahtumat, jotka on tarkistettava.
• Tietojen esikäsittely: Poimii työasiakirjoista keskeiset kohdat ja luokittelee, merkitsee ja normalisoi ne.
• Pyyntöjen reititys: Välittää vastaanotetut pyynnöt vastuussa olevaan järjestelmään tai käsittelymenettelyyn.
• Paikallinen työtehtäväagentti: Suorittaa toistuvia tehtäviä hakemalla tietoja sisäisistä järjestelmistä ja suorittamalla skriptejä.
• Paikallisen ympäristön työtehtävien tuki: Vastaa kysymyksiin sisäisen aineiston perusteella ja jäsentää työtehtäviin liittyvän sisällön.
• Jälkianalyysin tuki: Valitsee lisätarkastelua vaativat aineistot ja jäsentää niiden keskeisen sisällön.

Sitä käytetään esimerkiksi työnkulussa, jossa toimipaikan palvelimella luokitellaan käyttölogeja, haetaan asiaankuuluvat historiatiedot ja laaditaan vastuuhenkilöille tapahtumayhteenveto.

Cosa

Cosa on äänituoteperhe, joka muuntaa tekstin puheeksi, tunnistaa syötetyn puheen tekstiksi ja mahdollistaa halutun äänen rekisteröinnin uudelleenkäyttöä varten. Sitä käytetään palveluopastuksessa, sisällöntuotannossa, saavutettavuuden tukemisessa ja keskustelevaan agenttiin liittyvissä puhekäyttöliittymissä.

Puheen tuottamisesta vastaavat cosa-a ja cosa-b, ja puheentunnistuksesta cosa-asr. cosa-a ja cosa-b ovat erillisiä malleja, jotka tarjoavat omat ääniluettelonsa ja synteesi­asetuksensa, ja ne valitaan samassa palvelukäyttöliittymässä. Molempien mallien yhteisesti tarjoamat toiminnot ovat seuraavat.

• Teksti puheeksi: Muuntaa syötetyn tekstin puheeksi valitulla äänellä.
• Äänen kloonaus: Rekisteröi äänen käyttöön luvallisen vertailutallenteen perusteella ja syntetisoi uusia lauseita.
• Äänen suunnittelu: Luo ja rekisteröi äänen kuvailemalla halutun äänen ominaisuuksia.
• Äänen uudelleenkäyttö: Käyttää rekisteröityä ääntä myöhemmässä puhesynteesissä.
• Syntetisoinnin asetukset: Säätää puhenopeutta ja kieltä sekä muita asetuksia.
• Suoratoisto: Syntetisoi tekstiä lausekkeittain sitä mukaa kuin sitä saapuu ja välittää äänen peräkkäin.
• Toiston hallinta: Tukee tauotusta, jatkamista, keskeyttämistä ja uusien lauseiden syöttämistä.

Progressiivisen tekstinsyötön avulla puheen toisto voidaan aloittaa ennen koko vastauksen valmistumista. CIP:n kirjoittaessa vastausta Cosa voidaan määrittää lukemaan valmiit lausekkeet sitä mukaa kuin ne valmistuvat.

cosa-a

cosa-a tukee tekstin muuntamista puheeksi, äänen kloonausta, äänen suunnittelua ja suoratoistoa. Äänen, kielen ja puhenopeuden valinnan perustoimintojen lisäksi se tarjoaa lisähallintaa, kuten synteesivaiheiden määrän, ohjauksen voimakkuuden ja tuotoksen pituuden asetukset. Sitä käytetään puheen tuotannossa asetusten säätämiseen ja tulosten tarkistamiseen sekä saman käsikirjoituksen tuottamiseen useilla asetuksilla ja parhaan tuloksen valitsemiseen.

• Luo kuulutuksia ja ilmoituksia sovelluksiin, kioskeihin ja työjärjestelmiin.
• Muuntaa koulutusmateriaalit ja käyttöohjeet puheeksi.
• Tuottaa video- ja äänisisällön kerrontaa.
• Tuottaa toistuvaa sisältöä rekisteröidyllä äänellä.
• Käyttää vuorovaikutteisten agenttien suoratoistettuun puheulostuloon.
• Käyttää puheen tuotantoon, jossa säädetään yksityiskohtaisia synteesiasetuksia.

cosa-b

cosa-b tukee esiasetettujen äänten valintaa, kuvaukseen perustuvaa äänen suunnittelua, vertailuääneen perustuvaa kloonausta ja suoratoistoa. Voit valita äänen omasta ääniluettelosta tai rekisteröidä palvelua varten uuden äänen.

Äänen kloonauksessa käytetään vertailutallennetta ja sitä vastaavaa tekstiä. Rekisteröintiprosessissa tuetaan myös työnkulkua, jossa vertailuteksti luodaan puheentunnistuksella, ja rekisteröityä ääntä voidaan käyttää uudelleen myöhemmässä puhesynteesissä.

• Muodostaa palveluiden ja hahmojen äänipersoonat.
• Tuottaa mukautettuja ääniä kuvauksen tai vertailutallenteen perusteella.
• Syntetisoi brändin kuulutuksia, hahmojen repliikkejä ja sisällön kerrontaa.
• Käyttää vuorovaikutteisten agenttien puhevastausten tuottamiseen.
• Syntetisoi samalla äänellä vaihtuvia ilmoitusviestejä ja käsikirjoituksia.

Kun valitset cosa-a:n ja cosa-b:n välillä, perusta valinta haluamaasi ääneen, todelliseen synteesitulokseen ja tarvittaviin ohjausparametreihin.

cosa-asr

cosa-asr muuntaa syötetyn puheen tekstiksi. Se dokumentoi äänitteitä tai muuntaa puheena esitetyt pyynnöt syötteeksi, jota seuraavat työjärjestelmät voivat käsitellä.

• Äänimuistiinpanot ja äänitteet litteroidaan.
• Puhepohjaiset kysymykset ja työpyynnöt muunnetaan syötteeksi.
• Puheen kloonausta varten luodaan viiteteksti.
• Sitä käytetään litteroinnin jälkeiseen yhteenvetoon, luokitteluun ja hakuun johtavassa käsittelyssä.

Kun litterointitulokset välitetään CIP:lle, käsittely jatkuu sisällön yhteenvedolla, pyyntöjen luokittelulla ja työluonnosten laatimisella. Kun käsittelytulos syntetisoidaan cosa-a:lla tai cosa-b:llä, tuloksena on työpalvelu, jossa on puheeseen perustuvat syötteet ja tulosteet.

Cova

cova-1 on LLM-pohjainen malli, joka on tarkoitettu erityisesti visuaaliseen OCR:ään. Se tunnistaa tekstiä asiakirjoista ja kuvista, poimii asettelun ja taulukoiden rakenteen sekä tarjoaa lyhyitä kuvauksia visuaalisista elementeistä.

Se muuntaa ihmisten lukemat asiakirjat muotoon, jota agentit ja työjärjestelmät voivat hyödyntää. Teksti ja taulukot poimitaan rakenteiseksi sisällöksi, ja asiakirjoihin sisältyvät kuvat välitetään lyhyinä kuvauksina. Näin seuraavat agentit voivat hahmottaa samanaikaisesti asiakirjan sisällön ja visuaalisen kontekstin. Kun työnkulku rakennetaan niin, että aineisto hahmotetaan ensin poimitun tekstin ja kuvausten avulla ja vain yksityiskohtaista tarkistusta vaativat alkuperäiset tarkastetaan erikseen, alkuperäisten kuvien toistuvaa syöttämistä voidaan vähentää ja kontekstitokeneita säästää.

• Asiakirjojen digitalisointi: Muuntaa paperiasiakirjat ja skannatut materiaalit tekstipohjaisiksi aineistoiksi.
• Liiketoiminta-asiakirjojen käsittely: Poimii sisällön hakemuksista, tositteista ja raporteista.
• Taulukkotietojen käsittely: Käyttää asiakirjoihin sisältyviä taulukoita myöhemmässä tietojenkäsittelyssä.
• Tietohaun esikäsittely: Muuntaa asiakirjakuvat ja visuaaliset aineistot haettavaksi tekstiksi ja rakenteeksi.
• Asiakirjojen tarkistamisen automatisointi: Välittää poimitut tulokset CIP:lle kohtien tarkistamista, yhteenvetojen laatimista ja aineistojen välistä vertailua varten.
• Agentin syötteen optimointi: Järjestää pitkien asiakirjojen tekstin, taulukot ja kuvien kuvaukset ja välittää vain tarvittavat tiedot.

Esimerkiksi raportin teksti ja taulukot poimitaan, ja siihen sisällytetty kaavio kuvataan kaavioksi, joka näyttää neljännesvuosittaisen myynnin kehityksen. Agentti selvittää tämän kuvauksen avulla kaavion olemassaolon ja tarkoituksen ja tarkistaa alkuperäisen aineiston tarvittaessa tarkemmin, kun tarkkoja lukuja tai kehityssuuntia tarvitaan.

Tuoteperheen yhdistäminen

Yhdistämällä tuotteet voit muodostaa seuraavan työnkulun.

• Asiakirjapohjainen työ: Cova poimii tekstin, taulukot ja kuvien kuvaukset, CIP tarkistaa valikoivasti tarvittavat alkuperäiset aineistot ja suorittaa analyysin sekä työtehtävien käsittelyn, ja Cosa välittää tulokset puheena.
• Puhepohjainen työ: Cosa ASR muuntaa puhepyynnöt tekstiksi, ja cosa-a tai cosa-b lukee CIP:n käsittelemät vastaukset.
• Kenttäautomaation: cip-5.5-sm luokittelee kenttätiedot ja suorittaa paikalliset työtehtävät sekä välittää lisäkokonaisanalyysiä tarvitsevat aineistot cip-5.5-im:lle tai cip-5.5-mm:lle.

Yhdyskäytävässä sallitut kutsut

Yhdyskäytävän paketit määrittävät kullekin mallille sallitut kutsut. Alla olevassa taulukossa esitetään LLM_FREE-, TTS_FREE- ja STT_FREE-pakettien avaamat käyttöalueet, ja nämä paketit otetaan automaattisesti käyttöön ilman hakemusta. Taulukko ei sisällä malleja, jotka on avattu muilla reiteillä.

cip-5.5-sm ja cova-1 eivät ole tässä suunnitelmataulukossa. Taulukossa olevat cip-5.5-im-chat-, cip-5.5-mm-h-, cosa-tts-, ivy-4-embedding-, ivy-4-embedding-mm- ja ivy-4-mm-tunnisteet ovat mallien tunnisteita, joita ei ole sisällytetty yllä oleviin tuotekuvauksiin. API-kutsujen ohjeista näet, mitä polkua kukin kutsuavain vastaa.