Modell

CLEVI-modellene er delt inn i tre produktserier: CIP, som håndterer generell intelligens og arbeidsautomatisering, Cosa, som håndterer talegenerering og talegjenkjenning, og Cova, som håndterer informasjonsuttrekking fra dokumenter og bilder. Hvert produkt kan brukes uavhengig eller kobles sammen til tjenester som går fra dokumentgjenkjenning og analyse til oppgaveutførelse og taleveiledning.

CIP

CIP håndterer generell intelligens og arbeidsautomatisering. Den består av cip-5.5-im og cip-5.5-mm, som kalles via en gateway, samt cip-5.5-sm, som distribueres til edge-servere og on-premises-miljøer.

cip-5.5-im og cip-5.5-mm

cip-5.5-im passer for oppgaver med tydelige mål og et klart arbeidsomfang. Typiske oppgaver er å hente ut nødvendig informasjon fra det oppgitte materialet, utarbeide resultater i et angitt format og endre kode i tråd med kravene. Maksimalt 64K output brukes til å utarbeide detaljerte rapporter eller resultater som består av flere deler.

• Utviklingsstøtte: Skrive funksjoner og funksjonalitet, rette avgrensede feil og implementere i tråd med eksisterende mønstre.
• Testgenerering: Utarbeide utkast til tester og verifiseringscaser basert på krav og implementasjon.
• Dokumentbehandling: Håndtere oppsummering, klassifisering, uttrekking av elementer, formatkonvertering og utarbeidelse av utkast.
• Multimodal analyse: Gjennomgå tabeller og diagrammer i skjermbilder og dokumenter sammen med relevante beskrivelser.
• Interaktiv arbeidsstøtte: Svare på spørsmål basert på arbeidsmateriale og utarbeide nødvendige resultater.
• Storskala behandling: Brukes til individuelle oppsummeringer av mange dokumenter, klassifisering av forespørsler og datakonvertering.
• Underagenter: Håndtere tydelig avgrensede deloppgaver som kodeutforskning, gjennomgang av bestemte filer og organisering av materiale.

For eksempel brukes det til å motta funksjonskrav og relatert kode for å utarbeide et endringsforslag, tester og en beskrivelse av endringene, eller til å klassifisere innsendte dokumenter og lage sammendrag for ansvarlige.

cip-5.5-mm passer for oppgaver som krever at man forstår forholdet mellom informasjon og opprettholder helhetlig konsistens i arbeidet. I utvikling gjennomgås sammenhengen mellom krav, design, implementasjon og testing, mens man i dokumentanalyse sammenstiller påstander og grunnlag, forskjeller og motsetninger på tvers av flere kilder.

• Implementering av komplekse funksjoner: Endre kode, tester og dokumentasjon samlet, samtidig som kontrakter og atferd i flere moduler tas i betraktning.
• Storskala kodeanalyse: Gjennomgå kallerelasjoner, dataflyt og omfanget av endringens påvirkning.
• Analyse av årsaken til feil: Sammenligne logger, konfigurasjon, kode og kjøringsresultater for å strukturere hypoteser om årsaken og prosedyrer for verifisering.
• Støtte for design og beslutningstaking: Strukturere krav og begrensninger og analysere konsekvensene av implementasjonsalternativer.
• Synteseanalyse av flere dokumenter: Oppsummere likheter, forskjeller og motsetninger i rapporter og tekniske dokumenter med utgangspunkt i grunnlaget.
• Integrert multimodal gjennomgang: Tolke tekst og visuelt materiale samlet for å analysere problemer og krav.
• Agent med flere trinn: Brukes til oppgaver som består av undersøkelser, planlegging, verktøykjøring og gjennomgang av resultater.
• Utarbeidelse av fagdokumenter: Skrive tekniske rapporter, designforslag og detaljerte gjennomgangsdokumenter som gjenspeiler komplekse betingelser og grunnlag.

For eksempel brukes det til å gjennomgå relaterte koder og logger for feil som har oppstått i flere tjenester samtidig, eller til oppgaver som strekker seg fra krav­analyse av sammensatte funksjoner til implementering og gjennomgang av verifiseringsresultater.

cip-5.5-sm

cip-5.5-sm utfører lokal inferens og automatisering av arbeidsoppgaver på edge-servere og i lokale miljøer. Siden modellstørrelsen kan justeres i området 24B–40B, kan konfigurasjonen tilpasses både tilgjengelige beregningsressurser på distribusjonsutstyret og ønsket ytelse på stedet. Behandlingen skjer nær punktet der dataene oppstår, og modellen brukes derfor til integrasjon med lokale systemer og utnyttelse av interne data. Ved å konfigurere nødvendige modeller og verktøy lokalt kan den også driftes i miljøer med begrenset ekstern tilkobling.

Den tolker informasjon som oppstår på stedet, og kobler den til behandlingsprosedyrer. Den klassifiserer logger og forespørsler, trekker ut nødvendig informasjon fra data og utfører repetitive oppgaver med tilkoblede interne verktøy og skript.

• Behandling av hendelser på stedet: Klassifiserer utstyrslogger og statusinformasjon, og velger ut hendelser som må kontrolleres.
• Forbehandling av data: Trekker ut viktige elementer fra arbeidsregistreringer og utfører klassifisering, tagging og normalisering.
• Ruting av forespørsler: Videreformidler mottatte forespørsler til ansvarlig system eller behandlingsprosedyre.
• Lokal arbeidsagent: Utfører repetitive oppgaver ved å slå opp i interne systemer og kjøre skript.
• Støtte for lokale arbeidsoppgaver: Svarer på spørsmål basert på interne materialer og oppsummerer arbeidsinnhold.
• Støtte for oppfølgende analyse: Velger ut materialer som krever ytterligere gjennomgang, og oppsummerer hovedinnholdet.

For eksempel brukes det i en arbeidsflyt der driftslogger på en virksomhetsserver klassifiseres, relevante historikker slås opp, og et hendelsessammendrag for den ansvarlige utarbeides.

Cosa

Cosa er en serie taleprodukter som konverterer tekst til tale, gjenkjenner innlest tale som tekst og registrerer ønskede stemmer for gjenbruk. Den brukes til tjenesteveiledning, innholdsproduksjon, tilgjengelighetsstøtte og talegrensesnitt for dialogbaserte agenter.

Talegenerering håndteres av cosa-a og cosa-b, mens talegjenkjenning håndteres av cosa-asr. cosa-a og cosa-b er separate modeller som tilbyr hver sin stemmeliste og sine egne synteseinnstillinger, og de velges i samme tjenestegrensesnitt. Funksjonene som begge modellene tilbyr, er som følger.

• Tekst til tale: Syntetiserer teksten du skriver inn, med den valgte stemmen.
• Stemmekloning: Registrerer en stemme basert på et referanseopptak du har tillatelse til å bruke, og syntetiserer nye setninger.
• Stemmedesign: Oppretter og registrerer en stemme ved å beskrive egenskapene til stemmen du ønsker.
• Gjenbruk av stemmer: Bruker registrerte stemmer til påfølgende synteser.
• Synteseinnstillinger: Justerer blant annet talehastighet og språk.
• Strømming: Syntetiserer tekst i avsnitt etter hvert som den mottas, og leverer lyden fortløpende.
• Avspillingskontroll: Støtter pause, gjenopptakelse, stopp og inntasting av flere setninger.

Med trinnvis tekstinntasting kan taleavspillingen starte før hele svaret er ferdig. Mens CIP skriver svaret, kan Cosa settes opp til å lese opp avsnittene som er klare.

cosa-a

cosa-a støtter tekst til tale, stemmekloning, stemmedesign og strømming. I tillegg til grunnleggende funksjoner for å velge stemme, språk og talehastighet, tilbyr den flere kontrollalternativer, blant annet innstillinger for antall syntesetrinn, styrken på veiledningen og genereringslengde. Den brukes til å justere innstillinger og gjennomgå resultater under taleproduksjon, eller til å bruke flere innstillinger på samme manus og velge resultatet.

• Syntetiserer veiledning og varsler i apper, kiosker og arbeidssystemer.
• Oppretter opplæringsmateriell og brukerveiledninger som tale.
• Produserer fortellerstemme til video- og lydinnhold.
• Produserer gjentakende innhold med registrerte stemmer.
• Brukes til strømming av tale fra interaktive agenter.
• Brukes til taleproduksjon med justering av detaljerte synteseinnstillinger.

cosa-b

cosa-b støtter valg av forhåndsinnstilte stemmer, beskrivelsesbasert stemmedesign, kloning basert på referansestemmer og strømming. Du kan velge en stemme fra den innebygde stemmelisten eller registrere en ny stemme som skal brukes i tjenesten.

Stemmekloning bruker et referanseopptak og den tilhørende teksten. Det støtter også en prosess der referanseteksten genereres ved hjelp av talegjenkjenning under registreringen, og registrerte stemmer kan gjenbrukes i påfølgende synteser.

• Konfigurerer stemmepersonaer for tjenester og figurer.
• Produserer tilpassede stemmer fra beskrivelser eller referanseopptak.
• Syntetiserer merkevareveiledning, figurdialog og fortellerstemme til innhold.
• Brukes til taleresponser fra interaktive agenter.
• Syntetiserer veiledningsmeldinger og manus som endres, med samme stemme.

Når du velger mellom cosa-a og cosa-b, bør du ta utgangspunkt i ønsket stemme, det faktiske synteseresultatet og hvilke kontrollalternativer du trenger.

cosa-asr

cosa-asr konverterer innkommende tale til tekst. Det brukes til å dokumentere opptak eller konvertere forespørsler som kommer inn som tale, til inndata som etterfølgende arbeidsflytsystemer kan behandle.

• Transkriberer talememoer og opptak.
• Konverterer talebaserte spørsmål og arbeidsforespørsler til inndata.
• Genererer referansetekst for stemmekloning.
• Brukes i prosesser som fortsetter med oppsummering, klassifisering og søk etter transkripsjonen.

Når transkripsjonsresultatet sendes til CIP, kan det følges opp med innholdsoppsummering, klassifisering av forespørsler og utarbeiding av arbeidsutkast. Når resultatet syntetiseres med cosa-a eller cosa-b, blir det en arbeidsløsning med tale som både inndata og utdata.

Cova

cova-1 er en LLM-basert modell spesialisert på visuell OCR. Den gjenkjenner tekst i dokumenter og bilder, trekker ut oppsett og tabellstrukturer og gir korte beskrivelser av visuelle elementer.

Konverterer dokumenter slik mennesker ser dem, til et format som agenter og arbeidssystemer kan bruke. Brødtekst og tabeller trekkes ut som strukturert innhold, mens bilder i dokumentet formidles som korte beskrivelser. Dermed kan etterfølgende agenter forstå både dokumentets innhold og visuelle kontekst. Ved først å bruke den uttrukne teksten og beskrivelsene til å få oversikt over materialet, og deretter bare gjennomgå originalene som krever detaljert kontroll, kan arbeidsflyten redusere mengden gjentatt inndata av originalbilder og spare konteksttokens.

• Digitalisering av dokumenter: Konverterer papirdokumenter og skannet materiale til tekstbasert materiale.
• Mottak av arbeidsdokumenter: Henter ut innhold fra søknadsskjemaer, dokumentasjon og rapporter.
• Behandling av tabelldata: Bruker tabeller i dokumenter til videre databehandling.
• Forbehandling for kunnskapssøk: Konverterer dokumentbilder og visuelt materiale til søkbar tekst og struktur.
• Automatisering av dokumentgjennomgang: Overfører uttrekksresultatene til CIP for kontroll av punkter, oppsummering og sammenligning mellom materialer.
• Optimalisering av agentinndata: Organiserer brødtekst, tabeller og bildebeskrivelser i lange dokumenter, slik at bare nødvendig informasjon formidles.

For eksempel hentes brødteksten og tabellene i en rapport ut, mens et innsatt diagram beskrives som et diagram som viser den kvartalsvise utviklingen i salget. Agenten bruker denne beskrivelsen til å forstå at diagrammet finnes og hva det brukes til, og undersøker originalen nærmere når nøyaktige tall eller trender er nødvendige.

Tilkobling av produktgrupper

Når produktene kobles sammen, kan følgende flyt settes opp.

• Dokumentbasert arbeid: Cova henter ut brødtekst, tabeller og bildebeskrivelser, CIP undersøker selektivt originalene som er nødvendige for å utføre analyse og arbeidsbehandling, og Cosa formidler resultatene med tale.
• Talebasert arbeid: Cosa ASR konverterer taleforespørsler til tekst, og cosa-a eller cosa-b leser opp svarene som er behandlet av CIP.
• Automatisering på stedet: cip-5.5-sm klassifiserer data på stedet og utfører lokale oppgaver, mens materiale som krever ytterligere helhetlig analyse, sendes videre til cip-5.5-im eller cip-5.5-mm.

Tillatte kall i gatewayen

Gateway-planen bestemmer hvilke kall som er tillatt for hver modell. Tabellen nedenfor viser omfanget som åpnes av planene LLM_FREE, TTS_FREE og STT_FREE, og disse planene brukes automatisk uten søknad. Modeller som åpnes gjennom andre veier, er ikke inkludert.

cip-5.5-sm og cova-1 finnes ikke i denne plantabellen. cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm og ivy-4-mm i tabellen er modell-ID-er som ikke er inkludert i produktbeskrivelsene ovenfor. Du finner hvilken sti kallenøkkelen gjelder, i dokumentasjonen for API-kall.