Modell

CLEVI-modellane er delte inn i tre produktseriar: CIP, som tek seg av generell intelligens og automatisering av arbeidsoppgåver; Cosa, som tek seg av talegenerering og talegjenkjenning; og Cova, som tek seg av informasjonsuthenting frå dokument og bilete. Kvart produkt kan brukast sjølvstendig eller koplast saman til tenester som går frå dokumentgjenkjenning og analyse til oppgåveutføring og talevegleiing.

CIP

CIP tek seg av generell intelligens og automatisering av arbeidsoppgåver. Det omfattar cip-5.5-im og cip-5.5-mm, som blir kalla via ein gateway, samt cip-5.5-sm, som blir distribuert på kants tenarar og lokalt.

cip-5.5-im og cip-5.5-mm

cip-5.5-im passar for oppgåver med tydelege mål og eit klart arbeidsomfang. Typiske oppgåver er å hente ut nødvendig informasjon frå materialet som er levert, utarbeide resultat i det spesifiserte formatet og endre kode i tråd med krava. Maksimalt 64K i utdata kan brukast til å utarbeide detaljerte rapportar eller resultat som består av fleire delar.

• Utviklingsstøtte: Skriv funksjonar og funksjonalitet, rettar feil med tydeleg avgrensa omfang og implementerer i tråd med eksisterande mønster.
• Testgenerering: Utarbeider utkast til testar og verifiseringssaker basert på krav og implementasjon.
• Dokumenthandsaming: Tek seg av samandrag, klassifisering, uttrekk av punkt, formatkonvertering og utarbeiding av utkast.
• Multimodal analyse: Går gjennom skjermbilete og tabellar og diagram i dokument, saman med relevante forklaringar.
• Interaktiv arbeidsstøtte: Svarar på spørsmål basert på arbeidsmateriale og utarbeider nødvendige resultat.
• Storskala handsaming: Brukast til individuelle samandrag av mange dokument, klassifisering av førespurnader og datakonvertering.
• Underagent: Tek seg av tydeleg avgrensa deloppgåver som kodeutforsking, gjennomgang av bestemte filer og strukturering av materiale.

Til dømes kan det brukast til å ta imot funksjonskrav og relevant kode og utarbeide forslag til endringar, testar og ei forklaring av endringane, eller til å klassifisere innsendte dokument og lage samandrag for dei ansvarlege.

cip-5.5-mm passar for oppgåver der ein må forstå samanhengar mellom informasjon og halde oppe konsistensen i eit samla arbeid. I utvikling kan ein gjennomgå samanhengen mellom krav, design, implementasjon og testar, medan ein i dokumentanalyse kan samanhalde påstandar og grunnlag, skilnader og motseiingar i fleire kjelder.

• Implementering av komplekse funksjonar: Endrar kode, testar og dokumentasjon samla, med omsyn til kontraktar og åtferd i fleire modular.
• Analyse av store kodebasar: Går gjennom kallarrelasjonar, dataflyt og omfanget av påverknaden frå endringar.
• Analyse av årsaker til feil: Samanliknar loggar, innstillingar, kode og køyringsresultat for å strukturere hypotesar om årsaka og prosedyrar for å stadfeste dei.
• Støtte til design og avgjerder: Strukturerer krav og avgrensingar og analyserer konsekvensane av implementeringsalternativ.
• Samanfattande analyse av fleire dokument: Strukturerer likskapar, skilnader og motseiingar i rapportar og tekniske dokument med utgangspunkt i grunnlaget.
• Integrert multimodal gjennomgang: Tolkar tekst og visuelt materiale samla for å analysere problem og krav.
• Agentarbeid i fleire steg: Brukast til arbeid som omfattar undersøking, planlegging, verktøykøyring og gjennomgang av resultat.
• Utarbeiding av fagdokument: Skriv tekniske rapportar, designforslag og detaljerte gjennomgangsdokument som tek omsyn til komplekse vilkår og grunnlag.

For eksempel brukes det til å gjennomgå relevante koder og logger for feil som har oppstått i flere tjenester samtidig, eller til oppgaver som strekker seg fra kravanalysen for komplekse funksjoner til implementering og gjennomgang av verifikasjonsresultater.

cip-5.5-sm

cip-5.5-sm utfører lokal inferens og automatisering av arbeidsoppgåver på kantsservarar og i lokale miljø. Modellstorleiken kan justerast innanfor området 24B–40B, slik at konfigurasjonen kan veljast ut frå databehandlingsressursane til distribusjonsutstyret og den kravde ytinga på staden. Sidan data blir behandla nær punktet der dei oppstår, kan det brukast til integrasjon med lokale system og utnytting av interne data. Når dei nødvendige modellane og verktøya er konfigurerte lokalt, kan det også driftast i miljø med avgrensa ekstern tilkopling.

Det tolkar informasjon som oppstår på staden og koplar henne til behandlingsprosedyrar. Det klassifiserer loggar og førespurnader, hentar ut nødvendig informasjon frå data og utfører repeterande oppgåver ved hjelp av tilknytte interne verktøy og skript.

• Behandling av hendingar på staden: Klassifiserer utstyrsloggar og statusinformasjon og vel ut hendingar som må kontrollerast.
• Førehandsbehandling av data: Hentar ut nøkkelelement frå arbeidsoppføringar og klassifiserer, taggar og normaliserer dei.
• Ruting av førespurnader: Vidareformidlar innkomne førespurnader til ansvarlege system eller behandlingsprosedyrar.
• Lokal arbeidsagent: Utfører repeterande oppgåver ved å slå opp i interne system og køyre skript.
• Støtte for lokale arbeidsoppgåver: Svarar på spørsmål basert på internt materiale og organiserer arbeidsinnhald.
• Støtte for vidare analyse: Vel ut materiale som krev ytterlegare gjennomgang og samanfattar hovudinnhaldet.

For eksempel kan det brukast til å klassifisere driftsloggar på ein server ved verksemda, slå opp i relevant historikk og deretter skrive eit hendingamandrag for den ansvarlege.

Cosa

Cosa er ei produktgruppe for tale som konverterer tekst til tale, kjenner att innkomen tale som tekst og registrerer og gjenbrukar den ønskte stemma. Det blir brukt til tenesterettleiing, innhaldsproduksjon, støtte for tilgjenge og talegrensesnitt for interaktive agentar.

Talegenerering blir utført av cosa-a og cosa-b, medan talegjenkjenning blir utført av cosa-asr. cosa-a og cosa-b er separate modellar som tilbyr kvar si stemmeliste og synteseinnstillingar, og kan veljast i det same tenestegrensesnittet. Funksjonane som begge modellane tilbyr, er som følgjer.

• Tekst-til-tale: Syntetiserer den innskrivne teksten med den valde stemma.
• Stemmekloning: Registrerer ei stemme basert på eit referanseopptak du har løyve til å bruke, og syntetiserer nye setningar.
• Stemmedesign: Lag og registrer ei stemme ved å skildre eigenskapane til stemma du ønskjer.
• Gjenbruk av stemme: Bruker ei registrert stemme til vidare syntetisering.
• Synteseinnstillingar: Justerer talehastigheit, språk og anna.
• Direkte strøyming: Syntetiserer frasar etter kvart som teksten kjem inn, og leverer lyden fortløpande.
• Avspelingskontroll: Støttar pause, attopptaking, avbryting og innskriving av fleire setningar.

Med gradvis tekstinnmating kan du starte lydavspelinga før heile svaret er ferdig. Medan CIP skriv svaret, kan du setje opp ei teneste der Cosa les opp dei frasane som er klare.

cosa-a

cosa-a støttar tekst-til-tale, stemmekloning, stemmedesign og strøymeutdata. I tillegg til grunnleggjande funksjonar for å velje stemme, språk og talehastigheit, tilbyr det fleire kontrollar, mellom anna innstillingar for talet på syntesesteg, styrken på rettleiinga og genereringslengda. Det kan brukast til å justere innstillingar og vurdere resultatet under stemmeproduksjon, eller til å bruke fleire innstillingar på same manus og velje resultatet.

• Syntetiserer rettleiingar og varslingar i appar, kioskar og arbeidssystem.
• Lagar opplæringsmateriell og brukarrettleiingar som lyd.
• Produserer forteljarspor til video- og lydinnhald.
• Produserer gjentakande innhald med registrerte stemmer.
• Brukast til strøyma taleutdata frå interaktive agentar.
• Brukast til stemmeproduksjon med justering av detaljerte synteseinnstillingar.

cosa-b

cosa-b støttar val av førehandsinnstilte stemmer, stemmedesign basert på skildringar, kloning basert på referansestemmer og strøymeutdata. Du kan velje ei stemme frå den eigne stemmelista eller registrere ei ny stemme til bruk i tenesta.

Stemmekloning bruker eit referanseopptak og den tilhøyrande teksten. Det støttar òg ein prosess der referanseteksten blir generert med talegjenkjenning under registreringa, og den registrerte stemma kan brukast på nytt i vidare syntese.

• Set saman stemmepersonaen til tenester og karakterar.
• Lag tilpassa stemmer ut frå skildringar eller referanseopptak.
• Syntetiser merkevarerettleiingar, karakterreplikkar og forteljarspor til innhald.
• Brukast til talesvar frå interaktive agentar.
• Syntetiserer skiftande rettleiingsmeldingar og manus med same stemme.

Når du skal velje mellom cosa-a og cosa-b, bør du ta utgangspunkt i kva slags stemme du ønskjer, det faktiske synteseresultatet og kva kontrollar du treng.

cosa-asr

cosa-asr konverterer innkomen tale til tekst. Det dokumenterer opptak og gjer førespurnader som kjem inn som tale, om til inndata som etterfølgjande arbeidssystem kan handsame.

• Transkriberer talememoar og opptak.
• Gjer talebaserte spørsmål og arbeidsførespurnader om til inndata.
• Genererer referansetekst for stemmekloning.
• Brukast i prosessar som held fram med samandrag, klassifisering og søk etter transkripsjon.

Når transkripsjonsresultatet blir sendt til CIP, kan prosessen halde fram med samandrag av innhaldet, klassifisering av førespurnader og utarbeiding av arbeidsutkast. Ved å syntetisere resultatet med cosa-a eller cosa-b får du ei arbeidsteneste med tale som både inndata og utdata.

Cova

cova-1 er ein LLM-basert modell spesialisert på visuell OCR. Han kjenner att tekst i dokument og bilete, hentar ut oppsett og tabellstruktur og gir korte skildringar av visuelle element.

Han konverterer dokument som menneske les, til eit format som agentar og arbeidssystem kan bruke. Brødtekst og tabellar blir henta ut som strukturert innhald, medan bilete i dokumentet blir formidla som korte skildringar. Dermed kan etterfølgjande agentar forstå både innhaldet i dokumentet og den visuelle konteksten. Ved først å få oversikt over materialet ved hjelp av den uthenta teksten og skildringane, og deretter berre gå gjennom originalane som krev detaljert kontroll, kan du redusere mengda originalbilete som blir sende inn på nytt og spare konteksttoken.

• Digitalisering av dokument: Gjer papirdokument og skanna materiale om til tekstbasert materiale.
• Mottak av arbeidsdokument: Hentar ut innhald frå søknader, dokumentasjon og rapportar.
• Behandling av tabelldata: Brukar tabellar i dokument til vidare databehandling.
• Førebuing for kunnskapssøk: Konverterer dokumentbilete og visuelt materiale til søkbar tekst og struktur.
• Automatisering av dokumentgjennomgang: Sender uttrekte resultat til CIP for kontroll av punkt, samandrag og samanlikning av materiale.
• Optimalisering av agentinndata: Strukturerer brødtekst, tabellar og biletomtalar i lange dokument, slik at berre nødvendig informasjon blir formidla.

Til dømes blir brødteksten og tabellane i ein rapport trekte ut, medan ein innebygd graf blir skildra som ein graf som viser utviklinga i salet per kvartal. Agenten bruker denne skildringa til å forstå at grafen finst og kva han blir brukt til, og kontrollerer originalen nærare når det trengst nøyaktige tal eller tendensar.

Kopling av produkt

Ved å kople saman produkt kan du setje opp følgjande flyt.

• Dokumentbasert arbeid: Cova hentar ut brødtekst, tabellar og biletomtalar, CIP kontrollerer selektivt dei nødvendige originalane for å utføre analyse og arbeidsoppgåver, og Cosa formidlar resultata med tale.
• Talebasert arbeid: Cosa ASR konverterer taleforespurnader til tekst, og cosa-a eller cosa-b les opp svara som CIP har behandla.
• Automatisering på staden: cip-5.5-sm klassifiserer data frå staden og utfører lokale arbeidsoppgåver, medan materiale som treng ytterlegare heilskapleg analyse, blir sendt vidare til cip-5.5-im eller cip-5.5-mm.

Tillatne kall i gatewayen

Planane til gatewayen fastset kva kall som er tillatne for kvar modell. Tabellen nedanfor viser kva LLM_FREE-, TTS_FREE- og STT_FREE-planane opnar for, og desse planane blir brukte automatisk utan søknad. Modellar som er opna gjennom andre vegar, er ikkje inkluderte.

cip-5.5-sm og cova-1 finst ikkje i denne plantabellen. cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm og ivy-4-mm er modell-ID-ar som ikkje er inkluderte i produktbeskrivinga ovanfor. Dokumentasjonen for API-kall viser kva for ein sti kallnøkkelen høyrer til.