Modell

CLEVI-modellerna är indelade i tre produktfamiljer: CIP, som ansvarar för generell intelligens och arbetsautomatisering, Cosa, som ansvarar för röstgenerering och röstigenkänning, samt Cova, som ansvarar för informationsutvinning ur dokument och bilder. Varje produkt kan användas fristående eller kopplas samman till tjänster som omfattar dokumentigenkänning, analys, arbetsutförande och röstvägledning.

CIP

CIP ansvarar för generell intelligens och arbetsautomatisering. Det består av cip-5.5-im och cip-5.5-mm, som anropas via en gateway, samt cip-5.5-sm, som distribueras på edge-servrar och lokalt.

cip-5.5-im och cip-5.5-mm

cip-5.5-im passar för uppgifter med tydliga mål och tydligt arbetsomfång. Typiska uppgifter är att extrahera nödvändig information från tillhandahållet material, skapa resultat i angivet format och ändra kod enligt kraven. Maximalt 64K utdata används för att skapa detaljerade rapporter eller resultat som består av flera delar.

• Utvecklingsstöd: Skriver funktioner och funktionalitet, åtgärdar buggar med tydligt avgränsad omfattning och implementerar enligt befintliga mönster.
• Testgenerering: Skapar utkast till tester och verifieringsfall baserat på krav och implementation.
• Dokumenthantering: Ansvarar för sammanfattning, klassificering, extrahering av punkter, formulärkonvertering och skapande av utkast.
• Multimodal analys: Granskar tabeller och diagram i skärmbilder och dokument tillsammans med relevanta beskrivningar.
• Interaktivt arbetsstöd: Besvarar frågor baserat på arbetsmaterial och skapar nödvändiga resultat.
• Massbearbetning: Används för individuella sammanfattningar av många dokument, klassificering av förfrågningar och datakonvertering.
• Underagenter: Ansvarar för tydligt avgränsade deluppgifter som kodutforskning, granskning av specifika filer och sammanställning av material.

Det används till exempel för att ta emot funktionskrav och relaterad kod och skapa ett ändringsförslag, tester och en beskrivning av ändringarna, eller för att klassificera inkommande dokument och skapa sammanfattningar för ansvariga.

cip-5.5-mm passar för uppgifter som kräver att relationer mellan information identifieras och att helhetens konsekvens bibehålls. Inom utveckling granskar den sambanden mellan krav, design, implementation och tester, och vid dokumentanalys sammanställer den påståenden, belägg, skillnader och motsägelser från flera material.

• Implementering av komplex funktionalitet: Ändrar kod, tester och dokumentation tillsammans med hänsyn till kontrakt och beteenden i flera moduler.
• Omfattande kodanalys: Granskar anropsrelationer, dataflöden och förändringarnas påverkningsområde.
• Analys av störningsorsaker: Jämför loggar, konfiguration, kod och körningsresultat för att sammanställa hypoteser om orsaken och verifieringsförfaranden.
• Stöd för design och beslutsfattande: Strukturerar krav och begränsningar och analyserar effekterna av olika implementeringsalternativ.
• Syntes av flera dokument: Sammanställer likheter, skillnader och motsägelser i rapporter och tekniska dokument med fokus på belägg.
• Integrerad multimodal granskning: Tolkar text och visuellt material tillsammans för att analysera problem och krav.
• Agent med flera steg: Används för arbetsflöden som omfattar undersökning, planering, verktygskörning och granskning av resultat.
• Professionellt dokumentskapande: Skapar tekniska rapporter, designförslag och detaljerade granskningsdokument som beaktar komplexa villkor och belägg.

Används till exempel för att granska relaterad kod och loggar från fel som uppstått i flera tjänster tillsammans, eller för arbetsflöden som sträcker sig från kravanalys av komplexa funktioner till implementering och granskning av verifieringsresultat.

cip-5.5-sm

cip-5.5-sm utför lokal inferens och automatisering av arbetsuppgifter på edge-servrar och i lokala miljöer. Eftersom modellstorleken kan justeras inom intervallet 24B–40B kan konfigurationen väljas utifrån den distribuerade utrustningens beräkningsresurser och den prestanda som krävs på plats. Eftersom bearbetningen sker nära den plats där data uppstår används den för integrering med lokala system och för användning av interna data. Genom att konfigurera nödvändiga modeller och verktyg lokalt kan den även användas i miljöer med begränsad extern anslutning.

Den tolkar information som uppstår på plats och kopplar den till bearbetningsprocesser. Den klassificerar loggar och förfrågningar, extraherar nödvändig information ur data och utför återkommande arbetsuppgifter med anslutna interna verktyg och skript.

• Bearbetning av händelser på plats: Klassificerar utrustningsloggar och statusinformation samt väljer ut händelser som behöver kontrolleras.
• Förbehandling av data: Extraherar centrala uppgifter ur arbetsregister och klassificerar, taggar och normaliserar dem.
• Dirigering av förfrågningar: Vidarebefordrar inkomna förfrågningar till ansvariga system eller bearbetningsprocesser.
• Lokal arbetsagent: Utför återkommande uppgifter genom att hämta information från interna system och köra skript.
• Stöd för lokalt arbete: Besvarar frågor utifrån internt material och sammanställer arbetsinnehåll.
• Stöd för efterföljande analys: Väljer ut material som kräver ytterligare granskning och sammanfattar det viktigaste innehållet.

Används till exempel i ett arbetsflöde där driftsloggar på en företagsserver klassificeras, relaterad historik hämtas och en händelsesammanfattning för den ansvariga personen skapas.

Cosa

Cosa är en produktfamilj för tal som omvandlar text till tal, känner igen inmatat tal som text och registrerar önskade röster för återanvändning. Den används för tjänsteinformation, innehållsproduktion, tillgänglighetsstöd och röstgränssnitt för konversationsagenter.

cosa-a och cosa-b ansvarar för talsyntes, medan cosa-asr ansvarar för taligenkänning. cosa-a och cosa-b är separata modeller som tillhandahåller varsin röstlista och syntesinställningar och väljs via samma tjänstegränssnitt. Funktionerna som de två modellerna tillhandahåller gemensamt är följande.

• Text till tal: Syntetiserar den angivna texten med den valda rösten.
• Röstkloning: Registrerar en röst baserat på en referensinspelning som du har tillstånd att använda och syntetiserar nya meningar.
• Röstdesign: Skapar och registrerar en röst genom att beskriva egenskaperna hos den önskade rösten.
• Återanvändning av röster: Använder en registrerad röst för efterföljande syntes.
• Syntesinställningar: Justerar bland annat talhastighet och språk.
• Strömningsleverans: Syntetiserar texten fras för fras allt eftersom den anländer och levererar ljudet sekventiellt.
• Uppspelningskontroll: Har stöd för paus, återupptagning, avbrott och inmatning av ytterligare meningar.

Med progressiv textinmatning kan röstuppspelningen börja innan hela svaret är färdigt. Medan CIP skriver svaret kan du konfigurera en tjänst där Cosa läser upp de fraser som är klara.

cosa-a

cosa-a stöder text till tal, röstkloning, röstdesign och strömningsutdata. Utöver grundläggande funktioner för att välja röst, språk och talhastighet erbjuder den ytterligare kontrollalternativ, som inställningar för antal syntessteg, styrkan i vägledningen och genereringslängd. Den används för att justera inställningar och granska resultat under röstskapandet eller för att tillämpa flera inställningar på samma manus och välja resultat.

• Syntetiserar instruktioner och aviseringar i appar, kiosker och verksamhetssystem.
• Skapar utbildningsmaterial och användarhandböcker i ljudformat.
• Producerar berättarröst för video- och ljudinnehåll.
• Producerar återkommande innehåll med en registrerad röst.
• Används för strömmande röstutdata från interaktiva agenter.
• Används för röstskapande där detaljerade syntesinställningar justeras.

cosa-b

cosa-b stöder val av förinställda röster, beskrivningsbaserad röstdesign, kloning baserad på referensröst och strömningsutdata. Du kan välja en röst från den egna röstlistan eller registrera en ny röst för användning i tjänsten.

Röstkloning använder en referensinspelning och den text som motsvarar inspelningen. Det finns även stöd för ett flöde där referenstexten genereras med taligenkänning under registreringen, och den registrerade rösten kan återanvändas vid efterföljande syntes.

• Skapar röstpersonas för tjänster och karaktärer.
• Skapar anpassade röster från en beskrivning eller referensinspelning.
• Syntetiserar varumärkesinstruktioner, karaktärsrepliker och berättarröst för innehåll.
• Används för röstbaserade svar från interaktiva agenter.
• Syntetiserar ändrade instruktionsmeddelanden och manus med samma röst.

När du väljer mellan cosa-a och cosa-b bör du utgå från önskad röst, det faktiska syntesresultatet och vilka kontrollalternativ du behöver.

cosa-asr

cosa-asr omvandlar inkommande ljud till text. Det dokumenterar inspelat material eller omvandlar röstbaserade förfrågningar till indata som efterföljande verksamhetssystem kan bearbeta.

• Transkriberar röstanteckningar och inspelat material.
• Omvandlar röstbaserade frågor och arbetsförfrågningar till indata.
• Genererar referenstext för röstkloning.
• Används för processer som efter transkribering fortsätter med sammanfattning, klassificering och sökning.

När transkriptionsresultatet skickas till CIP följer sammanfattning av innehåll, klassificering av förfrågningar och utarbetande av arbetsutkast. Om bearbetningsresultatet syntetiseras med cosa-a eller cosa-b blir det en verksamhetstjänst med röstbaserad in- och utdata.

Cova

cova-1 är en LLM-baserad modell som är specialiserad på visuell OCR. Den identifierar text i dokument och bilder, extraherar layout och tabellstruktur samt tillhandahåller korta beskrivningar av visuella element.

Den omvandlar dokument som människor läser till ett format som agenter och verksamhetssystem lättare kan använda. Brödtext och tabeller extraheras som strukturerat innehåll, medan bilder i dokumentet återges med korta beskrivningar. På så sätt kan efterföljande agenter förstå både dokumentets innehåll och visuella sammanhang. Genom att först förstå materialet med den extraherade texten och beskrivningarna och endast granska originalet ytterligare när detaljer behöver bekräftas, kan ni minska mängden upprepade inmatningar av originalbilder och spara kontexttoken.

• Digitalisering av dokument: Konverterar pappersdokument och skannat material till textbaserat material.
• Mottagning av arbetsdokument: Extraherar innehåll från ansökningar, styrkande dokument och rapporter.
• Bearbetning av tabelldata: Använder tabeller i dokument för efterföljande databearbetning.
• Förbehandling för kunskapssökning: Konverterar dokumentbilder och visuellt material till sökbar text och struktur.
• Automatisering av dokumentgranskning: Överför extraktionsresultat till CIP för kontroll av punkter, sammanfattning och jämförelse mellan material.
• Optimering av agentindata: Strukturerar brödtext, tabeller och bildbeskrivningar i långa dokument för att endast förmedla nödvändig information.

Till exempel extraheras brödtexten och tabellerna i en rapport, samtidigt som ett infogat diagram beskrivs som ett diagram som visar kvartalsvisa försäljningstrender. Med hjälp av denna beskrivning kan agenten förstå diagrammets förekomst och syfte och granska originalet ytterligare när exakta värden eller trender behövs.

Anslutning av produktfamiljer

Genom att ansluta produkter kan följande flöden konfigureras.

• Dokumentbaserat arbete: Cova extraherar brödtext, tabeller och bildbeskrivningar, CIP granskar selektivt de original som behövs för att utföra analys och arbetsbehandling, och Cosa förmedlar resultatet som tal.
• Röstbaserat arbete: Cosa ASR konverterar röstförfrågningar till text, och cosa-a eller cosa-b läser upp svar som har bearbetats av CIP.
• Automatisering på plats: cip-5.5-sm klassificerar data på plats och utför lokala arbetsuppgifter, och vidarebefordrar material som kräver ytterligare övergripande analys till cip-5.5-im eller cip-5.5-mm.

Tillåtna anrop i gatewayen

Gateways planer avgör vilka anrop som är tillåtna för varje modell. Tabellen nedan visar omfattningen som planerna LLM_FREE, TTS_FREE och STT_FREE öppnar, och dessa planer tillämpas automatiskt utan ansökan. Modeller som är öppna via andra vägar ingår inte.

cip-5.5-sm och cova-1 finns inte med i den här plantabellen. ID:na cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm och ivy-4-mm i tabellen ingår inte i produktbeskrivningarna ovan. Vilken sökväg anropsnyckeln motsvarar finns i dokumentet om API-anrop.