Modellen

De CLEVI-modellen zijn onderverdeeld in drie productgroepen: CIP voor algemene intelligentie en werkautomatisering, Cosa voor spraakgeneratie en -herkenning, en Cova voor het extraheren van informatie uit documenten en afbeeldingen. Elk product kan zelfstandig worden gebruikt of worden gekoppeld tot een service die documentherkenning, analyse, taakuitvoering en gesproken begeleiding omvat.

CIP

CIP is verantwoordelijk voor algemene intelligentie en werkautomatisering. Het bestaat uit cip-5.5-im en cip-5.5-mm, die via de gateway worden aangeroepen, en cip-5.5-sm, dat op edge-servers en on-premises wordt geïmplementeerd.

cip-5.5-im en cip-5.5-mm

cip-5.5-im is geschikt voor taken met duidelijke doelstellingen en een duidelijk afgebakende scope. Typische voorbeelden zijn het extraheren van benodigde informatie uit aangeleverd materiaal, het opstellen van resultaten in een voorgeschreven indeling en het aanpassen van code aan de vereisten. De maximale uitvoer van 64K is bedoeld voor het opstellen van gedetailleerde rapporten of resultaten die uit meerdere onderdelen bestaan.

• Ontwikkelingsondersteuning: functies en functionaliteit schrijven, duidelijk afgebakende bugs oplossen en implementaties maken volgens bestaande patronen.
• Testgeneratie: concepttests en verificatiegevallen opstellen op basis van vereisten en implementaties.
• Documentverwerking: samenvatten, classificeren, items extraheren, formulieren omzetten en concepten opstellen.
• Multimodale analyse: schermafbeeldingen en tabellen en grafieken in documenten samen met relevante toelichtingen beoordelen.
• Interactieve werkondersteuning: vragen beantwoorden op basis van werkmateriaal en benodigde resultaten opstellen.
• Grootschalige verwerking: gebruiken voor individuele samenvattingen van een groot aantal documenten, het classificeren van verzoeken en het transformeren van gegevens.
• Subagent: duidelijk afgebakende subtaken uitvoeren, zoals code verkennen, specifieke bestanden beoordelen en materiaal ordenen.

Het wordt bijvoorbeeld gebruikt om op basis van functionele vereisten en gerelateerde code een wijzigingsvoorstel, tests en een beschrijving van de wijzigingen op te stellen, of om inkomende documenten te classificeren en samenvattingen voor verantwoordelijken te maken.

cip-5.5-mm is geschikt voor taken waarbij de relaties tussen informatie moeten worden begrepen en de samenhang van het totale werk moet worden behouden. Bij ontwikkeling worden de verbanden tussen vereisten, ontwerp, implementatie en tests beoordeeld. Bij documentanalyse worden beweringen en onderbouwingen, verschillen en tegenstrijdigheden uit meerdere bronnen samengebracht.

• Implementatie van complexe functionaliteit: code, tests en documentatie gezamenlijk wijzigen, rekening houdend met de contracten en het gedrag van meerdere modules.
• Grootschalige codeanalyse: aanroepprelaties, gegevensstromen en de impact van wijzigingen beoordelen.
• Analyse van de oorzaak van incidenten: logs, configuratie, code en uitvoerresultaten vergelijken en hypothesen over de oorzaak en verificatieprocedures structureren.
• Ondersteuning bij ontwerp en besluitvorming: vereisten en beperkingen structureren en de impact van implementatiealternatieven analyseren.
• Synthese van meerdere documenten: overeenkomsten, verschillen en tegenstrijdigheden in rapporten en technische documentatie op basis van onderbouwing structureren.
• Geïntegreerde multimodale beoordeling: tekst en visueel materiaal samen interpreteren om problemen en vereisten te analyseren.
• Agent met meerdere stappen: gebruiken voor taken die bestaan uit onderzoek, planning, uitvoering van tools en beoordeling van resultaten.
• Opstellen van gespecialiseerde documenten: technische rapporten, ontwerpvoorstellen en gedetailleerde beoordelingsdocumenten opstellen waarin complexe voorwaarden en onderbouwingen zijn verwerkt.

Bijvoorbeeld voor het gezamenlijk beoordelen van relevante codes en logs van fouten die in meerdere services zijn opgetreden, of voor werkzaamheden die lopen van de analyse van vereisten voor complexe functies tot de implementatie en beoordeling van de verificatieresultaten.

cip-5.5-sm

cip-5.5-sm voert lokale inferentie en werkautomatisering uit op edge-servers en in on-premisesomgevingen. Omdat de modelgrootte kan worden aangepast binnen een bereik van 24B tot 40B, kunt u de configuratie afstemmen op de rekenresources van de implementatieapparatuur en de vereiste prestaties op locatie. Omdat de verwerking dicht bij de locatie plaatsvindt waar de gegevens ontstaan, wordt het gebruikt voor de koppeling met lokale systemen en het benutten van interne gegevens. Als de benodigde modellen en tools lokaal worden geconfigureerd, kan het ook worden gebruikt in omgevingen met beperkte externe verbindingen.

Het interpreteert informatie die op locatie ontstaat en zet deze om in verwerkingsprocedures. Het classificeert logs en verzoeken, haalt benodigde informatie uit gegevens en voert repetitieve werkzaamheden uit met gekoppelde interne tools en scripts.

• Verwerking van gebeurtenissen op locatie: classificeert apparaatlogs en statusinformatie en selecteert gebeurtenissen die moeten worden gecontroleerd.
• Voorbewerking van gegevens: haalt kernpunten uit werkregistraties en classificeert, tagt en normaliseert deze.
• Routering van verzoeken: stuurt ontvangen verzoeken door naar het verantwoordelijke systeem of de verwerkingsprocedure.
• Lokale werkagent: voert repetitieve taken uit door interne systemen te raadplegen en scripts uit te voeren.
• Ondersteuning van on-premiseswerkzaamheden: beantwoordt vragen op basis van intern materiaal en ordent werkinhoud.
• Ondersteuning bij vervolg-analyses: selecteert materiaal dat nader moet worden beoordeeld en vat de belangrijkste inhoud samen.

Bijvoorbeeld voor een proces waarin operationele logs op een bedrijfslocatieserver worden geclassificeerd, relevante geschiedenis wordt geraadpleegd en vervolgens een incidentoverzicht voor de verantwoordelijke medewerker wordt opgesteld.

Cosa

Cosa is een productfamilie voor spraak die tekst naar spraak omzet, ingevoerde spraak als tekst herkent en gewenste stemmen registreert voor hergebruik. Het wordt gebruikt voor service-informatie, contentcreatie, toegankelijkheidsondersteuning en spraakinterfaces voor interactieve agents.

cosa-a en cosa-b zijn verantwoordelijk voor spraakgeneratie, terwijl cosa-asr verantwoordelijk is voor spraakherkenning. cosa-a en cosa-b zijn afzonderlijke modellen die elk hun eigen stemmenlijst en synthes instellingen bieden en via dezelfde service-interface worden geselecteerd. De functies die beide modellen gemeenschappelijk bieden, zijn als volgt.

• Tekst-naar-spraak: synthetiseert ingevoerde zinnen met de geselecteerde stem.
• Stemklonen: registreert een stem op basis van een referentieopname waarvoor u gebruiksrechten hebt en synthetiseert nieuwe zinnen.
• Stemontwerp: maakt en registreert een stem op basis van een beschrijving van de gewenste stemeigenschappen.
• Stemhergebruik: gebruikt een geregistreerde stem voor daaropvolgende synthese.
• Synthese-instellingen: past onder andere de spreeksnelheid en taal aan.
• Streaminglevering: synthetiseert tekst in zinsdelen zodra deze binnenkomt en levert de audio opeenvolgend.
• Afspeelbesturing: ondersteunt pauzeren, hervatten, stoppen en het invoeren van aanvullende zinnen.

Met geleidelijke tekstinvoer kunt u de spraakweergave starten voordat het volledige antwoord is voltooid. Terwijl CIP het antwoord opstelt, kunt u een service configureren waarin cosa de gereedgemaakte zinsdelen voorleest.

cosa-a

cosa-a ondersteunt tekst-naar-spraak, stemklonen, stemontwerp en streaminguitvoer. Naast basisfuncties zoals het kiezen van stem, taal en spreeksnelheid biedt het aanvullende regelopties, waaronder instellingen voor het aantal synthesestappen, de begeleidingssterkte en de generatielengte. U gebruikt dit om instellingen tijdens het stemproductieproces aan te passen en resultaten te beoordelen, of om meerdere instellingen op hetzelfde script toe te passen en een resultaat te kiezen.

• Synthetiseert aankondigingen en meldingen voor apps, kiosken en bedrijfssystemen.
• Maakt lesmateriaal en gebruiksaanwijzingen als audio.
• Produceert voice-overs voor video- en audiocontent.
• Produceert terugkerende content met een geregistreerde stem.
• Wordt gebruikt voor streaming-spraakuitvoer van interactieve agents.
• Wordt gebruikt voor stemproductie waarbij gedetailleerde synthesinstellingen worden aangepast.

cosa-b

cosa-b ondersteunt de keuze van vooraf ingestelde stemmen, stemontwerp op basis van beschrijvingen, klonen op basis van referentiestemmen en streaminguitvoer. U kiest een stem uit de eigen stemmenlijst of registreert een nieuwe stem voor gebruik in de service.

Voor stemklonen worden een referentieopname en de bijbehorende tekst gebruikt. Het ondersteunt ook een proces waarbij de referentietekst tijdens de registratie met spraakherkenning wordt gegenereerd. Geregistreerde stemmen kunnen bij daaropvolgende synthese opnieuw worden gebruikt.

• Stelt de stempersona van services en personages samen.
• Maakt aangepaste stemmen op basis van een beschrijving of referentieopname.
• Synthetiseert merkaankondigingen, personagedialogen en voice-overs voor content.
• Wordt gebruikt voor spraakreacties van interactieve agents.
• Synthetiseert aankondigingsberichten en scripts die met dezelfde stem worden gewijzigd.

Kies tussen cosa-a en cosa-b op basis van de gewenste stem, het daadwerkelijke synthese-resultaat en de benodigde besturingselementen.

cosa-asr

cosa-asr zet ingevoerde spraak om in tekst. Het documenteert opnamen of zet spraakgestuurde verzoeken om in invoer die door vervolgsystemen voor werkprocessen kan worden verwerkt.

• Spraakmemo's en opnamen transcriberen.
• Spraakgestuurde vragen en werkverzoeken omzetten in invoer.
• Referentieteksten voor stemklonen genereren.
• Gebruiken voor verwerking die na transcriptie doorgaat met samenvatting, classificatie en zoeken.

Wanneer u de transcriptieresultaten aan CIP doorgeeft, leidt dit tot het samenvatten van inhoud, het classificeren van verzoeken en het opstellen van concepten voor werkprocessen. Door de verwerkingsresultaten met cosa-a of cosa-b te synthetiseren, ontstaat een werkservice met spraak als invoer en uitvoer.

Cova

cova-1 is een LLM-gebaseerd model dat specifiek is bedoeld voor visuele OCR. Het herkent tekst in documenten en afbeeldingen, extraheert de lay-out en tabelstructuur en geeft korte beschrijvingen van visuele elementen.

Het zet documenten zoals mensen die bekijken om in een vorm die agents en werksystemen goed kunnen gebruiken. De hoofdtekst en tabellen worden als gestructureerde inhoud geëxtraheerd en afbeeldingen in het document worden met een korte beschrijving weergegeven, zodat vervolgender agents zowel de inhoud als de visuele context van het document kunnen begrijpen. Door eerst de materialen te begrijpen aan de hand van de geëxtraheerde tekst en beschrijvingen en alleen de originelen die nader moeten worden gecontroleerd aanvullend te bekijken, kunt u een proces opzetten dat het aantal keren vermindert dat de oorspronkelijke afbeeldingen opnieuw worden ingevoerd en zo contexttokens bespaart.

• Documentdigitalisering: zet papieren documenten en gescand materiaal om in tekstgebaseerde gegevens.
• Verwerking van zakelijke documenten: extraheert inhoud uit aanvraagformulieren, bewijsstukken en rapporten.
• Verwerking van tabelgegevens: gebruikt tabellen in documenten voor verdere gegevensverwerking.
• Voorbewerking voor kenniszoekopdrachten: zet documentafbeeldingen en visueel materiaal om in doorzoekbare tekst en structuren.
• Automatisering van documentbeoordeling: draagt de extractieresultaten over aan CIP voor itemcontrole, samenvatting en vergelijking tussen materialen.
• Optimalisatie van agentinvoer: ordent de hoofdtekst, tabellen en afbeeldingsbeschrijvingen van lange documenten om alleen de benodigde informatie door te geven.

Zo kan het bijvoorbeeld de hoofdtekst en tabellen van een rapport extraheren en een ingevoegde grafiek beschrijven als een grafiek die de kwartaaltrend van de omzet weergeeft. Met deze beschrijving kan de agent het bestaan en het doel van de grafiek begrijpen en de oorspronkelijke afbeelding aanvullend controleren wanneer exacte cijfers of trends nodig zijn.

Producten koppelen

Door producten te koppelen, kunt u de volgende processen samenstellen.

• Documentgebaseerde werkzaamheden: Cova extraheert de hoofdtekst, tabellen en afbeeldingsbeschrijvingen, CIP controleert selectief de benodigde oorspronkelijke afbeeldingen en voert analyses en werkzaamheden uit, waarna Cosa de resultaten met spraak doorgeeft.
• Spraakgebaseerde werkzaamheden: Cosa ASR zet spraakverzoeken om in tekst en cosa-a of cosa-b leest de door CIP verwerkte antwoorden voor.
• Automatisering op locatie: cip-5.5-sm classificeert gegevens op locatie en voert lokale werkzaamheden uit, en stuurt materiaal waarvoor aanvullende integrale analyse nodig is door naar cip-5.5-im of cip-5.5-mm.

Toegestane aanroepen bij de gateway

De plannen van de gateway bepalen welke aanroepen per model zijn toegestaan. De onderstaande tabel toont de bereiken die de plannen LLM_FREE, TTS_FREE en STT_FREE openen. Deze plannen worden automatisch toegepast zonder aanvraag. Modellen die via andere routes zijn geopend, zijn niet opgenomen.

cip-5.5-sm en cova-1 staan niet in deze plantabel. cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm en ivy-4-mm in de tabel zijn model-ID's die niet in de bovenstaande productbeschrijving zijn opgenomen. In het document API-aanroepen staat welk aanroeppad bij de aanroepsleutel hoort.