Modelis

CLEVI modeliai skirstomi į tris produktų linijas: CIP, skirtą universaliam intelektui ir darbo automatizavimui, Cosa, skirtą balso generavimui ir atpažinimui, ir Cova, skirtą informacijos išgavimui iš dokumentų bei vaizdų. Kiekvieną produktą galima naudoti atskirai arba sujungti į paslaugas, apimančias dokumentų atpažinimą, analizę, užduočių vykdymą ir balso instrukcijas.

CIP

CIP skirtas universaliam intelektui ir darbo automatizavimui. Jį sudaro cip-5.5-im ir cip-5.5-mm, iškviečiami per šliuzą, bei cip-5.5-sm, diegiamas krašto serveriuose ir vietinėje infrastruktūroje.

cip-5.5-im ir cip-5.5-mm

cip-5.5-im tinka užduotims, kurių tikslas ir apimtis yra aiškiai apibrėžti. Tipinės užduotys: iš pateiktos medžiagos išgauti reikiamą informaciją, parengti rezultatą nurodytu formatu ir pakeisti kodą pagal reikalavimus. Iki 64K išvesties tinka išsamioms ataskaitoms arba rezultatams, sudarytiems iš kelių dalių, rengti.

• Kūrimo pagalba: rašo funkcijas ir funkcionalumą, taiso aiškiai apibrėžtas klaidas ir įgyvendina sprendimus pagal esamus šablonus.
• Testų kūrimas: pagal reikalavimus ir įgyvendinimą rengia testų juodraščius ir tikrinimo atvejus.
• Dokumentų apdorojimas: atlieka santraukų rengimą, klasifikavimą, elementų išgavimą, formos konvertavimą ir juodraščių rengimą.
• Multimodalinė analizė: peržiūri ekrano vaizdus ir dokumentų lenteles bei diagramas, pateikdamas susijusius paaiškinimus.
• Interaktyvi darbo pagalba: atsako į klausimus remdamasis darbo medžiaga ir parengia reikiamus rezultatus.
• Didelės apimties apdorojimas: naudojamas atskirų daugelio dokumentų santraukų rengimui, užklausų klasifikavimui ir duomenų konvertavimui.
• Subagentas: atlieka aiškiai apribotas antrines užduotis, pavyzdžiui, kodo tyrimą, konkrečių failų peržiūrą ir medžiagos tvarkymą.

Pavyzdžiui, jis naudojamas gavus funkcinius reikalavimus ir susijusį kodą parengti pakeitimų pasiūlymą, testus ir pakeitimų paaiškinimą arba klasifikuoti gautus dokumentus ir parengti santrauką atsakingam darbuotojui.

cip-5.5-mm tinka užduotims, kurioms reikia suprasti ryšius tarp informacijos elementų ir išlaikyti viso darbo nuoseklumą. Kūrimo srityje jis peržiūri reikalavimų, projektavimo, įgyvendinimo ir testavimo sąsajas, o analizuojant dokumentus apibendrina įvairių medžiagų teiginius ir jų pagrindimą, skirtumus bei prieštaravimus.

• Sudėtingo funkcionalumo įgyvendinimas: atsižvelgdamas į kelių modulių sutartis ir veikimą, kartu keičia kodą, testus ir dokumentaciją.
• Didelės apimties kodo analizė: peržiūri iškvietimų ryšius, duomenų srautą ir pakeitimų poveikio apimtį.
• Incidentų priežasčių analizė: palygina žurnalus, konfigūraciją, kodą ir vykdymo rezultatus, tada susistemina priežasčių hipotezes ir patikros procedūras.
• Projektavimo ir sprendimų priėmimo pagalba: struktūruoja reikalavimus ir apribojimus bei analizuoja įgyvendinimo alternatyvų poveikį.
• Daugelio dokumentų apibendrinamoji analizė: pagal įrodymus susistemina ataskaitų ir techninių dokumentų bendrus bruožus, skirtumus bei prieštaravimus.
• Integruota multimodalinė peržiūra: kartu interpretuoja tekstą ir vaizdinę medžiagą, kad išanalizuotų problemas ir reikalavimus.
• Daugiapakopis agentas: naudojamas užduotims, apimančioms tyrimą, planavimą, įrankių vykdymą ir rezultatų peržiūrą.
• Profesionalių dokumentų rengimas: rengia technines ataskaitas, projektinius pasiūlymus ir išsamius peržiūros dokumentus, atspindinčius sudėtingas sąlygas ir pagrindimą.

Pavyzdžiui, jis naudojamas kartu peržiūrėti susijusius kodus ir žurnalus, kuriuose įvyko klaidų keliose paslaugose, arba darbams, apimantiems visą procesą nuo sudėtinės funkcijos reikalavimų analizės iki įgyvendinimo ir tikrinimo rezultatų peržiūros.

cip-5.5-sm

cip-5.5-sm atlieka vietinį išvedimą ir automatizuoja užduotis krašto serveriuose bei vietinėse infrastruktūrose. Kadangi modelio dydį galima reguliuoti nuo 24B iki 40B, konfigūraciją galima pasirinkti pagal diegimo įrangos skaičiavimo išteklius ir vietoje reikalingą našumą. Apdorojant duomenis netoli jų atsiradimo vietos, jis naudojamas vietinių sistemų integracijai ir vidiniams duomenims panaudoti, o vietoje sukonfigūravus reikiamus modelius ir įrankius, jį galima eksploatuoti net aplinkose, kuriose išorinis ryšys yra ribotas.

Tai funkcija, interpretuojanti vietoje sukuriamą informaciją ir susiejanti ją su apdorojimo procedūromis. Ji klasifikuoja žurnalus ir užklausas, iš duomenų išgauna reikiamą informaciją, o naudodama susietus vidinius įrankius ir scenarijus atlieka pasikartojančias užduotis.

• Vietos įvykių apdorojimas: klasifikuoja įrangos žurnalus ir būsenos informaciją bei atrenka įvykius, kuriuos reikia patikrinti.
• Duomenų paruošimas: iš darbo įrašų išgauna pagrindinius elementus, juos klasifikuoja, pažymi ir normalizuoja.
• Užklausų maršrutizavimas: perduoda gautas užklausas atsakingai sistemai arba apdorojimo procedūrai.
• Vietinis darbo agentas: atlieka pasikartojančias užduotis, gaudamas duomenis iš vidinių sistemų ir vykdydamas scenarijus.
• Darbo palaikymas vietinėje infrastruktūroje: atsako į klausimus remdamasis vidine medžiaga ir susistemina darbo informaciją.
• Tolesnės analizės palaikymas: atrenka medžiagą, kurią reikia papildomai peržiūrėti, ir susistemina pagrindinį turinį.

Pavyzdžiui, jis naudojamas procesui, kurio metu įmonės serveriuose klasifikuojami veiklos žurnalai, peržiūrima susijusi istorija ir parengiama atsakingiems darbuotojams skirta incidento santrauka.

Cosa

Cosa yra balso produktų šeima, paverčianti tekstą į balsą, atpažįstanti įvesties balsą kaip tekstą ir leidžianti užregistruoti bei pakartotinai naudoti norimą balsą. Ji naudojama teikiant paslaugų informaciją, kuriant turinį, užtikrinant prieinamumą ir balso sąsajoms pokalbių agentuose.

Už balso generavimą atsako cosa-a ir cosa-b, o už balso atpažinimą – cosa-asr. cosa-a ir cosa-b yra atskiri modeliai, teikiantys atitinkamus balsų sąrašus ir sintezės nustatymus, ir pasirenkami toje pačioje paslaugos sąsajoje. Toliau pateikiamos abiejų modelių bendros funkcijos.

• Teksto vertimas į kalbą: įvestą tekstą susintetina pasirinktu balsu.
• Balso klonavimas: užregistruoja balsą pagal turimą naudoti teisę turintį etaloninį įrašą ir susintetina naują tekstą.
• Balso kūrimas: sukuria ir užregistruoja balsą pagal norimo balso savybių aprašymą.
• Balso pakartotinis naudojimas: užregistruotą balsą naudoja tolesnei sintezei.
• Sintezės nustatymai: reguliuoja kalbėjimo greitį, kalbą ir kitus parametrus.
• Srautinis perdavimas: sintetina frazėmis tekstui atkeliaujant ir nuosekliai perduoda garsą.
• Atkūrimo valdymas: palaiko pristabdymą, tęsimą, sustabdymą ir papildomo teksto įvedimą.

Naudojant laipsnišką teksto įvedimą, balso atkūrimą galima pradėti dar nebaigus formuoti viso atsakymo. Kol CIP rengia atsakymą, galima sukonfigūruoti paslaugą, kad Cosa perskaitytų jau paruoštas frazes.

cosa-a

cosa-a palaiko teksto vertimą į kalbą, balso klonavimą, balso kūrimą ir srautinį išvesties perdavimą. Be pagrindinių funkcijų, leidžiančių pasirinkti balsą, kalbą ir kalbėjimo greitį, ji suteikia papildomų valdiklių, įskaitant sintezės etapų skaičiaus, gairių stiprumo ir generuojamo ilgio nustatymus. Ji naudojama balso kūrimo procese reguliuojant nustatymus ir peržiūrint rezultatus arba taikant kelis nustatymus tam pačiam tekstui ir pasirenkant geriausią rezultatą.

• Sintetina programėlių, kioskų ir verslo sistemų instrukcijas bei pranešimus.
• Paverčia mokomąją medžiagą ir naudojimo instrukcijas garsu.
• Kuria vaizdo ir garso turinio įgarsinimą.
• Kuria pasikartojantį turinį naudodama užregistruotą balsą.
• Naudoja interaktyviųjų agentų srautiniam balso išvedimui.
• Naudoja balso kūrimui, reguliuojant išsamius sintezės nustatymus.

cosa-b

cosa-b palaiko iš anksto nustatytų balsų pasirinkimą, balso kūrimą pagal aprašymą, klonavimą pagal etaloninį balsą ir srautinį išvesties perdavimą. Galima pasirinkti balsą iš savo balsų sąrašo arba užregistruoti naują balsą paslaugai.

Balso klonavimui naudojamas etaloninis įrašas ir jį atitinkantis tekstas. Taip pat palaikomas procesas, kai registruojant balsą etaloninis tekstas sugeneruojamas naudojant kalbos atpažinimą, o užregistruotas balsas pakartotinai naudojamas tolesnei sintezei.

• Kuria paslaugų ir personažų balso asmenybes.
• Kuria pritaikytus balsus pagal aprašymą arba etaloninį įrašą.
• Sintetina prekės ženklo instrukcijas, personažų dialogus ir turinio įgarsinimą.
• Naudoja interaktyviųjų agentų balso atsakymams.
• Sintetina besikeičiančius pranešimus ir tekstus tuo pačiu balsu.

Rinkdamiesi vieną iš cosa-a ir cosa-b, vadovaukitės norimu balsu, faktiniu sintezės rezultatu ir reikalingais valdikliais.

cosa-asr

cosa-asr konvertuoja įvesties garsą į tekstą. Jis dokumentuoja įrašytą medžiagą arba paverčia balsu pateiktas užklausas įvestimi, kurią gali apdoroti tolesnės darbo sistemos.

• Transkribuoja balso pastabas ir įrašytą medžiagą.
• Paverčia balsu pateiktus klausimus ir darbo užklausas įvestimi.
• Sugeneruoja etaloninį tekstą balso kopijavimui.
• Naudojamas tolesniam apdorojimui po transkripcijos, įskaitant santraukų kūrimą, klasifikavimą ir paiešką.

Perdavus transkripcijos rezultatą CIP, galima pereiti prie turinio santraukos kūrimo, užklausų klasifikavimo ir darbo juodraščių rengimo. Sintezavus apdorojimo rezultatą naudojant cosa-a arba cosa-b, sukuriama darbo paslauga su balso įvestimi ir išvestimi.

Cova

cova-1 yra LLM pagrįstas modelis, skirtas tik vaizdiniam OCR. Jis atpažįsta tekstą dokumentuose ir vaizduose, išskiria maketą bei lentelių struktūrą ir pateikia trumpus vaizdinių elementų aprašymus.

Žmonėms skirtus dokumentus paverčia į agentams ir darbo sistemoms patogų naudoti formatą. Pagrindinis tekstas ir lentelės išskiriami kaip struktūrizuotas turinys, o dokumentuose esančios iliustracijos pateikiamos su trumpais aprašymais, todėl tolesni agentai gali kartu suprasti dokumento turinį ir vaizdinį kontekstą. Sukonfigūravus procesą, kuriame medžiaga pirmiausia peržiūrima pagal išskirtą tekstą ir aprašymus, o išsamiai tikrinami tik tie originalai, kuriems to reikia, sumažinamas pakartotinis originalių vaizdų įvedimas ir taupomi konteksto žetonai.

• Dokumentų skaitmeninimas: popierinius dokumentus ir nuskaitytą medžiagą paverčia tekstiniais ištekliais.
• Verslo dokumentų priėmimas: iš paraiškų, patvirtinamųjų dokumentų ir ataskaitų ištraukia turinį.
• Lentelių duomenų apdorojimas: dokumentuose esančias lenteles naudoja tolesniam duomenų apdorojimui.
• Išankstinis duomenų paruošimas žinių paieškai: dokumentų vaizdus ir vaizdinę medžiagą paverčia tekstu bei struktūra, kurią galima rasti atliekant paiešką.
• Automatizuota dokumentų peržiūra: perduoda išgautus rezultatus CIP, kad būtų galima patikrinti punktus, parengti santrauką ir palyginti medžiagą.
• Agentų įvesties optimizavimas: sutvarko ilgų dokumentų pagrindinį tekstą, lenteles ir vaizdų aprašymus, kad būtų perduodama tik reikalinga informacija.

Pavyzdžiui, ištraukiant ataskaitos pagrindinį tekstą ir lenteles, įterptas grafikas aprašomas kaip grafikas, rodantis ketvirčio pardavimų tendenciją. Naudodamas šį aprašymą agentas nustato grafiko buvimą ir paskirtį, o kai reikia tikslių skaičių ar tendencijų, papildomai patikrina atitinkamą originalą.

Produktų šeimos sujungimas

Sujungus produktus galima sukurti toliau nurodytus procesus.

• Dokumentais pagrįstas darbas: Cova ištraukia pagrindinį tekstą, lenteles ir vaizdų aprašymus, CIP pasirinktinai patikrina reikalingus originalus, atlieka analizę ir apdoroja užduotis, o Cosa perduoda rezultatus balsu.
• Balsu pagrįstas darbas: Cosa ASR paverčia balso užklausą tekstu, o cosa-a arba cosa-b perskaito CIP parengtą atsakymą.
• Automatizavimas vietoje: cip-5.5-sm klasifikuoja vietoje surinktus duomenis ir atlieka vietines užduotis, o medžiagą, kuriai reikia papildomos kompleksinės analizės, perduoda cip-5.5-im arba cip-5.5-mm.

Leidžiami iškvietimai šliuze

Šliuzo planai nustato kiekvienam modeliui leidžiamus iškvietimus. Toliau pateiktoje lentelėje nurodytos LLM_FREE, TTS_FREE ir STT_FREE planų suteikiamos galimybės; šie planai taikomi automatiškai, be atskiro prašymo. Lentelėje neįtraukti modeliai, kuriems prieiga suteikiama kitais būdais.

cip-5.5-sm ir cova-1 šiame plano sąraše nėra. Šioje lentelėje pateikti cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm ir ivy-4-mm yra modelių ID, neįtraukti į pirmiau pateiktus produktų aprašymus. Kuriam keliui priskiriamas iškvietimo raktas, nurodyta API iškvietimo dokumentacijoje.