Model

Modelele CLEVI sunt împărțite în trei game de produse: CIP, responsabilă de inteligența generală și automatizarea activităților, Cosa, responsabilă de generarea și recunoașterea vocală, și Cova, responsabilă de extragerea informațiilor din documente și imagini. Fiecare produs poate fi utilizat independent sau poate fi conectat într-un serviciu care include recunoașterea documentelor, analiza, executarea activităților și ghidarea vocală.

CIP

CIP este responsabil de inteligența generală și automatizarea activităților. Este alcătuit din cip-5.5-im și cip-5.5-mm, accesate prin gateway, precum și din cip-5.5-sm, implementat pe servere edge și în infrastructuri on-premises.

cip-5.5-im și cip-5.5-mm

cip-5.5-im este potrivit pentru sarcini cu obiective și domenii de lucru clar definite. Exemple reprezentative sunt extragerea informațiilor necesare din materialele furnizate, redactarea rezultatelor în formatul specificat și modificarea codului conform cerințelor. Limita de ieșire de maximum 64K este utilă pentru redactarea unor rapoarte detaliate sau a unor rezultate alcătuite din mai multe părți.

• Asistență pentru dezvoltare: scrie funcții și caracteristici, remediază erori cu domeniu clar definit și implementează conform tiparelor existente.
• Generare de teste: redactează schițe de teste și cazuri de verificare pe baza cerințelor și a implementării.
• Procesarea documentelor: se ocupă de rezumare, clasificare, extragerea elementelor, conversia formularelor și redactarea schițelor.
• Analiză multimodală: examinează imagini ale ecranelor și tabelele și graficele din documente, împreună cu explicațiile relevante.
• Asistență interactivă pentru activități: răspunde la întrebări pe baza materialelor de lucru și redactează rezultatele necesare.
• Procesare în lot: este utilizată pentru rezumarea individuală a mai multor documente, clasificarea solicitărilor și transformarea datelor.
• Subagenți: preiau sub-sarcini cu limite clar definite, precum explorarea codului, examinarea unor fișiere specifice sau organizarea materialelor.

De exemplu, este utilizat pentru activități precum primirea cerințelor funcționale și a codului aferent și redactarea unei propuneri de modificare, a testelor și a explicației schimbărilor sau clasificarea documentelor primite și crearea unui rezumat pentru persoana responsabilă.

cip-5.5-mm este potrivit pentru activități care necesită identificarea relațiilor dintre informații și menținerea coerenței întregii sarcini. În dezvoltare, examinează legăturile dintre cerințe, proiectare, implementare și testare, iar în analiza documentelor sintetizează afirmațiile și dovezile, diferențele și contradicțiile din mai multe materiale.

• Implementarea unor funcționalități complexe: modifică împreună codul, testele și documentația, ținând cont de contractele și comportamentul mai multor module.
• Analiza unor baze de cod de mari dimensiuni: examinează relațiile dintre apeluri, fluxurile de date și aria de impact a modificărilor.
• Analiza cauzelor incidentelor: compară jurnalele, configurațiile, codul și rezultatele execuției pentru a organiza ipotezele privind cauza și procedurile de verificare.
• Sprijin pentru proiectare și luarea deciziilor: structurează cerințele și constrângerile și analizează impactul alternativelor de implementare.
• Analiză sintetică a mai multor documente: organizează pe baza dovezilor asemănările, diferențele și contradicțiile din rapoarte și documentație tehnică.
• Revizuire integrată multimodală: interpretează împreună textele și materialele vizuale pentru a analiza problemele și cerințele.
• Agenți cu mai multe etape: este utilizat pentru activități care implică investigare, planificare, executarea instrumentelor și revizuirea rezultatelor.
• Redactarea documentelor de specialitate: redactează rapoarte tehnice, propuneri de proiectare și documente de revizuire detaliată care reflectă condiții complexe și dovezi.

De exemplu, este utilizat pentru activități precum examinarea împreună a codurilor relevante și a jurnalelor generate de erori în mai multe servicii sau derularea procesului de la analiza cerințelor pentru funcții complexe până la implementare și examinarea rezultatelor validării.

cip-5.5-sm

cip-5.5-sm efectuează inferență locală și automatizarea activităților în servere edge și în medii on-premises. Deoarece dimensiunea modelului poate fi ajustată în intervalul 24B~40B, configurația poate fi aleasă în funcție de resursele de calcul ale echipamentului de implementare și de nivelul de performanță necesar la fața locului. Deoarece datele sunt procesate în apropierea punctului în care sunt generate, este utilizat pentru integrarea cu sistemele din teren și folosirea datelor interne, iar prin configurarea locală a modelelor și instrumentelor necesare poate fi operat chiar și în medii cu conectivitate externă limitată.

Are rolul de a interpreta informațiile generate la fața locului și de a le conecta la procedurile de procesare. Clasifică jurnalele și solicitările, extrage informațiile necesare din date și efectuează activități repetitive folosind instrumentele și scripturile interne conectate.

• Procesarea evenimentelor din teren: clasifică jurnalele echipamentelor și informațiile despre starea acestora și selectează evenimentele care necesită verificare.
• Preprocesarea datelor: extrage elementele esențiale din înregistrările activităților și le clasifică, etichetează și normalizează.
• Rutarea solicitărilor: transmite solicitările primite către sistemul responsabil sau procedura de procesare corespunzătoare.
• Agent local pentru activități: efectuează activități repetitive prin consultarea sistemelor interne și executarea scripturilor.
• Asistență pentru activități on-premises: răspunde la întrebări pe baza materialelor interne și organizează conținutul activităților.
• Asistență pentru analiza ulterioară: selectează materialele care necesită examinare suplimentară și sintetizează conținutul esențial.

De exemplu, este utilizat într-un flux care clasifică jurnalele operaționale pe serverele unei locații, consultă istoricul relevant și redactează un rezumat al incidentului pentru persoana responsabilă.

Cosa

Cosa este o familie de produse vocale care convertește textul în vorbire, recunoaște vorbirea introdusă ca text și permite înregistrarea și reutilizarea vocilor dorite. Este utilizată pentru ghidarea serviciilor, crearea de conținut, asistență pentru accesibilitate și interfețele vocale ale agenților conversaționali.

Generarea vocală este asigurată de cosa-a și cosa-b, iar recunoașterea vocală de cosa-asr. cosa-a și cosa-b sunt modele separate, fiecare oferind propria listă de voci și propriile setări de sinteză, și sunt selectate din aceeași interfață a serviciului. Funcțiile oferite în comun de cele două modele sunt următoarele:

• Conversie text-voce: sintetizează textul introdus cu vocea selectată.
• Clonarea vocii: înregistrează o voce pe baza unei înregistrări de referință pentru care ai dreptul de utilizare și sintetizează propoziții noi.
• Proiectarea vocii: creează și înregistrează o voce descriind caracteristicile dorite ale acesteia.
• Reutilizarea vocii: folosește vocea înregistrată pentru sinteze ulterioare.
• Setări de sinteză: ajustează viteza de vorbire, limba și alți parametri.
• Livrare în flux: sintetizează pe măsură ce sosește textul, pe unități de fraze, și livrează audio secvențial.
• Controlul redării: acceptă punerea pe pauză, reluarea, oprirea și introducerea de propoziții suplimentare.

Prin utilizarea introducerii progresive a textului, redarea vocală poate începe înainte ca întregul răspuns să fie finalizat. În timp ce CIP redactează răspunsul, puteți configura un serviciu în care Cosa citește frazele pregătite.

cosa-a

cosa-a acceptă conversia text-voce, clonarea vocii, proiectarea vocii și ieșirea în flux. Pe lângă funcțiile de bază pentru selectarea vocii, limbii și vitezei de vorbire, oferă și opțiuni suplimentare de control, precum setări privind numărul de pași de sinteză, intensitatea ghidajului și lungimea generării. Este utilizat pentru ajustarea setărilor în procesul de creare a vocii și verificarea rezultatului sau pentru aplicarea mai multor setări aceluiași text și alegerea rezultatului preferat.

• Sintetizează instrucțiuni și notificări pentru aplicații, chioșcuri și sisteme de lucru.
• Creează materiale educaționale și manuale de utilizare în format audio.
• Produce narațiuni pentru conținut video și audio.
• Creează conținut repetitiv folosind vocea înregistrată.
• Este utilizat pentru ieșirea vocală în flux a agenților conversaționali.
• Este utilizat pentru crearea vocilor prin ajustarea setărilor detaliate de sinteză.

cosa-b

cosa-b acceptă selectarea vocilor presetate, proiectarea vocii pe baza unei descrieri, clonarea pe baza unei voci de referință și ieșirea în flux. Puteți alege o voce din lista proprie de voci sau puteți înregistra o voce nouă pentru a o utiliza în serviciu.

Pentru clonarea vocii se utilizează o înregistrare de referință și textul corespunzător acesteia. Este acceptat și un flux în care textul de referință este generat prin recunoaștere vocală în timpul procesului de înregistrare, iar vocea înregistrată este reutilizată în sinteze ulterioare.

• Configurează persona vocală a serviciului și a personajelor.
• Creează voci personalizate pe baza unei descrieri sau a unei înregistrări de referință.
• Sintetizează anunțuri de brand, replici ale personajelor și narațiuni pentru conținut.
• Este utilizat pentru răspunsurile vocale ale agenților conversaționali.
• Sintetizează mesaje de informare și texte care se modifică, folosind aceeași voce.

Atunci când alegeți între cosa-a și cosa-b, luați în considerare vocea dorită, rezultatul real al sintezei și elementele de control necesare.

cosa-asr

cosa-asr convertește vocea introdusă în text. Acesta documentează materialele înregistrate sau transformă solicitările primite vocal în date de intrare care pot fi procesate de sistemele de lucru ulterioare.

• Transcrie notițele vocale și materialele înregistrate.
• Transformă întrebările și solicitările de lucru bazate pe voce în date de intrare.
• Generează text de referință pentru clonarea vocii.
• Este utilizat pentru procesări ulterioare transcrierii, precum rezumarea, clasificarea și căutarea.

Transmiterea rezultatelor transcrierii către CIP conduce la rezumarea conținutului, clasificarea solicitărilor și redactarea schițelor de lucru. Sintetizând rezultatele procesării cu cosa-a sau cosa-b, se obține un serviciu de lucru cu intrare și ieșire vocală.

Cova

cova-1 este un model bazat pe LLM dedicat OCR-ului vizual. Recunoaște textul din documente și imagini, extrage aspectul și structura tabelelor și oferă descrieri concise ale elementelor vizuale.

Transformă documentele vizualizate de oameni într-un format ușor de utilizat de agenți și sistemele de lucru. Extrage corpul textului și tabelele ca informații structurate și transmite imaginile incluse în document sub forma unor descrieri scurte, astfel încât agenții ulteriori să poată înțelege atât conținutul documentului, cât și contextul vizual. Prin configurarea unui flux în care materialele sunt înțelese mai întâi pe baza textului și a descrierilor extrase, iar numai documentele originale care necesită verificări detaliate sunt analizate suplimentar, se reduce volumul de introducere repetată a imaginilor originale și se economisesc tokeni de context.

• Digitalizarea documentelor: transformă documentele pe hârtie și materialele scanate în materiale bazate pe text.
• Preluarea documentelor de lucru: extrage conținutul din formulare, documente justificative și rapoarte.
• Procesarea datelor din tabele: utilizează tabelele incluse în documente pentru procesarea ulterioară a datelor.
• Preprocesarea pentru căutarea în cunoștințe: transformă imaginile documentelor și materialele vizuale în text și structuri care pot fi căutate.
• Automatizarea revizuirii documentelor: transmite rezultatele extrase către CIP pentru verificarea elementelor, rezumare și compararea materialelor.
• Optimizarea intrărilor pentru agenți: organizează textul principal, tabelele și descrierile imaginilor din documentele lungi, transmițând doar informațiile necesare.

De exemplu, extrage textul principal și tabelele dintr-un raport și descrie graficul inserat ca pe un grafic care prezintă evoluția trimestrială a vânzărilor. Agentul identifică existența și scopul graficului pe baza acestei descrieri și verifică suplimentar originalul atunci când are nevoie de valori sau tendințe exacte.

Conectarea produselor

Prin conectarea produselor, poate fi configurat următorul flux.

• Activități bazate pe documente: Cova extrage textul principal, tabelele și descrierile imaginilor, CIP verifică selectiv materialele originale necesare pentru a efectua analiza și procesarea activităților, iar Cosa transmite rezultatele vocal.
• Activități bazate pe voce: Cosa ASR convertește solicitările vocale în text, iar cosa-a sau cosa-b citesc răspunsurile procesate de CIP.
• Automatizarea activităților din teren: cip-5.5-sm clasifică datele din teren și efectuează activități locale, iar materialele care necesită o analiză suplimentară cuprinzătoare sunt transmise către cip-5.5-im sau cip-5.5-mm.

Apeluri permise la gateway

Planurile gateway-ului stabilesc apelurile permise pentru fiecare model. Tabelul de mai jos prezintă domeniul de aplicare deschis de planurile LLM_FREE, TTS_FREE și STT_FREE, iar aceste planuri se aplică automat fără a fi necesară o solicitare. Nu sunt incluse modelele deschise prin alte rute.

cip-5.5-sm și cova-1 nu sunt incluse în acest tabel al planului. cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm și ivy-4-mm din tabel sunt ID-uri de modele care nu sunt incluse în descrierile produselor de mai sus. Documentația privind apelurile API indică calea căreia îi corespunde cheia de apelare.