Modell

A CLEVI modellek három termékcsaládba sorolhatók: a CIP az általános intelligenciáért és a munkafolyamatok automatizálásáért, a Cosa a beszéd generálásáért és felismeréséért, a Cova pedig a dokumentumokból és képekből történő információkinyerésért felel. Az egyes termékek önállóan is használhatók, illetve dokumentumfelismerést, elemzést, feladatvégrehajtást és hangalapú útmutatást magában foglaló szolgáltatássá is összekapcsolhatók.

CIP

A CIP az általános intelligenciáért és a munkafolyamatok automatizálásáért felel. A gateway-en keresztül hívható cip-5.5-im és cip-5.5-mm, valamint az edge-szervereken és on-premises környezetben telepíthető cip-5.5-sm alkotja.

cip-5.5-im és cip-5.5-mm

A cip-5.5-im olyan feladatokhoz illeszkedik, amelyeknek egyértelmű céljuk és munkaterületük van. Tipikus felhasználási terület a szükséges információk kinyerése a rendelkezésre bocsátott anyagokból, az eredmények meghatározott formátumban történő elkészítése, valamint a kód követelmények szerinti módosítása. A legfeljebb 64K kimenet részletes jelentések vagy több részből álló eredmények elkészítésére használható.

• Fejlesztési segítség: függvények és funkciók írása, egyértelműen körülhatárolt hibák javítása, valamint az implementáció a meglévő mintákhoz igazítva.
• Tesztgenerálás: teszttervezetek és ellenőrzési esetek készítése a követelmények és az implementáció alapján.
• Dokumentumfeldolgozás: összefoglalás, osztályozás, elemek kinyerése, formátumátalakítás és tervezetek készítése.
• Multimodális elemzés: képernyőképek, valamint dokumentumok táblázatainak és diagramjainak áttekintése a kapcsolódó magyarázatokkal együtt.
• Interaktív munkatámogatás: kérdések megválaszolása munkadokumentumok alapján, valamint a szükséges eredmények elkészítése.
• Nagy volumenű feldolgozás: számos dokumentum egyenkénti összefoglalása, kérések osztályozása és adatok átalakítása.
• Alügynök: egyértelműen körülhatárolt részfeladatok elvégzése, például kód feltárása, egy adott fájl áttekintése vagy anyagok rendszerezése.

Használható például arra, hogy funkcionális követelmények és a kapcsolódó kód alapján módosítási javaslatot, teszteket és a változtatások leírását készítsen, vagy hogy beérkező dokumentumokat osztályozzon és a felelősök számára összefoglalót készítsen.

A cip-5.5-mm olyan feladatokhoz illeszkedik, amelyeknél fel kell tárni az információk közötti kapcsolatokat, és fenn kell tartani a teljes munkafolyamat következetességét. A fejlesztésben áttekinti a követelmények, a tervezés, az implementáció és a tesztelés közötti kapcsolatokat, a dokumentumelemzésben pedig több anyag állításait és bizonyítékait, valamint az eltéréseket és ellentmondásokat összegzi.

• Összetett funkciók implementálása: több modul szerződéseinek és működésének figyelembevételével módosítja a kódot, a teszteket és a dokumentációt.
• Nagy léptékű kódelemzés: áttekinti a hívási kapcsolatokat, az adatáramlást és a módosítás hatókörét.
• Hibák okának elemzése: naplók, konfigurációk, kód és futási eredmények összevetésével rendszerezi a lehetséges okokat és az ellenőrzési eljárásokat.
• Tervezési és döntéstámogatás: strukturálja a követelményeket és a korlátozásokat, valamint elemzi az implementációs alternatívák hatásait.
• Több dokumentumot összefoglaló elemzés: jelentések és műszaki dokumentumok közös pontjainak, eltéréseinek és ellentmondásainak bizonyítékokon alapuló rendszerezése.
• Multimodális integrált áttekintés: a szöveges és vizuális anyagok együttes értelmezésével elemzi a problémákat és a követelményeket.
• Többlépcsős ügynök: olyan munkafolyamatokhoz használható, amelyek kutatásból, tervezésből, eszközök végrehajtásából és az eredmények áttekintéséből állnak.
• Szakmai dokumentumok készítése: összetett feltételeket és bizonyítékokat figyelembe vevő műszaki jelentések, tervezetek és részletes áttekintési dokumentumok készítése.

Például több szolgáltatásból származó hibák kapcsolódó kódjainak és naplóinak együttes áttekintésére, illetve olyan feladatokra használható, amelyek az összetett funkciók követelményeinek elemzésétől a megvalósításon át az ellenőrzési eredmények áttekintéséig terjednek.

cip-5.5-sm

A cip-5.5-sm helyi következtetést és üzleti automatizálást végez edge szervereken és helyszíni környezetekben. Mivel a modell mérete 24B és 40B között állítható, a konfiguráció a telepítéshez használt eszköz számítási erőforrásaihoz és a helyszínen elvárt teljesítményhez igazítható. A feldolgozás az adatkeletkezés helyéhez közel történik, ezért helyszíni rendszerek integrációjára és belső adatok felhasználására alkalmazható. A szükséges modellek és eszközök helyi konfigurálásával külső kapcsolattal korlátozott környezetben is üzemeltethető.

A helyszínen keletkező információkat értelmezi, és feldolgozási folyamatokhoz kapcsolja. Osztályozza a naplókat és a kéréseket, kinyeri az adatokból a szükséges információkat, valamint a kapcsolódó belső eszközökkel és szkriptekkel végrehajtja az ismétlődő feladatokat.

• Helyszíni események feldolgozása: Osztályozza és ellenőrzi a berendezések naplóit és állapotinformációit, majd kiválasztja azokat az eseményeket, amelyek ellenőrzést igényelnek.
• Adatok előfeldolgozása: Kinyeri az üzleti nyilvántartásokból a kulcsfontosságú elemeket, majd osztályozza, címkézi és normalizálja azokat.
• Kérések továbbítása: A beérkezett kéréseket az illetékes rendszerhez vagy feldolgozási folyamathoz továbbítja.
• Helyi üzleti ügynök: Belső rendszerek lekérdezésével és szkriptek futtatásával ismétlődő feladatokat hajt végre.
• Helyszíni üzleti támogatás: Belső anyagok alapján válaszol a kérdésekre, és összefoglalja az üzleti tartalmakat.
• Utólagos elemzés támogatása: Kiválasztja a további áttekintést igénylő anyagokat, és összefoglalja a legfontosabb tartalmakat.

Például egy telephelyi szerveren futó működési naplók osztályozására, a kapcsolódó előzmények lekérdezésére, majd az esemény felelősének szánt összefoglaló elkészítésére használható.

Cosa

A Cosa szöveget alakít beszéddé, a bemeneti beszédet szövegként ismeri fel, valamint lehetővé teszi a kívánt hang regisztrálását és újbóli felhasználását. Szolgáltatási tájékoztatásra, tartalomkészítésre, akadálymentesítési támogatásra és a társalgási ügynökök hangalapú felületére használható.

A beszédgenerálásért a cosa-a és a cosa-b, a beszédfelismerésért pedig a cosa-asr felel. A cosa-a és a cosa-b különálló modellek, amelyek saját hanglistát és szintézisbeállításokat biztosítanak, és ugyanazon szolgáltatási felületen választhatók ki. A két modell közösen biztosított funkciói a következők:

• Szöveg-beszéd átalakítás: A megadott mondatokat a kiválasztott hangon szintetizálja.
• Hangklónozás: A használati engedéllyel rendelkező referenciafelvétel alapján regisztrálja a hangot, majd új mondatokat szintetizál.
• Hangtervezés: A kívánt hang jellemzőinek leírásával hangot hoz létre és regisztrálja azt.
• Hang újrafelhasználása: A regisztrált hangot későbbi szintézisekhez használja.
• Szintézisbeállítások: Beállíthatja a beszéd sebességét, a nyelvet és egyéb paramétereket.
• Streaming továbbítás: A szöveg beérkezésekor, szakaszonként szintetizálja, majd egymás után továbbítja a hangot.
• Lejátszásvezérlés: Támogatja a szüneteltetést, a folytatást, a leállítást és további mondatok bevitelét.

A fokozatos szövegbevitel lehetővé teszi a hang lejátszásának megkezdését, mielőtt a teljes válasz elkészülne. Miközben a CIP megfogalmazza a választ, olyan szolgáltatás konfigurálható, amelyben a Cosa a már elkészült szakaszokat felolvassa.

cosa-a

A cosa-a támogatja a szöveg-beszéd átalakítást, a hangklónozást, a hangtervezést és a streamingkimenetet. A hang, a nyelv és a beszédsebesség kiválasztására szolgáló alapfunkciók mellett további vezérlési lehetőségeket is kínál, például a szintézis lépéseinek számát, az útmutatás erősségét és a generálás hosszával kapcsolatos beállításokat. A hangkészítés során a beállítások módosítására és az eredmény ellenőrzésére, illetve ugyanazon szöveg több beállítással történő alkalmazására és az eredmény kiválasztására használható.

• Alkalmazások, kioszkok és üzleti rendszerek útmutatásait és értesítéseit szintetizálja.
• Oktatási anyagokat és használati útmutatókat alakít hanggá.
• Videó- és hangtartalmak narrációját készíti el.
• Regisztrált hanggal készít ismétlődő tartalmakat.
• Interaktív ügynökök streaming hangkimenetéhez használható.
• Olyan hangkészítéshez használható, amelyben részletes szintézisbeállításokat módosítanak.

cosa-b

A cosa-b támogatja az előre beállított hangok kiválasztását, a leírásalapú hangtervezést, a referenciahang alapján történő klónozást és a streamingkimenetet. A saját hanglistájából választhat hangot, vagy új hangot regisztrálhat a szolgáltatáshoz.

A hangklónozáshoz referenciafelvételt és a hozzá tartozó szöveget használ. Támogatja azt a folyamatot is, amelyben a regisztrálás során beszédfelismeréssel állítják elő a referenciaszöveget, a regisztrált hang pedig későbbi szintézisekben újrafelhasználható.

• A szolgáltatások és karakterek hangperszónáját alakítja ki.
• Leírás vagy referenciafelvétel alapján egyedi hangot készít.
• Márkaútmutatásokat, karakterek szövegeit és tartalomnarrációkat szintetizál.
• Interaktív ügynökök hangalapú válaszaihoz használható.
• A változó útmutató üzeneteket és szövegeket ugyanazzal a hanggal szintetizálja.

A cosa-a és a cosa-b közötti választásnál vegye figyelembe a kívánt hangot, a tényleges szintéziseredményt és a szükséges vezérlési lehetőségeket.

cosa-asr

A cosa-asr a bemeneti hangot szöveggé alakítja. Felvételeket dokumentál, illetve a hangban érkező kéréseket olyan bemenetté alakítja, amelyet a további munkafolyamat-rendszerek feldolgozhatnak.

• Hangjegyzeteket és felvételeket ír át.
• A hangalapú kérdéseket és munkakéréseket bemenetté alakítja.
• Referencia-szöveget generál hangklónozáshoz.
• Az átírást követő összegzéshez, osztályozáshoz és kereséshez használható feldolgozási folyamatokban alkalmazza.

Ha az átírás eredményét továbbítja a CIP számára, az összegzéshez, a kérések osztályozásához és munkadokumentumok első tervezetének elkészítéséhez vezet. Ha a feldolgozás eredményét a cosa-a vagy a cosa-b segítségével szintetizálja, hangalapú bemenettel és kimenettel rendelkező munkaszolgáltatás hozható létre.

Cova

A cova-1 LLM-alapú, kizárólag vizuális OCR-re szolgáló modell. Felismeri a szöveget dokumentumokban és képeken, kinyeri az elrendezést és a táblázatok struktúráját, valamint rövid leírásokat ad a vizuális elemekről.

Az emberek által megtekintett dokumentumokat az ügynökök és a munkarendszerek számára könnyen használható formátumba alakítja. A törzsszöveget és a táblázatokat strukturált tartalomként nyeri ki, a dokumentumban szereplő képeket pedig rövid leírásokkal adja vissza, így a további ügynökök együtt tudják értelmezni a dokumentum tartalmát és vizuális kontextusát. Ha olyan folyamatot alakít ki, amelyben először a kinyert szöveggel és leírásokkal tekinti át az anyagot, majd csak a részletes ellenőrzést igénylő eredeti dokumentumokat vizsgálja meg, csökkentheti az eredeti képek ismételt bevitelét, ezáltal takarékoskodhat a kontextustokenekkel.

• Dokumentumok digitalizálása: A papíralapú dokumentumokat és a beolvasott anyagokat szövegalapú anyagokká alakítja.
• Üzleti dokumentumok befogadása: Tartalmat nyer ki űrlapokból, igazoló dokumentumokból és jelentésekből.
• Táblázatos adatok feldolgozása: A dokumentumokban található táblázatokat további adatfeldolgozásra használja.
• Tudáskeresés előfeldolgozása: A dokumentumképeket és vizuális anyagokat kereshető szöveggé és struktúrává alakítja.
• Dokumentum-ellenőrzés automatizálása: A kinyert eredményeket továbbítja a CIP számára tétel-ellenőrzés, összefoglalás és anyagok közötti összehasonlítás céljából.
• Ügynöki bemenet optimalizálása: Összerendezi a hosszú dokumentumok törzsszövegét, táblázatait és képleírásait, hogy csak a szükséges információkat továbbítsa.

Például a jelentés törzsszövegének és táblázatainak kinyerése mellett a beágyazott grafikont olyan grafikonként írja le, amely a negyedéves árbevétel alakulását mutatja. Az ügynök ebből a leírásból megérti a grafikon jelenlétét és célját, majd amikor pontos értékekre vagy trendre van szüksége, további ellenőrzés céljából megvizsgálja a megfelelő eredeti anyagot.

Termékcsoportok összekapcsolása

A termékek összekapcsolásával a következő folyamat állítható össze.

• Dokumentumalapú munkavégzés: A Cova kinyeri a törzsszöveget, a táblázatokat és a képleírásokat, a CIP szelektíven ellenőrzi a szükséges eredeti anyagokat, és elvégzi az elemzést és a munkafeldolgozást, a Cosa pedig hangon továbbítja az eredményeket.
• Hangalapú munkavégzés: A Cosa ASR a hangalapú kérést szöveggé alakítja, a CIP által feldolgozott választ pedig a cosa-a vagy a cosa-b felolvassa.
• Helyszíni automatizálás: a cip-5.5-sm osztályozza a helyszíni adatokat és helyi műveleteket végez, a további átfogó elemzést igénylő anyagokat pedig a cip-5.5-im vagy a cip-5.5-mm számára továbbítja.

A gateway által engedélyezett hívások

A Gateway csomagja határozza meg az egyes modellekhez engedélyezett hívásokat. Az alábbi táblázat azokat a köröket mutatja, amelyeket az LLM_FREE, TTS_FREE és STT_FREE csomagok engedélyeznek; ezek a csomagok jelentkezés nélkül automatikusan alkalmazásra kerülnek. Nem tartalmazza a más útvonalakon engedélyezett modelleket.

A cip-5.5-sm és a cova-1 nem szerepel ebben a csomagtáblázatban. A táblázatban szereplő cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm és ivy-4-mm olyan modellazonosítók, amelyek nem szerepelnek a fenti termékleírásban. Az API-hívások dokumentációjában található, hogy a hívási kulcs melyik útvonalnak felel meg.