Модель

CLEVI модельдері жалпы мақсаттағы интеллект пен жұмыс процестерін автоматтандыруға арналған CIP, дауыс генерациясы мен тануға арналған Cosa, құжаттар мен кескіндерден ақпарат алуға арналған Cova атты үш өнім тобына бөлінеді. Әр өнімді дербес пайдалануға немесе құжаттарды тану, талдау, тапсырмаларды орындау және дауыстық нұсқауларға жалғасатын қызметтерге біріктіруге болады.

CIP

CIP жалпы мақсаттағы интеллект пен жұмыс процестерін автоматтандыруға жауап береді. Оның құрамына шлюз арқылы шақырылатын cip-5.5-im және cip-5.5-mm, сондай-ақ Edge серверлері мен жергілікті инфрақұрылымға орналастырылатын cip-5.5-sm кіреді.

cip-5.5-im және cip-5.5-mm

cip-5.5-im мақсаттары мен жұмыс ауқымы нақты міндеттерге сай келеді. Ол берілген материалдардан қажетті ақпаратты шығарып, нәтижені көрсетілген пішімде дайындау және талаптарға сәйкес кодты өзгерту сияқты жұмыстарға қолданылады. Максималды 64K шығару көлемі егжей-тегжейлі есептерді немесе бірнеше бөлімнен тұратын нәтижелерді дайындау үшін пайдаланылады.

• Әзірлеуге көмек: функциялар мен мүмкіндіктерді әзірлейді, ауқымы нақты қателерді түзетеді және қолданыстағы үлгілерге сәйкес іске асырады.
• Тесттер жасау: талаптар мен іске асырылу негізінде тест нобайлары мен тексеру жағдайларын әзірлейді.
• Құжаттарды өңдеу: қорытындылау, жіктеу, тармақтарды шығару, пішімді түрлендіру және нобай дайындау жұмыстарын орындайды.
• Мультимодалды талдау: экран суреттері мен құжаттардағы кестелерді және диаграммаларды тиісті түсіндірмелермен бірге қарастырады.
• Диалогтік жұмыс қолдауы: жұмыс материалдары негізінде сұрақтарға жауап береді және қажетті нәтижелерді дайындайды.
• Жаппай өңдеу: көптеген құжаттардың жеке қорытындыларын жасау, сұрауларды жіктеу және деректерді түрлендіру үшін қолданылады.
• Субагент: кодты зерттеу, белгілі бір файлды қарау және материалдарды реттеу сияқты шекарасы нақты ішкі тапсырмаларды орындайды.

Мысалы, функция талаптары мен тиісті кодты алып, өзгерту нұсқасын, тесттерді және өзгерістер сипаттамасын дайындау немесе қабылдау құжаттарын жіктеп, жауапты қызметкерге арналған қорытынды жасау үшін қолданылады.

cip-5.5-mm ақпарат арасындағы байланыстарды анықтап, бүкіл жұмыстың бірізділігін сақтау қажет болатын міндеттерге сай келеді. Әзірлеу барысында талаптар, жобалау, іске асыру және тестілеу арасындағы байланысты қарастырады, ал құжаттарды талдауда бірнеше материалдағы тұжырымдар мен дәлелдерді, айырмашылықтар мен қайшылықтарды жинақтайды.

• Күрделі мүмкіндіктерді іске асыру: бірнеше модульдің келісімшарттары мен жұмысын ескере отырып, кодты, тесттерді және құжаттарды бірге өзгертеді.
• Ауқымды кодты талдау: шақырулар арасындағы байланыстарды, деректер ағынын және өзгерістердің әсер ету ауқымын қарастырады.
• Ақау себептерін талдау: журналдарды, конфигурацияны, кодты және орындау нәтижелерін салыстырып, себеп болжамдары мен тексеру рәсімдерін жүйелейді.
• Жобалау және шешім қабылдауды қолдау: талаптар мен шектеулерді құрылымдап, іске асыру баламаларының әсерін талдайды.
• Бірнеше құжатты жинақтап талдау: есептер мен техникалық құжаттардың ұқсастықтарын, айырмашылықтары мен қайшылықтарын дәлелдерге сүйене отырып жүйелейді.
• Мультимодалды біріктірілген шолу: мәтін мен көрнекі материалдарды бірге түсіндіріп, мәселелер мен талаптарды талдайды.
• Көпсатылы агент: зерттеу, жоспарлау, құралдарды орындау және нәтижелерді қарау кезеңдерінен тұратын жұмыстарға қолданылады.
• Кәсіби құжат дайындау: күрделі шарттар мен дәлелдерді ескеретін техникалық есептерді, жобалау нұсқаларын және егжей-тегжейлі шолу құжаттарын дайындайды.

Мысалы, бірнеше қызметте туындаған қателердің қатысты кодтары мен журналдарын бірге қарап шығу немесе күрделі функцияның талаптарын талдаудан бастап, іске асыру мен тексеру нәтижелерін қарауға дейінгі жұмыстарда қолданылады.

cip-5.5-sm

cip-5.5-sm шеткі серверлерде және жергілікті ортада жергілікті инференс пен жұмыс процестерін автоматтандыруды орындайды. Модель өлшемін 24B~40B аралығында реттеуге болатындықтан, орналастыру құрылғысының есептеу ресурстары мен жергілікті орта талап ететін өнімділікке сай конфигурацияны таңдауға болады. Деректер пайда болатын нүктеге жақын жерде өңделетіндіктен, жергілікті жүйелермен интеграциялау және ішкі деректерді пайдалану үшін қолданылады, ал қажетті модельдер мен құралдарды жергілікті түрде конфигурацияласаңыз, сыртқы байланысы шектеулі ортада да жұмыс істей алады.

Жергілікті ортада туындайтын ақпаратты түсіндіріп, оны өңдеу процедураларымен байланыстырады. Журналдар мен сұрауларды жіктейді, деректерден қажетті ақпаратты шығарады және байланыстырылған ішкі құралдар мен скрипттер арқылы қайталанатын жұмыстарды орындайды.

• Жергілікті оқиғаларды өңдеу: құрылғы журналдары мен күй туралы ақпаратты жіктеп, тексеруді қажет ететін оқиғаларды іріктейді.
• Деректерді алдын ала өңдеу: жұмыс жазбаларынан негізгі тармақтарды шығарып, жіктейді, тегтер қояды және қалыпқа келтіреді.
• Сұрауларды бағыттау: қабылданған сұрауларды жауапты жүйеге немесе өңдеу процедурасына жібереді.
• Жергілікті жұмыс агенті: ішкі жүйелерден ақпарат сұрау және скрипттерді орындау арқылы қайталанатын жұмыстарды орындайды.
• Жергілікті ортадағы жұмысты қолдау: ішкі материалдар негізінде сұрақтарға жауап беріп, жұмыс мазмұнын ретке келтіреді.
• Кейінгі талдауды қолдау: қосымша қарауды қажет ететін материалдарды іріктеп, негізгі мазмұнын ретке келтіреді.

Мысалы, ұйым серверінде жұмыс журналдарын жіктеп, қатысты тарихты қарап шыққаннан кейін жауапты қызметкерге арналған оқиға қорытындысын дайындау процесінде қолданылады.

Cosa

Cosa мәтінді дыбысқа түрлендіреді, кіріс дауысын мәтін ретінде таниды және қалаған дауысты тіркеп, қайта пайдалануға мүмкіндік беретін дауыс өнімдерінің жиынтығы болып табылады. Қызмет туралы нұсқаулықтарда, контент жасауда, қолжетімділікті қолдауда және диалогтік агенттердің дауыс интерфейсінде қолданылады.

Дауысты генерациялауға cosa-a және cosa-b, ал дауысты тануға cosa-asr жауап береді. cosa-a және cosa-b — әрқайсысының жеке дауыс тізімі мен синтез параметрлерін ұсынатын бөлек модельдер, оларды бір қызмет интерфейсінен таңдауға болады. Екі модельге ортақ функциялар төмендегідей.

• Мәтінді дыбысқа түрлендіру: енгізілген мәтінді таңдалған дауыспен синтездейді.
• Дауысты көшіру: пайдалануға рұқсаты бар эталондық жазба негізінде дауысты тіркеп, жаңа мәтінді синтездейді.
• Дауыс дизайны: қалаған дауыстың сипаттарын сипаттап, дауысты жасайды және тіркейді.
• Дауысты қайта пайдалану: тіркелген дауысты кейінгі синтездеулерде қолданады.
• Синтез параметрлері: сөйлеу жылдамдығы мен тілді реттейді.
• Ағындық жеткізу: мәтін келген бойда оны сөйлем бөліктері бойынша синтездеп, аудионы ретімен жеткізеді.
• Ойнатуды басқару: кідірту, жалғастыру, тоқтату және қосымша мәтін енгізуді қолдайды.

Мәтінді біртіндеп енгізу арқылы толық жауап дайын болмай тұрып, дауысты ойнатуды бастауға болады. CIP жауапты құрастырып жатқанда, Cosa дайын сөйлем бөліктерін оқитын қызметті конфигурациялауға болады.

cosa-a

cosa-a мәтінді дыбысқа түрлендіруді, дауысты көшіруді, дауыс дизайнын және ағындық шығаруды қолдайды. Дауысты, тілді және сөйлеу жылдамдығын таңдауға арналған негізгі функцияларға қоса, синтез қадамдарының саны, нұсқау қарқындылығы және генерация ұзындығына қатысты параметрлер сияқты қосымша басқару элементтерін ұсынады. Оны дауыс жасау барысында параметрлерді реттеп, нәтижені тексеру немесе бір мәтінге бірнеше параметр қолданып, қажетті нәтижені таңдау үшін пайдалануға болады.

• Қолданбаларда, дүңгіршектерде және жұмыс жүйелерінде нұсқаулар мен хабарландыруларды синтездейді.
• Оқу материалдары мен пайдаланушы нұсқаулықтарын дауысқа айналдырады.
• Бейне және аудио контентке арналған баяндауды жасайды.
• Тіркелген дауыспен қайталанатын контент жасайды.
• Интерактивті агенттердің ағындық дауыстық шығысында пайдаланылады.
• Синтездің егжей-тегжейлі параметрлерін реттейтін дауыс жасау үшін пайдаланылады.

cosa-b

cosa-b алдын ала орнатылған дауысты таңдауды, сипаттама негізінде дауыс дизайнын, эталондық дауыс негізінде көшіруді және ағындық шығаруды қолдайды. Өзінің дауыс тізімінен дауысты таңдауға немесе қызметте пайдалану үшін жаңа дауысты тіркеуге болады.

Дауысты көшіру үшін эталондық жазба және оған сәйкес мәтін пайдаланылады. Тіркеу барысында сөйлеуді тану арқылы эталондық мәтінді жасау үдерісіне де қолдау көрсетіледі, ал тіркелген дауыс кейінгі синтездеулерде қайта пайдаланылады.

• Қызметтер мен кейіпкерлердің дауыстық тұлғасын қалыптастырады.
• Сипаттама немесе эталондық жазба арқылы реттелетін дауыс жасайды.
• Бренд нұсқауларын, кейіпкер репликаларын және контент баяндауын синтездейді.
• Интерактивті агенттердің дауыстық жауаптарында пайдаланылады.
• Бір дауыспен өзгертілетін нұсқаулық хабарламалары мен мәтіндерді синтездейді.

cosa-a мен cosa-b арасынан бірін таңдағанда, қажетті дауысты, нақты синтез нәтижесін және қажет басқару параметрлерін негізге алыңыз.

cosa-asr

cosa-asr кіріс дауысын мәтінге түрлендіреді. Жазбаларды құжаттандыруға немесе дауыспен берілген сұрауларды кейінгі жұмыс жүйелері өңдей алатын кіріске айналдыруға мүмкіндік береді.

• Дауыс жазбалары мен жазылған материалдарды мәтінге түрлендіреді.
• Дауыспен қойылған сұрақтар мен жұмыс сұрауларын кіріске айналдырады.
• Дауысты көшіруге арналған эталондық мәтін жасайды.
• Мәтінге түрлендіруден кейінгі қорытындылау, жіктеу және іздеуге негізделген өңдеуде пайдаланылады.

Мәтінге түрлендіру нәтижесін CIP жүйесіне жіберсеңіз, ол мазмұнды қорытындылауға, сұрауларды жіктеуге және жұмыс құжаттарының бастапқы нұсқаларын жасауға ұласады. Өңдеу нәтижесін cosa-a немесе cosa-b арқылы синтездесеңіз, дауыстық кірісі мен шығысы бар жұмыс қызметі пайда болады.

Cova

cova-1 — LLM негізіндегі, визуалды OCR-ға арналған арнайы модель. Ол құжаттар мен кескіндердегі мәтінді таниды, орналасу мен кесте құрылымын шығарады және көрнекі элементтерге қысқаша сипаттама береді.

Адамдар оқитын құжаттарды агенттер мен жұмыс жүйелері пайдалана алатын пішімге түрлендіреді. Негізгі мәтін мен кестелер құрылымдалған мазмұн ретінде шығарылады, ал құжатқа енгізілген кескіндер қысқаша сипаттама түрінде беріледі. Осылайша, кейінгі агенттер құжаттың мазмұны мен көрнекі контекстін бірге түсіне алады. Алдымен шығарылған мәтін мен сипаттамалар арқылы материалды түсініп, егжей-тегжейлі тексеру қажет бастапқы құжаттарды ғана қосымша қарастыратын жұмыс процесін құруға болады. Бұл бастапқы кескіндерді қайта-қайта енгізу көлемін азайтып, контекстік токендерді үнемдейді.

• Құжаттарды цифрландыру: қағаз құжаттар мен сканерленген материалдарды мәтінге негізделген материалдарға түрлендіреді.
• Іскерлік құжаттарды қабылдау: өтініштерден, растайтын материалдардан және есептерден мазмұнды шығарады.
• Кесте деректерін өңдеу: құжаттардағы кестелерді кейінгі деректерді өңдеуде пайдаланады.
• Білімді іздеуге алдын ала өңдеу: құжат кескіндері мен көрнекі материалдарды іздеуге болатын мәтін мен құрылымға түрлендіреді.
• Құжаттарды қарауды автоматтандыру: алынған нәтижелерді CIP-ке жіберіп, тармақтарды тексеруді, қорытындылауды және материалдарды салыстыруды орындайды.
• Агент енгізуін оңтайландыру: көлемді құжаттардың негізгі мәтінін, кестелері мен кескін сипаттамаларын реттеп, тек қажетті ақпаратты жеткізеді.

Мысалы, есептің негізгі мәтіні мен кестелерін шығарып, оған енгізілген графикті тоқсан сайынғы сатылым динамикасын көрсететін график ретінде сипаттайды. Агент осы сипаттама арқылы графиктің бар екенін және мақсатын түсінеді, ал нақты мәндер немесе үрдіс қажет болғанда тиісті түпнұсқаны қосымша тексереді.

Өнімдер тобын байланыстыру

Өнімдерді байланыстыру арқылы келесі ағындарды құрастыруға болады.

• Құжатқа негізделген жұмыс: Cova негізгі мәтінді, кестелерді және кескін сипаттамаларын шығарады, CIP қажетті түпнұсқаларды таңдап тексеріп, талдау мен жұмыс өңдеуін орындайды, ал Cosa нәтижені дауыстап жеткізеді.
• Дауысқа негізделген жұмыс: Cosa ASR дауыстық сұрауды мәтінге түрлендіреді, ал cosa-a немесе cosa-b CIP өңдеген жауапты оқып береді.
• Орнында автоматтандыру: cip-5.5-sm орындағы деректерді жіктеп, жергілікті жұмысты орындайды, ал қосымша кешенді талдау қажет материалдарды cip-5.5-im немесе cip-5.5-mm-ге жібереді.

Шлюзде рұқсат етілген шақырулар

Gateway жоспарлары әр модель үшін рұқсат етілген шақыруларды анықтайды. Төмендегі кестеде LLM_FREE, TTS_FREE, STT_FREE жоспарлары ашатын ауқымдар көрсетілген және бұл жоспарлар өтінімсіз автоматты түрде қолданылады. Басқа жолдар арқылы ашылған модельдер қамтылмаған.

cip-5.5-sm және cova-1 бұл жоспар кестесінде жоқ. Кестедегі cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm, ivy-4-mm — жоғарыдағы өнім сипаттамасына кірмейтін модель идентификаторлары. Қоңырау кілтінің қай жолға сәйкес келетіні API шақыру құжаттамасында көрсетілген.