Developer guide

Модел

Резиме на моделите

Моделите на CLEVI се поделени во три производни линии: CIP, за општа интелигенција и автоматизација на работните задачи; Cosa, за генерирање и препознавање говор; и Cova, за извлекување информации од документи и слики. Секој производ може да се користи самостојно или да се поврзе во услуги што опфаќаат препознавање документи, анализа, извршување задачи и гласовно упатување.

ПроизводID на моделотГлавни спецификацииГлавна улога
CIP-5.5-SMcip-5.5-sm24B~40B модел со фино подесувањеАвтоматизација на локални работни задачи и задачи на edge сервери
CIP-5.5-IMcip-5.5-im360B · влез 256K · излез 64K · мултимодаленОпшта обработка на работни задачи. Приоритет на брзината на одговор и пропусната моќ
CIP-5.5-MMcip-5.5-mm800B · влез 512K · излез 64K · мултимодаленАнализа на долг контекст и решавање сложени проблеми
Cosa-Acosa-aСинтеза·клонирање·дизајн·стриминг на говорГенерирање говор со детална контрола на синтезата
Cosa-Bcosa-bСинтеза·клонирање·дизајн·стриминг на говорИзбор на глас и генерирање приспособен говор
Cosa ASRcosa-asrПрепознавање говорПретворање на говорниот влез во текст
Covacova-1Специјализиран за LLM-базиран визуелен OCRИзвлекување текст, распоред и табели и едноставен опис на слики

CIP

CIP е наменет за општа интелигенција и автоматизација на работните задачи. Се состои од cip-5.5-im и cip-5.5-mm, кои се повикуваат преку гејтвеј, и cip-5.5-sm, кој се распоредува на edge сервери и во on-premises околини.

cip-5.5-im и cip-5.5-mm

Ставкаcip-5.5-imcip-5.5-mm
Големина360B800B
Ограничување на влезот256K512K
Максимален излез64K64K
Формати на влезТекст и визуелни материјали (документи, слики од екранот, табели и дијаграми)Текст и визуелни материјали (интегрирано разгледување на код, документи и материјали од екранот)
Насока на конфигурацијатаОбработува секојдневни знаењски работни задачи и развојни задачи со фокус на брзината на одговор, економичноста и пропусната моќ.Обработува сложени работни задачи што комбинираат и анализираат повеќе материјали и услови и ги поврзуваат резултатите од анализата со конкретна работа.
Намена на долгиот влезИстовремено разгледување на повеќе документи, датотеки со код и историја на разговори.Истовремено ракување со обемни референтни материјали и историја на задачи и извршување агентски задачи во кои истражувањето, извршувањето и проверката се одвиваат во повеќе чекори.

cip-5.5-im е погоден за задачи со јасно дефинирани цели и опсег. Типични примери се извлекување на потребните информации од обезбедените материјали, креирање резултати во зададен формат и изменување код според барањата. Максималниот излез од 64K се користи за креирање детални извештаи или резултати составени од повеќе делови.

  • Помош при развој: пишување функции и функционалности, поправка на јасно ограничени грешки и имплементација според постојните обрасци.
  • Креирање тестови: пишување нацрти на тестови и случаи за валидација врз основа на барањата и имплементацијата.
  • Обработка на документи: сумирање, класификација, извлекување ставки, конверзија на формати и пишување нацрти.
  • Мултимодална анализа: преглед на слики од екранот и табели и графикони во документи, заедно со релевантни објаснувања.
  • Интерактивна деловна поддршка: одговарање на прашања врз основа на деловни материјали и креирање на потребните резултати.
  • Масовна обработка: поединечно сумирање на повеќе документи, класификација на барања и конверзија на податоци.
  • Подагенти: извршување јасно ограничени подзадачи, како истражување на код, преглед на одредени датотеки и организирање материјали.

На пример, се користи за задачи како примање функционални барања и релевантен код и пишување предлог-измени, тестови и објаснување на промените, или класификација на доставени документи и креирање резиме за одговорното лице.

cip-5.5-mm е погоден за задачи што бараат разбирање на односите меѓу информациите и одржување конзистентност во целокупната работа. Во развојот, ги разгледува врските меѓу барањата, дизајнот, имплементацијата и тестирањето, а во анализата на документи ги синтетизира тврдењата и доказите, разликите и противречностите од повеќе материјали.

  • Имплементација на сложени функционалности: истовремено менување код, тестови и документација, земајќи ги предвид договорите и однесувањето на повеќе модули.
  • Анализа на големи кодни бази: преглед на односите меѓу повиците, текот на податоците и опсегот на влијанието на промените.
  • Анализа на причините за инциденти: споредување на дневници, конфигурации, код и резултати од извршувањето и организирање хипотези за причините и постапки за проверка.
  • Поддршка при дизајн и донесување одлуки: структурирање на барањата и ограничувањата и анализа на влијанието на алтернативите за имплементација.
  • Сеопфатна анализа на повеќе документи: организирање на заедничките точки, разликите и противречностите во извештаи и техничка документација врз основа на докази.
  • Интегриран мултимодален преглед: заедничко толкување на текстуални и визуелни материјали за анализа на проблеми и барања.
  • Повеќестепени агенти: се користи за задачи што вклучуваат истражување, планирање, извршување алатки и преглед на резултатите.
  • Пишување стручна документација: креирање технички извештаи, предлози за дизајн и детални документи за преглед што ги одразуваат сложените услови и докази.

На пример, се користи за заеднички преглед на релевантниот код и дневниците за грешки што се појавиле во повеќе услуги или за работни задачи што опфаќаат сè — од анализа на барањата за сложени функции, преку имплементација, до преглед на резултатите од верификацијата.

cip-5.5-sm

cip-5.5-sm врши локално заклучување и автоматизација на работните задачи на edge-сервери и во on-premises средини. Бидејќи големината на моделот може да се прилагодува во опсег од 24B до 40B, конфигурацијата може да се избере според пресметковните ресурси на опремата за распоредување и потребните перформанси на локацијата. Бидејќи обработката се врши блиску до местото каде што се создаваат податоците, се користи за поврзување со системите на локацијата и за користење на интерни податоци. Со локално конфигурирање на потребните модели и алатки, може да работи и во средини со ограничена надворешна поврзаност.

Има улога да ги толкува информациите што се појавуваат на локацијата и да ги поврзе со постапките за обработка. Ги класифицира дневниците и барањата, ги извлекува потребните информации од податоците и извршува повторливи задачи со поврзаните интерни алатки и скрипти.

  • Обработка на настани на локацијата: Ги класифицира дневниците од опремата и информациите за статусот и ги издвојува настаните што треба да се проверат.
  • Предобработка на податоци: Ги извлекува клучните ставки од работните записи и ги класифицира, означува и нормализира.
  • Рутирање на барања: Примените барања ги проследува до одговорниот систем или постапка за обработка.
  • Локален работен агент: Извршува повторливи задачи преку пребарување во интерните системи и извршување скрипти.
  • Поддршка на работата во on-premises средина: Одговара на прашања врз основа на интерни материјали и ги средува работните содржини.
  • Поддршка за последователна анализа: Ги издвојува материјалите за кои е потребен дополнителен преглед и ја средува нивната суштина.

На пример, се користи за тек на работа во кој се класифицираат оперативните дневници на серверот на локацијата, се пребарува поврзаната историја, а потоа се составува резиме на случајот за одговорното лице.

Cosa

Cosa е семејство на говорни производи што го претвора текстот во говор, го препознава влезниот говор како текст и овозможува регистрирање и повторно користење на посакуван глас. Се користи за упатства за услуги, создавање содржини, поддршка на пристапноста и говорни интерфејси за разговорни агенти.

Генерирањето говор го вршат cosa-a и cosa-b, а препознавањето говор го врши cosa-asr. cosa-a и cosa-b се одделни модели што обезбедуваат сопствени списоци на гласови и поставки за синтеза и се избираат преку истиот сервисен интерфејс. Функциите што ги обезбедуваат заеднички двата модели се следниве.

  • Претворање текст во говор: синтетизирајте го внесениот текст со избраниот глас.
  • Клонирање глас: регистрирајте глас врз основа на референтна снимка за која имате дозвола за користење и синтетизирајте нов текст.
  • Дизајн на глас: креирајте и регистрирајте глас со опишување на неговите посакувани карактеристики.
  • Повторно користење глас: користете регистриран глас во последователни синтези.
  • Поставки за синтеза: приспособете ја брзината на говор и јазикот.
  • Стриминг-пренос: синтетизирајте го текстот по фрази веднаш штом пристигнува и последователно пренесувајте го аудиото.
  • Контрола на репродукција: поддржувајте паузирање, продолжување, прекинување и внесување дополнителен текст.

Со користење постепено внесување текст, репродукцијата на говорот може да започне пред да се заврши целиот одговор. Додека CIP го составува одговорот, може да конфигурирате услуга во која Cosa ги чита подготвените фрази.

cosa-a

cosa-a поддржува претворање текст во говор, клонирање глас, дизајн на глас и стриминг-излез. Покрај основните функции за избор на глас, јазик и брзина на говор, нуди дополнителни контроли, како што се бројот на чекори за синтеза, јачината на насочување и поставките поврзани со должината на генерирањето. Се користи за приспособување на поставките во процесот на создавање глас и прегледување на резултатите, или за примена на повеќе поставки на ист текст и избор на најдобриот резултат.

  • Синтетизирајте упатства и известувања за апликации, киосци и деловни системи.
  • Претворете ги образовните материјали и упатствата за користење во говор.
  • Креирајте нарација за видео и аудиосодржини.
  • Креирајте повторливи содржини со регистрираниот глас.
  • Користете го за стриминг-говорен излез на интерактивни агенти.
  • Користете го за создавање глас со приспособување на деталните поставки за синтеза.

cosa-b

cosa-b поддржува избор на претходно поставени гласови, дизајн на глас врз основа на опис, клонирање врз основа на референтен глас и стриминг-излез. Можете да изберете глас од сопствената листа на гласови или да регистрирате нов глас за користење во услугата.

За клонирање глас се користат референтна снимка и текстот што ѝ одговара. Поддржан е и процес во кој референтниот текст се генерира со препознавање говор за време на регистрацијата, а регистрираниот глас повторно се користи во последователни синтези.

  • Конфигурирајте гласовна персона за услугата и карактерите.
  • Креирајте приспособен глас со опис или референтна снимка.
  • Синтетизирајте бренд-упатства, реплики на карактери и нарација за содржини.
  • Користете го за гласовни одговори на интерактивни агенти.
  • Синтетизирајте известувања и текстови што се менуваат, со ист глас.

Кога избирате помеѓу cosa-a и cosa-b, земете ги предвид саканиот глас, вистинскиот резултат од синтезата и потребните ставки за контрола.

Ставкаcosa-acosa-b
Поставки за синтезаПокрај гласот, јазикот и брзината на говорот, поставки поврзани со бројот на чекори за синтеза, јачината на насочувањето и должината на генерирањетоЗаеднички поставки, како што се брзината на говорот и јазикот
Влез за клонирањеРеферентна снимка за која имате дозвола за користењеРеферентна снимка и соодветен текст. При регистрирањето, референтниот текст може да се генерира со препознавање на говор
УлогаГенерирање глас со користење детална контрола на синтезатаИзбор на глас и генерирање приспособен глас

cosa-asr

cosa-asr го претвора влезниот говор во текст. Ги документира снимените материјали или ги претвора барањата примени преку говор во влез што можат да го обработат последователните деловни системи.

  • Транскрибира гласовни белешки и снимени материјали.
  • Ги претвора прашањата и деловните барања засновани на говор во влез.
  • Генерира референтен текст за клонирање глас.
  • Се користи за обработка што продолжува со сумирање, класификација и пребарување по транскрипцијата.

Кога резултатите од транскрипцијата ќе се пренесат до CIP, процесот продолжува со сумирање на содржината, класификација на барањата и изготвување на деловни нацрти. Ако резултатите од обработката се синтетизираат со cosa-a или cosa-b, се добива деловна услуга со говорен влез и излез.

Cova

cova-1 е LLM-базиран модел наменет исклучиво за визуелен OCR. Препознава текст од документи и слики, ја извлекува структурата на распоредот и табелите и обезбедува кратки описи на визуелните елементи.

Документите што ги гледаат луѓето ги претвора во формат погоден за користење од агенти и деловни системи. Главниот текст и табелите се извлекуваат како структурирана содржина, а сликите вклучени во документите се пренесуваат со кратки описи, така што последователните агенти можат заедно да ја разберат содржината и визуелниот контекст на документот. Со воспоставување тек во кој материјалите прво се разбираат преку извлечениот текст и описите, а дополнително се прегледуваат само оригиналите за кои е потребна детална проверка, се намалува количината на повторно внесување на оригиналните слики и се заштедуваат контекстуални токени.

ФункцијаОпис
Препознавање текстИзвлекува текст од документи што се скенирани или фотографирани.
Толкување на распоредотГо зема предвид распоредот на документот и ја разделува содржината на блокови.
Обезбедување информации за позицијатаЈа обезбедува позицијата на препознаените блокови за да ги поврзе извлечените резултати со оригиналниот текст.
Извлекување структура на табелиЈа структурира содржината на табелите за пребарување и обработка на податоци.
Едноставен опис на сликиНакратко ја опишува содржината на сликите и визуелните елементи за да му даде на агентот насоки за толкување.
Оптимизација на контекстотГи пренесува информациите главно преку текст, структура и опис на сликите, со што го намалува повторното внесување на оригиналната слика.
Селективна детална анализаМу помага на агентот да одреди кои оригинални слики треба дополнително да ги провери.
Конверзија на форматот на документиГи уредува резултатите од препознавањето во HTML или Markdown.
  • Дигитализација на документи: Ги претвора хартиените документи и скенираните материјали во текстуални материјали.
  • Прием на деловни документи: Извлекува содржина од апликации, придружна документација и извештаи.
  • Обработка на табеларни податоци: Ги користи табелите содржани во документите за понатамошна обработка на податоците.
  • Предобработка за пребарување знаење: Ги претвора сликите од документи и визуелните материјали во текст и структура што можат да се пребаруваат.
  • Автоматизација на прегледот на документи: Ги пренесува извлечените резултати до CIP за проверка на ставки, сумирање и споредба меѓу материјали.
  • Оптимизација на внесот за агентот: Ги организира главниот текст, табелите и описите на сликите од долгите документи и ги пренесува само потребните информации.

На пример, додека ги извлекува главниот текст и табелите од извештајот, го опишува вметнатиот графикон како графикон што го прикажува трендот на кварталната продажба. Агентот преку овој опис го разбира постоењето и целта на графиконот, а кога му се потребни точни вредности или трендови, дополнително го прегледува соодветниот оригинал.

Поврзување на производи

Со поврзување на производите може да се конфигурира следниот тек.

  • Работа заснована на документи: Cova ги извлекува главниот текст, табелите и описите на сликите, CIP селективно ги проверува потребните оригинали за да изврши анализа и обработка на работата, а Cosa ги пренесува резултатите со глас.
  • Работа заснована на глас: Cosa ASR ги претвора гласовните барања во текст, а cosa-a или cosa-b ги чита одговорите обработени од CIP.
  • Автоматизација на терен: cip-5.5-sm ги класифицира податоците од теренот и извршува локални задачи, а материјалите за кои е потребна дополнителна сеопфатна анализа ги проследува до cip-5.5-im или cip-5.5-mm.

Дозволени повици на гејтвејот

Плановите на Gateway одредуваат кои повици се дозволени за секој модел. Табелата подолу ги прикажува опсезите што ги овозможуваат плановите LLM_FREE, TTS_FREE и STT_FREE, а овие планови автоматски се применуваат без поднесување барање. Не се вклучени моделите овозможени преку други рути.

ID на моделотДозволени повициРеферентен план
cip-5.5-imanthropic.messages · chat.completions · chat.completions.batch · completions · responsesLLM_FREE
cip-5.5-im-chatanthropic.messages · chat.completions · chat.completions.batch · completions · responsesLLM_FREE
cip-5.5-mmanthropic.messages · chat.completions · chat.completions.batch · completions · responsesLLM_FREE
cip-5.5-mm-hanthropic.messages · chat.completions · chat.completions.batch · completions · responsesLLM_FREE
cosa-aaudio.speech · audio.speech.clone · voices · voices.designTTS_FREE
cosa-baudio.speech · audio.speech.clone · voices · voices.designTTS_FREE
cosa-ttsaudio.speech · audio.speech.clone · voices · voices.designTTS_FREE
cosa-asraudio.transcriptionsSTT_FREE
ivy-4-embeddingembeddingsLLM_FREE
ivy-4-embedding-mmembeddingsLLM_FREE
ivy-4-mmanthropic.messages · chat.completions · chat.completions.batch · completions · responsesLLM_FREE

cip-5.5-sm и cova-1 не се наведени во оваа планска табела. cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm и ivy-4-mm во табелата се ID-ја на модели што не се вклучени во описот на производите погоре. Документацијата за API повици наведува на кој пат се однесува клучот за повик.

Јазик и регион

Машински преведените јазици се преведуваат од clevi/cip-5.5-im и се означуваат како такви. Ова се однесува на јазиците со објавен пакет на веб-страницата.

137 јазици

Препорачано

1

Источна Азија

7

Југоисточна Азија

11

Јужна Азија

18

Централна Азија

5

Блискиот Исток и Кавказ

10

Западна Европа и Јужна Европа

17

Обединето Кралство и Ирска

4

Северна Европа

10

Централна Европа и Балканот

14

Источна Европа

5

Источна Африка

8

Западна Африка и Средна Африка

9

Јужна Африка

8

Америки

5

Океанија

5