Developer guide
Модел
Резиме на моделите
Моделите на CLEVI се поделени во три производни линии: CIP, за општа интелигенција и автоматизација на работните задачи; Cosa, за генерирање и препознавање говор; и Cova, за извлекување информации од документи и слики. Секој производ може да се користи самостојно или да се поврзе во услуги што опфаќаат препознавање документи, анализа, извршување задачи и гласовно упатување.
| Производ | ID на моделот | Главни спецификации | Главна улога |
|---|---|---|---|
| CIP-5.5-SM | cip-5.5-sm | 24B~40B модел со фино подесување | Автоматизација на локални работни задачи и задачи на edge сервери |
| CIP-5.5-IM | cip-5.5-im | 360B · влез 256K · излез 64K · мултимодален | Општа обработка на работни задачи. Приоритет на брзината на одговор и пропусната моќ |
| CIP-5.5-MM | cip-5.5-mm | 800B · влез 512K · излез 64K · мултимодален | Анализа на долг контекст и решавање сложени проблеми |
| Cosa-A | cosa-a | Синтеза·клонирање·дизајн·стриминг на говор | Генерирање говор со детална контрола на синтезата |
| Cosa-B | cosa-b | Синтеза·клонирање·дизајн·стриминг на говор | Избор на глас и генерирање приспособен говор |
| Cosa ASR | cosa-asr | Препознавање говор | Претворање на говорниот влез во текст |
| Cova | cova-1 | Специјализиран за LLM-базиран визуелен OCR | Извлекување текст, распоред и табели и едноставен опис на слики |
CIP
CIP е наменет за општа интелигенција и автоматизација на работните задачи. Се состои од cip-5.5-im и cip-5.5-mm, кои се повикуваат преку гејтвеј, и cip-5.5-sm, кој се распоредува на edge сервери и во on-premises околини.
cip-5.5-im и cip-5.5-mm
| Ставка | cip-5.5-im | cip-5.5-mm |
|---|---|---|
| Големина | 360B | 800B |
| Ограничување на влезот | 256K | 512K |
| Максимален излез | 64K | 64K |
| Формати на влез | Текст и визуелни материјали (документи, слики од екранот, табели и дијаграми) | Текст и визуелни материјали (интегрирано разгледување на код, документи и материјали од екранот) |
| Насока на конфигурацијата | Обработува секојдневни знаењски работни задачи и развојни задачи со фокус на брзината на одговор, економичноста и пропусната моќ. | Обработува сложени работни задачи што комбинираат и анализираат повеќе материјали и услови и ги поврзуваат резултатите од анализата со конкретна работа. |
| Намена на долгиот влез | Истовремено разгледување на повеќе документи, датотеки со код и историја на разговори. | Истовремено ракување со обемни референтни материјали и историја на задачи и извршување агентски задачи во кои истражувањето, извршувањето и проверката се одвиваат во повеќе чекори. |
cip-5.5-im е погоден за задачи со јасно дефинирани цели и опсег. Типични примери се извлекување на потребните информации од обезбедените материјали, креирање резултати во зададен формат и изменување код според барањата. Максималниот излез од 64K се користи за креирање детални извештаи или резултати составени од повеќе делови.
- Помош при развој: пишување функции и функционалности, поправка на јасно ограничени грешки и имплементација според постојните обрасци.
- Креирање тестови: пишување нацрти на тестови и случаи за валидација врз основа на барањата и имплементацијата.
- Обработка на документи: сумирање, класификација, извлекување ставки, конверзија на формати и пишување нацрти.
- Мултимодална анализа: преглед на слики од екранот и табели и графикони во документи, заедно со релевантни објаснувања.
- Интерактивна деловна поддршка: одговарање на прашања врз основа на деловни материјали и креирање на потребните резултати.
- Масовна обработка: поединечно сумирање на повеќе документи, класификација на барања и конверзија на податоци.
- Подагенти: извршување јасно ограничени подзадачи, како истражување на код, преглед на одредени датотеки и организирање материјали.
На пример, се користи за задачи како примање функционални барања и релевантен код и пишување предлог-измени, тестови и објаснување на промените, или класификација на доставени документи и креирање резиме за одговорното лице.
cip-5.5-mm е погоден за задачи што бараат разбирање на односите меѓу информациите и одржување конзистентност во целокупната работа. Во развојот, ги разгледува врските меѓу барањата, дизајнот, имплементацијата и тестирањето, а во анализата на документи ги синтетизира тврдењата и доказите, разликите и противречностите од повеќе материјали.
- Имплементација на сложени функционалности: истовремено менување код, тестови и документација, земајќи ги предвид договорите и однесувањето на повеќе модули.
- Анализа на големи кодни бази: преглед на односите меѓу повиците, текот на податоците и опсегот на влијанието на промените.
- Анализа на причините за инциденти: споредување на дневници, конфигурации, код и резултати од извршувањето и организирање хипотези за причините и постапки за проверка.
- Поддршка при дизајн и донесување одлуки: структурирање на барањата и ограничувањата и анализа на влијанието на алтернативите за имплементација.
- Сеопфатна анализа на повеќе документи: организирање на заедничките точки, разликите и противречностите во извештаи и техничка документација врз основа на докази.
- Интегриран мултимодален преглед: заедничко толкување на текстуални и визуелни материјали за анализа на проблеми и барања.
- Повеќестепени агенти: се користи за задачи што вклучуваат истражување, планирање, извршување алатки и преглед на резултатите.
- Пишување стручна документација: креирање технички извештаи, предлози за дизајн и детални документи за преглед што ги одразуваат сложените услови и докази.
На пример, се користи за заеднички преглед на релевантниот код и дневниците за грешки што се појавиле во повеќе услуги или за работни задачи што опфаќаат сè — од анализа на барањата за сложени функции, преку имплементација, до преглед на резултатите од верификацијата.
cip-5.5-sm
cip-5.5-sm врши локално заклучување и автоматизација на работните задачи на edge-сервери и во on-premises средини. Бидејќи големината на моделот може да се прилагодува во опсег од 24B до 40B, конфигурацијата може да се избере според пресметковните ресурси на опремата за распоредување и потребните перформанси на локацијата. Бидејќи обработката се врши блиску до местото каде што се создаваат податоците, се користи за поврзување со системите на локацијата и за користење на интерни податоци. Со локално конфигурирање на потребните модели и алатки, може да работи и во средини со ограничена надворешна поврзаност.
Има улога да ги толкува информациите што се појавуваат на локацијата и да ги поврзе со постапките за обработка. Ги класифицира дневниците и барањата, ги извлекува потребните информации од податоците и извршува повторливи задачи со поврзаните интерни алатки и скрипти.
- Обработка на настани на локацијата: Ги класифицира дневниците од опремата и информациите за статусот и ги издвојува настаните што треба да се проверат.
- Предобработка на податоци: Ги извлекува клучните ставки од работните записи и ги класифицира, означува и нормализира.
- Рутирање на барања: Примените барања ги проследува до одговорниот систем или постапка за обработка.
- Локален работен агент: Извршува повторливи задачи преку пребарување во интерните системи и извршување скрипти.
- Поддршка на работата во on-premises средина: Одговара на прашања врз основа на интерни материјали и ги средува работните содржини.
- Поддршка за последователна анализа: Ги издвојува материјалите за кои е потребен дополнителен преглед и ја средува нивната суштина.
На пример, се користи за тек на работа во кој се класифицираат оперативните дневници на серверот на локацијата, се пребарува поврзаната историја, а потоа се составува резиме на случајот за одговорното лице.
Cosa
Cosa е семејство на говорни производи што го претвора текстот во говор, го препознава влезниот говор како текст и овозможува регистрирање и повторно користење на посакуван глас. Се користи за упатства за услуги, создавање содржини, поддршка на пристапноста и говорни интерфејси за разговорни агенти.
Генерирањето говор го вршат cosa-a и cosa-b, а препознавањето говор го врши cosa-asr. cosa-a и cosa-b се одделни модели што обезбедуваат сопствени списоци на гласови и поставки за синтеза и се избираат преку истиот сервисен интерфејс. Функциите што ги обезбедуваат заеднички двата модели се следниве.
- Претворање текст во говор: синтетизирајте го внесениот текст со избраниот глас.
- Клонирање глас: регистрирајте глас врз основа на референтна снимка за која имате дозвола за користење и синтетизирајте нов текст.
- Дизајн на глас: креирајте и регистрирајте глас со опишување на неговите посакувани карактеристики.
- Повторно користење глас: користете регистриран глас во последователни синтези.
- Поставки за синтеза: приспособете ја брзината на говор и јазикот.
- Стриминг-пренос: синтетизирајте го текстот по фрази веднаш штом пристигнува и последователно пренесувајте го аудиото.
- Контрола на репродукција: поддржувајте паузирање, продолжување, прекинување и внесување дополнителен текст.
Со користење постепено внесување текст, репродукцијата на говорот може да започне пред да се заврши целиот одговор. Додека CIP го составува одговорот, може да конфигурирате услуга во која Cosa ги чита подготвените фрази.
cosa-a
cosa-a поддржува претворање текст во говор, клонирање глас, дизајн на глас и стриминг-излез. Покрај основните функции за избор на глас, јазик и брзина на говор, нуди дополнителни контроли, како што се бројот на чекори за синтеза, јачината на насочување и поставките поврзани со должината на генерирањето. Се користи за приспособување на поставките во процесот на создавање глас и прегледување на резултатите, или за примена на повеќе поставки на ист текст и избор на најдобриот резултат.
- Синтетизирајте упатства и известувања за апликации, киосци и деловни системи.
- Претворете ги образовните материјали и упатствата за користење во говор.
- Креирајте нарација за видео и аудиосодржини.
- Креирајте повторливи содржини со регистрираниот глас.
- Користете го за стриминг-говорен излез на интерактивни агенти.
- Користете го за создавање глас со приспособување на деталните поставки за синтеза.
cosa-b
cosa-b поддржува избор на претходно поставени гласови, дизајн на глас врз основа на опис, клонирање врз основа на референтен глас и стриминг-излез. Можете да изберете глас од сопствената листа на гласови или да регистрирате нов глас за користење во услугата.
За клонирање глас се користат референтна снимка и текстот што ѝ одговара. Поддржан е и процес во кој референтниот текст се генерира со препознавање говор за време на регистрацијата, а регистрираниот глас повторно се користи во последователни синтези.
- Конфигурирајте гласовна персона за услугата и карактерите.
- Креирајте приспособен глас со опис или референтна снимка.
- Синтетизирајте бренд-упатства, реплики на карактери и нарација за содржини.
- Користете го за гласовни одговори на интерактивни агенти.
- Синтетизирајте известувања и текстови што се менуваат, со ист глас.
Кога избирате помеѓу cosa-a и cosa-b, земете ги предвид саканиот глас, вистинскиот резултат од синтезата и потребните ставки за контрола.
| Ставка | cosa-a | cosa-b |
|---|---|---|
| Поставки за синтеза | Покрај гласот, јазикот и брзината на говорот, поставки поврзани со бројот на чекори за синтеза, јачината на насочувањето и должината на генерирањето | Заеднички поставки, како што се брзината на говорот и јазикот |
| Влез за клонирање | Референтна снимка за која имате дозвола за користење | Референтна снимка и соодветен текст. При регистрирањето, референтниот текст може да се генерира со препознавање на говор |
| Улога | Генерирање глас со користење детална контрола на синтезата | Избор на глас и генерирање приспособен глас |
cosa-asr
cosa-asr го претвора влезниот говор во текст. Ги документира снимените материјали или ги претвора барањата примени преку говор во влез што можат да го обработат последователните деловни системи.
- Транскрибира гласовни белешки и снимени материјали.
- Ги претвора прашањата и деловните барања засновани на говор во влез.
- Генерира референтен текст за клонирање глас.
- Се користи за обработка што продолжува со сумирање, класификација и пребарување по транскрипцијата.
Кога резултатите од транскрипцијата ќе се пренесат до CIP, процесот продолжува со сумирање на содржината, класификација на барањата и изготвување на деловни нацрти. Ако резултатите од обработката се синтетизираат со cosa-a или cosa-b, се добива деловна услуга со говорен влез и излез.
Cova
cova-1 е LLM-базиран модел наменет исклучиво за визуелен OCR. Препознава текст од документи и слики, ја извлекува структурата на распоредот и табелите и обезбедува кратки описи на визуелните елементи.
Документите што ги гледаат луѓето ги претвора во формат погоден за користење од агенти и деловни системи. Главниот текст и табелите се извлекуваат како структурирана содржина, а сликите вклучени во документите се пренесуваат со кратки описи, така што последователните агенти можат заедно да ја разберат содржината и визуелниот контекст на документот. Со воспоставување тек во кој материјалите прво се разбираат преку извлечениот текст и описите, а дополнително се прегледуваат само оригиналите за кои е потребна детална проверка, се намалува количината на повторно внесување на оригиналните слики и се заштедуваат контекстуални токени.
| Функција | Опис |
|---|---|
| Препознавање текст | Извлекува текст од документи што се скенирани или фотографирани. |
| Толкување на распоредот | Го зема предвид распоредот на документот и ја разделува содржината на блокови. |
| Обезбедување информации за позицијата | Ја обезбедува позицијата на препознаените блокови за да ги поврзе извлечените резултати со оригиналниот текст. |
| Извлекување структура на табели | Ја структурира содржината на табелите за пребарување и обработка на податоци. |
| Едноставен опис на слики | Накратко ја опишува содржината на сликите и визуелните елементи за да му даде на агентот насоки за толкување. |
| Оптимизација на контекстот | Ги пренесува информациите главно преку текст, структура и опис на сликите, со што го намалува повторното внесување на оригиналната слика. |
| Селективна детална анализа | Му помага на агентот да одреди кои оригинални слики треба дополнително да ги провери. |
| Конверзија на форматот на документи | Ги уредува резултатите од препознавањето во HTML или Markdown. |
- Дигитализација на документи: Ги претвора хартиените документи и скенираните материјали во текстуални материјали.
- Прием на деловни документи: Извлекува содржина од апликации, придружна документација и извештаи.
- Обработка на табеларни податоци: Ги користи табелите содржани во документите за понатамошна обработка на податоците.
- Предобработка за пребарување знаење: Ги претвора сликите од документи и визуелните материјали во текст и структура што можат да се пребаруваат.
- Автоматизација на прегледот на документи: Ги пренесува извлечените резултати до CIP за проверка на ставки, сумирање и споредба меѓу материјали.
- Оптимизација на внесот за агентот: Ги организира главниот текст, табелите и описите на сликите од долгите документи и ги пренесува само потребните информации.
На пример, додека ги извлекува главниот текст и табелите од извештајот, го опишува вметнатиот графикон како графикон што го прикажува трендот на кварталната продажба. Агентот преку овој опис го разбира постоењето и целта на графиконот, а кога му се потребни точни вредности или трендови, дополнително го прегледува соодветниот оригинал.
Поврзување на производи
Со поврзување на производите може да се конфигурира следниот тек.
- Работа заснована на документи: Cova ги извлекува главниот текст, табелите и описите на сликите, CIP селективно ги проверува потребните оригинали за да изврши анализа и обработка на работата, а Cosa ги пренесува резултатите со глас.
- Работа заснована на глас: Cosa ASR ги претвора гласовните барања во текст, а cosa-a или cosa-b ги чита одговорите обработени од CIP.
- Автоматизација на терен: cip-5.5-sm ги класифицира податоците од теренот и извршува локални задачи, а материјалите за кои е потребна дополнителна сеопфатна анализа ги проследува до cip-5.5-im или cip-5.5-mm.
Дозволени повици на гејтвејот
Плановите на Gateway одредуваат кои повици се дозволени за секој модел. Табелата подолу ги прикажува опсезите што ги овозможуваат плановите LLM_FREE, TTS_FREE и STT_FREE, а овие планови автоматски се применуваат без поднесување барање. Не се вклучени моделите овозможени преку други рути.
| ID на моделот | Дозволени повици | Референтен план |
|---|---|---|
| cip-5.5-im | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-im-chat | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm-h | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cosa-a | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-b | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-tts | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-asr | audio.transcriptions | STT_FREE |
| ivy-4-embedding | embeddings | LLM_FREE |
| ivy-4-embedding-mm | embeddings | LLM_FREE |
| ivy-4-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
cip-5.5-sm и cova-1 не се наведени во оваа планска табела. cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm и ivy-4-mm во табелата се ID-ја на модели што не се вклучени во описот на производите погоре. Документацијата за API повици наведува на кој пат се однесува клучот за повик.