Model

Modele CLEVI dzielą się na trzy rodziny produktów: CIP, odpowiedzialny za ogólną inteligencję i automatyzację pracy; Cosa, odpowiedzialny za generowanie i rozpoznawanie mowy; oraz Cova, odpowiedzialny za ekstrakcję informacji z dokumentów i obrazów. Każdy produkt może być używany niezależnie lub połączony w usługę obejmującą rozpoznawanie dokumentów, analizę, wykonywanie zadań i wskazówki głosowe.

CIP

CIP odpowiada za ogólną inteligencję i automatyzację pracy. Obejmuje cip-5.5-im i cip-5.5-mm wywoływane przez bramę oraz cip-5.5-sm wdrażany na serwerach brzegowych i lokalnie.

cip-5.5-im i cip-5.5-mm

cip-5.5-im sprawdza się w zadaniach o jasno określonym celu i zakresie. Typowe zastosowania obejmują wyodrębnianie potrzebnych informacji z dostarczonych materiałów, tworzenie wyników w określonym formacie oraz modyfikowanie kodu zgodnie z wymaganiami. Maksymalnie 64K tokenów wyjściowych służy do tworzenia szczegółowych raportów lub wyników składających się z wielu części.

• Wsparcie programistyczne: tworzenie funkcji i możliwości, naprawianie błędów o jasno określonym zakresie oraz implementowanie rozwiązań zgodnie z istniejącymi wzorcami.
• Tworzenie testów: przygotowywanie wersji roboczych testów i przypadków weryfikacyjnych na podstawie wymagań i implementacji.
• Przetwarzanie dokumentów: przygotowywanie streszczeń, klasyfikowanie, wyodrębnianie elementów, konwertowanie formatów i tworzenie wersji roboczych.
• Analiza multimodalna: przeglądanie obrazów ekranów oraz tabel i wykresów w dokumentach wraz z powiązanymi opisami.
• Interaktywne wsparcie pracy: odpowiadanie na pytania na podstawie materiałów roboczych i tworzenie potrzebnych wyników.
• Przetwarzanie masowe: tworzenie indywidualnych streszczeń wielu dokumentów, klasyfikowanie żądań i konwertowanie danych.
• Subagenci: realizowanie jasno wyodrębnionych zadań podrzędnych, takich jak przeszukiwanie kodu, przegląd określonych plików i porządkowanie materiałów.

Na przykład służy do otrzymywania wymagań funkcjonalnych i powiązanego kodu, a następnie tworzenia propozycji zmian, testów i opisu zmian, a także do klasyfikowania dokumentów zgłoszeniowych i tworzenia streszczeń dla osób odpowiedzialnych.

cip-5.5-mm sprawdza się w zadaniach wymagających rozpoznawania relacji między informacjami i zachowania spójności całego procesu. W programowaniu obejmuje to weryfikowanie powiązań między wymaganiami, projektem, implementacją i testami, a w analizie dokumentów — syntetyczne zestawianie twierdzeń i dowodów, różnic oraz sprzeczności w wielu materiałach.

• Implementacja złożonych funkcji: jednoczesne modyfikowanie kodu, testów i dokumentacji z uwzględnieniem kontraktów i działania wielu modułów.
• Analiza dużych baz kodu: badanie zależności wywołań, przepływu danych i zakresu wpływu zmian.
• Analiza przyczyn awarii: porównywanie logów, konfiguracji, kodu i wyników wykonania w celu uporządkowania hipotez dotyczących przyczyn oraz procedur ich weryfikacji.
• Wsparcie projektowania i podejmowania decyzji: strukturyzowanie wymagań i ograniczeń oraz analiza wpływu alternatyw implementacyjnych.
• Analiza syntetyczna wielu dokumentów: porządkowanie podobieństw, różnic i sprzeczności w raportach i dokumentacji technicznej w oparciu o dowody.
• Zintegrowany przegląd multimodalny: wspólna interpretacja tekstu i materiałów wizualnych w celu analizy problemów i wymagań.
• Agent wieloetapowy: zastosowanie w zadaniach obejmujących badanie, planowanie, wykonywanie działań za pomocą narzędzi i przegląd wyników.
• Tworzenie specjalistycznej dokumentacji: przygotowywanie raportów technicznych, propozycji projektowych i szczegółowych dokumentów przeglądowych uwzględniających złożone warunki i dowody.

Na przykład służy do jednoczesnego przeglądania powiązanych kodów błędów i logów z wielu usług oraz do realizacji zadań obejmujących analizę wymagań dotyczących złożonych funkcji, ich implementację i przegląd wyników weryfikacji.

cip-5.5-sm

cip-5.5-sm wykonuje lokalne wnioskowanie i automatyzację zadań na serwerach brzegowych oraz w środowiskach on-premises. Ponieważ rozmiar modelu można dostosować w zakresie od 24B do 40B, konfigurację można dobrać do zasobów obliczeniowych urządzeń wdrożeniowych i wymaganej wydajności w danym środowisku. Przetwarzanie odbywa się blisko miejsca powstawania danych, dlatego model jest wykorzystywany do integracji z systemami lokalnymi i korzystania z danych wewnętrznych. Po skonfigurowaniu niezbędnych modeli i narzędzi lokalnie może działać również w środowiskach z ograniczoną łącznością zewnętrzną.

Pełni rolę polegającą na interpretowaniu informacji powstających w danym środowisku i przekładaniu ich na procedury przetwarzania. Klasyfikuje logi i żądania, wyodrębnia potrzebne informacje z danych oraz wykonuje powtarzalne zadania za pomocą połączonych narzędzi wewnętrznych i skryptów.

• Przetwarzanie zdarzeń lokalnych: klasyfikuje logi urządzeń i informacje o ich stanie oraz wybiera zdarzenia wymagające weryfikacji.
• Wstępne przetwarzanie danych: wyodrębnia kluczowe elementy z dokumentacji operacyjnej, a następnie je klasyfikuje, taguje i normalizuje.
• Kierowanie żądań: przekazuje otrzymane żądania do odpowiednich systemów lub procedur przetwarzania.
• Lokalny agent do zadań: wykonuje powtarzalne zadania, korzystając z dostępu do wewnętrznych systemów i uruchamiania skryptów.
• Wsparcie zadań on-premises: odpowiada na pytania na podstawie materiałów wewnętrznych i porządkuje informacje dotyczące zadań.
• Wsparcie dalszej analizy: wybiera materiały wymagające dodatkowego przeglądu i podsumowuje najważniejsze informacje.

Na przykład służy do klasyfikowania logów operacyjnych na serwerze zakładowym, wyszukiwania powiązanej historii, a następnie tworzenia podsumowania zdarzenia dla osoby odpowiedzialnej.

Cosa

Cosa to rodzina produktów głosowych, która konwertuje tekst na mowę, rozpoznaje mowę wejściową jako tekst oraz umożliwia rejestrowanie i ponowne wykorzystywanie wybranych głosów. Służy do przekazywania informacji o usługach, tworzenia treści, zapewniania dostępności oraz obsługi interfejsów głosowych agentów konwersacyjnych.

Za generowanie mowy odpowiadają cosa-a i cosa-b, a za rozpoznawanie mowy — cosa-asr. cosa-a i cosa-b to odrębne modele, z których każdy udostępnia własną listę głosów i ustawienia syntezy; można je wybierać w ramach tego samego interfejsu usługi. Funkcje wspólne dla obu modeli są następujące:

• Synteza tekstu na mowę: syntezuje wprowadzony tekst wybranym głosem.
• Klonowanie głosu: rejestruje głos na podstawie nagrania referencyjnego, do którego użycia masz uprawnienia, i syntezuje nowe zdania.
• Projektowanie głosu: tworzy i rejestruje głos na podstawie opisu jego pożądanych cech.
• Ponowne użycie głosu: wykorzystuje zarejestrowany głos w kolejnych syntezach.
• Ustawienia syntezy: dostosowuje tempo mowy, język i inne parametry.
• Dostarczanie strumieniowe: syntezuje tekst we fragmentach w miarę jego napływania i kolejno dostarcza dźwięk.
• Sterowanie odtwarzaniem: obsługuje wstrzymywanie, wznawianie, zatrzymywanie i wprowadzanie dodatkowych zdań.

Dzięki progresywnemu wprowadzaniu tekstu można rozpocząć odtwarzanie głosu przed ukończeniem całej odpowiedzi. Podczas gdy CIP tworzy odpowiedź, można skonfigurować usługę, w której Cosa odczytuje przygotowane fragmenty.

cosa-a

cosa-a obsługuje syntezę tekstu na mowę, klonowanie głosu, projektowanie głosu i wyjście strumieniowe. Oprócz podstawowych funkcji, takich jak wybór głosu, języka i tempa mowy, oferuje dodatkowe elementy sterujące, w tym ustawienia dotyczące liczby etapów syntezy, siły prowadzenia i długości generowania. Służy do dostosowywania ustawień podczas tworzenia głosu i przeglądania wyników lub stosowania wielu ustawień do tego samego skryptu w celu wyboru najlepszego rezultatu.

• Syntezuje komunikaty i powiadomienia dla aplikacji, kiosków i systemów biznesowych.
• Tworzy materiały szkoleniowe i instrukcje obsługi w formie głosowej.
• Tworzy narrację do materiałów wideo i audio.
• Tworzy cykliczne treści przy użyciu zarejestrowanego głosu.
• Służy do strumieniowego generowania głosu przez agentów konwersacyjnych.
• Służy do tworzenia głosu z dostosowaniem szczegółowych ustawień syntezy.

cosa-b

cosa-b obsługuje wybór głosu z presetów, projektowanie głosu na podstawie opisu, klonowanie na podstawie głosu referencyjnego i wyjście strumieniowe. Można wybrać głos z własnej listy głosów lub zarejestrować nowy głos do wykorzystania w usłudze.

Do klonowania głosu używa się nagrania referencyjnego i odpowiadającego mu tekstu. Obsługiwany jest również proces generowania tekstu referencyjnego za pomocą rozpoznawania mowy podczas rejestracji, a zarejestrowany głos można ponownie wykorzystać w kolejnych syntezach.

• Tworzy personę głosową usługi i postaci.
• Tworzy niestandardowy głos na podstawie opisu lub nagrania referencyjnego.
• Syntezuje komunikaty marki, dialogi postaci i narrację treści.
• Służy do generowania odpowiedzi głosowych agentów konwersacyjnych.
• Syntezuje zmieniające się komunikaty i skrypty przy użyciu tego samego głosu.

Wybierając między cosa-a a cosa-b, należy kierować się pożądanym głosem, rzeczywistym wynikiem syntezy oraz wymaganymi elementami sterowania.

cosa-asr

cosa-asr konwertuje mowę wejściową na tekst. Dokumentuje nagrania lub przekształca żądania przekazane głosem w dane wejściowe, które mogą być przetwarzane przez kolejne systemy obsługi zadań.

• Transkrybuje notatki głosowe i nagrania.
• Przekształca pytania i żądania dotyczące zadań przekazane głosem w dane wejściowe.
• Generuje tekst referencyjny do klonowania głosu.
• Służy do procesów obejmujących podsumowywanie, klasyfikację i wyszukiwanie po transkrypcji.

Przekazanie wyników transkrypcji do CIP prowadzi do podsumowania treści, klasyfikacji żądań i tworzenia wersji roboczych zadań. Synteza wyników za pomocą cosa-a lub cosa-b pozwala tworzyć usługi biznesowe obsługujące głosowe dane wejściowe i wyjściowe.

Cova

cova-1 to model oparty na LLM, przeznaczony wyłącznie do wizualnego OCR. Rozpoznaje tekst w dokumentach i obrazach, wyodrębnia układ oraz strukturę tabel i zapewnia krótkie opisy elementów wizualnych.

Przekształca dokumenty przeznaczone do oglądania przez ludzi w format odpowiedni do wykorzystania przez agentów i systemy biznesowe. Treść główna i tabele są wyodrębniane jako uporządkowane dane, a obrazy zawarte w dokumentach są przekazywane w postaci krótkich opisów, dzięki czemu kolejne agenty mogą jednocześnie rozumieć treść dokumentu i kontekst wizualny. Zastosowanie procesu, w którym najpierw analizuje się materiały na podstawie wyodrębnionego tekstu i opisów, a następnie dodatkowo sprawdza tylko oryginały wymagające szczegółowej weryfikacji, ogranicza konieczność wielokrotnego wprowadzania oryginalnych obrazów i oszczędza tokeny kontekstu.

• Cyfryzacja dokumentów: przekształca dokumenty papierowe i zeskanowane materiały w materiały tekstowe.
• Obsługa dokumentów biznesowych: wyodrębnia treści z formularzy, materiałów potwierdzających i raportów.
• Przetwarzanie danych tabelarycznych: wykorzystuje tabele zawarte w dokumentach do dalszego przetwarzania danych.
• Wstępne przetwarzanie na potrzeby wyszukiwania wiedzy: przekształca obrazy dokumentów i materiały wizualne w tekst oraz struktury możliwe do wyszukania.
• Automatyzacja przeglądu dokumentów: przekazuje wyniki ekstrakcji do CIP w celu weryfikacji pozycji, tworzenia podsumowań i porównywania materiałów.
• Optymalizacja danych wejściowych agenta: porządkuje treść główną, tabele i opisy obrazów w długich dokumentach, przekazując tylko potrzebne informacje.

Na przykład podczas wyodrębniania treści głównej i tabel z raportu opisuje zawarty w nim wykres jako wykres przedstawiający kwartalne trendy sprzedaży. Agent na podstawie tego opisu rozpoznaje obecność i przeznaczenie wykresu, a gdy potrzebuje dokładnych wartości lub trendów, dodatkowo analizuje odpowiedni obraz źródłowy.

Połączenie grup produktów

Po połączeniu produktów można skonfigurować następujący przepływ.

• Praca z dokumentami: Cova wyodrębnia treść główną, tabele i opisy obrazów, CIP selektywnie sprawdza potrzebne materiały źródłowe oraz przeprowadza analizę i obsługę zadań, a Cosa przekazuje wyniki głosowo.
• Praca głosowa: Cosa ASR przekształca żądania głosowe na tekst, a cosa-a lub cosa-b odczytuje odpowiedzi przetworzone przez CIP.
• Automatyzacja w terenie: cip-5.5-sm klasyfikuje dane terenowe i realizuje lokalne zadania, a materiały wymagające dodatkowej kompleksowej analizy przekazuje do cip-5.5-im lub cip-5.5-mm.

Dozwolone wywołania w bramie

Plany bramki określają dozwolone wywołania dla każdego modelu. Poniższa tabela przedstawia zakresy udostępniane przez plany LLM_FREE, TTS_FREE i STT_FREE; plany te są stosowane automatycznie bez składania wniosku. Nie obejmuje modeli udostępnianych za pośrednictwem innych ścieżek.

cip-5.5-sm과 cova-1은 cova-1 nie znajdują się w tej tabeli planu. Identyfikatory modeli cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm oraz ivy-4-mm w tabeli nie zostały uwzględnione w powyższych opisach produktów. Informacje o tym, której ścieżce odpowiada klucz wywołania, znajdują się w dokumencie dotyczącym wywoływania API.