Модель

Модели CLEVI разделены на три продуктовые линейки: CIP, отвечающую за универсальный интеллект и автоматизацию рабочих процессов; Cosa, отвечающую за генерацию и распознавание речи; и Cova, отвечающую за извлечение информации из документов и изображений. Каждый продукт можно использовать независимо или объединять в сервисы, включающие распознавание документов, анализ, выполнение задач и голосовые инструкции.

CIP

CIP отвечает за универсальный интеллект и автоматизацию рабочих процессов. Он включает cip-5.5-im и cip-5.5-mm, вызываемые через шлюз, а также cip-5.5-sm, разворачиваемую на периферийных серверах и в локальной инфраструктуре.

cip-5.5-im и cip-5.5-mm

cip-5.5-im подходит для задач с чётко определёнными целями и объёмом работы. Типичные примеры — извлечение необходимой информации из предоставленных материалов, подготовка результатов в заданном формате и изменение кода в соответствии с требованиями. Максимальный объём вывода 64K используется для подготовки подробных отчётов или результатов, состоящих из нескольких частей.

• Помощь в разработке: написание функций и возможностей, исправление ошибок с чётко определёнными границами и реализация в соответствии с существующими шаблонами.
• Создание тестов: подготовка черновиков тестов и примеров проверки на основе требований и реализации.
• Обработка документов: подготовка резюме и черновиков, классификация, извлечение пунктов и преобразование форматов.
• Мультимодальный анализ: анализ изображений экранов, таблиц и диаграмм в документах вместе с соответствующими описаниями.
• Интерактивная поддержка рабочих процессов: ответы на вопросы на основе рабочих материалов и подготовка необходимых результатов.
• Массовая обработка: подготовка отдельных резюме для множества документов, классификация запросов и преобразование данных.
• Субагенты: выполнение подзадач с чёткими границами, таких как исследование кода, проверка отдельных файлов и упорядочивание материалов.

Например, это используется для получения функциональных требований и связанного кода с последующей подготовкой варианта изменений, тестов и описания изменений либо для классификации входящих документов и подготовки резюме для ответственных сотрудников.

cip-5.5-mm подходит для задач, требующих понимания связей между информацией и сохранения согласованности всей работы. В разработке он используется для проверки взаимосвязей между требованиями, проектированием, реализацией и тестированием, а при анализе документов — для комплексного сопоставления утверждений и обоснований, различий и противоречий в нескольких материалах.

• Реализация комплексных функций: одновременное изменение кода, тестов и документации с учётом контрактов и поведения нескольких модулей.
• Крупномасштабный анализ кода: проверка взаимосвязей вызовов, потоков данных и области влияния изменений.
• Анализ причин сбоев: сопоставление журналов, настроек, кода и результатов выполнения, а также подготовка гипотез о причинах и процедур их проверки.
• Поддержка проектирования и принятия решений: структурирование требований и ограничений и анализ влияния вариантов реализации.
• Комплексный анализ нескольких документов: систематизация сходств, различий и противоречий в отчётах и технической документации с опорой на основания.
• Комплексная мультимодальная проверка: совместная интерпретация текста и визуальных материалов для анализа проблем и требований.
• Многоэтапные агенты: выполнение задач, включающих исследование, планирование, работу с инструментами и проверку результатов.
• Подготовка специализированной документации: создание технических отчётов, проектных предложений и подробных документов проверки с учётом сложных условий и обоснований.

Например, используется для совместного анализа связанного кода и журналов ошибок, возникающих в нескольких сервисах, а также для задач, охватывающих весь процесс — от анализа требований к сложной функции до её реализации и проверки результатов.

cip-5.5-sm

cip-5.5-sm выполняет локальный вывод и автоматизацию рабочих процессов на периферийных серверах и в локальной инфраструктуре. Поскольку размер модели можно настроить в диапазоне от 24B до 40B, конфигурацию можно подобрать с учётом вычислительных ресурсов оборудования и требуемой производительности на месте. Обработка выполняется рядом с источником данных, поэтому модель используется для интеграции с локальными системами и работы с внутренними данными. Если необходимые модели и инструменты настроены локально, систему можно эксплуатировать даже в средах с ограниченным внешним подключением.

Выполняет роль интерпретации информации, возникающей на месте, и её преобразования в процедуры обработки. Классифицирует журналы и запросы, извлекает из данных необходимую информацию, а также выполняет повторяющиеся задачи с помощью подключённых внутренних инструментов и скриптов.

• Обработка событий на месте: классифицирует журналы оборудования и информацию о состоянии, отбирает события, требующие проверки.
• Предварительная обработка данных: извлекает из рабочих записей ключевые элементы, классифицирует, маркирует и нормализует их.
• Маршрутизация запросов: передаёт поступившие запросы ответственным системам или процедурам обработки.
• Локальный рабочий агент: выполняет повторяющиеся задачи, обращаясь к внутренним системам и запуская скрипты.
• Поддержка рабочих процессов в локальной инфраструктуре: отвечает на вопросы на основе внутренних материалов и структурирует рабочую информацию.
• Поддержка последующего анализа: отбирает материалы, требующие дополнительной проверки, и обобщает их ключевое содержание.

Например, используется для классификации рабочих журналов на сервере предприятия, поиска связанной истории и подготовки сводки инцидента для ответственного сотрудника.

Cosa

Cosa — это семейство голосовых продуктов, которое преобразует текст в речь, распознаёт вводимую речь как текст и позволяет регистрировать и повторно использовать выбранный голос. Используется для сервисных инструкций, создания контента, поддержки доступности и голосового интерфейса диалоговых агентов.

За генерацию речи отвечают cosa-a и cosa-b, а за распознавание речи — cosa-asr. cosa-a и cosa-b являются отдельными моделями, каждая из которых предоставляет собственный список голосов и настройки синтеза; их можно выбирать через единый интерфейс сервиса. Общие для обеих моделей функции следующие.

• Преобразование текста в речь: синтезирует введённые предложения выбранным голосом.
• Клонирование голоса: регистрирует голос на основе эталонной записи, на использование которой получено разрешение, и синтезирует новые предложения.
• Дизайн голоса: создаёт и регистрирует голос на основе описания его желаемых характеристик.
• Повторное использование голоса: использует зарегистрированный голос для последующего синтеза.
• Настройки синтеза: регулирует скорость речи, язык и другие параметры.
• Потоковая передача: синтезирует текст по мере его поступления фразами и последовательно передаёт аудио.
• Управление воспроизведением: поддерживает приостановку, возобновление, остановку и ввод дополнительных предложений.

Постепенный ввод текста позволяет начать воспроизведение речи до завершения всего ответа. Пока CIP формирует ответ, можно настроить сервис, в котором Cosa читает подготовленные фразы.

cosa-a

cosa-a поддерживает преобразование текста в речь, клонирование голоса, дизайн голоса и потоковый вывод. Помимо базовых функций выбора голоса, языка и скорости речи, он предоставляет дополнительные параметры управления, включая количество этапов синтеза, интенсивность guidance и настройки, связанные с длиной генерации. Используется для настройки параметров в процессе создания речи и проверки результата либо для применения нескольких наборов настроек к одному и тому же сценарию с последующим выбором результата.

• Синтезирует инструкции и уведомления для приложений, киосков и рабочих систем.
• Создаёт аудиоверсии учебных материалов и руководств пользователя.
• Создаёт закадровое озвучивание для видео- и аудиоконтента.
• Создаёт повторяющийся контент с зарегистрированным голосом.
• Используется для потокового голосового вывода интерактивных агентов.
• Используется для создания речи с настройкой детализированных параметров синтеза.

cosa-b

cosa-b поддерживает выбор предустановленного голоса, дизайн голоса на основе описания, клонирование на основе эталонного голоса и потоковый вывод. Можно выбрать голос из собственного списка голосов или зарегистрировать новый голос для использования в сервисе.

Для клонирования голоса используются эталонная запись и соответствующий ей текст. Также поддерживается процесс создания эталонного текста с помощью распознавания речи во время регистрации; зарегистрированный голос повторно используется при последующем синтезе.

• Создаёт голосовую персону сервиса и персонажа.
• Создаёт индивидуальный голос на основе описания или эталонной записи.
• Синтезирует брендовые инструкции, реплики персонажей и закадровое озвучивание контента.
• Используется для голосовых ответов интерактивных агентов.
• Синтезирует изменяющиеся уведомления и сценарии одним и тем же голосом.

При выборе между cosa-a и cosa-b ориентируйтесь на желаемый голос, фактический результат синтеза и необходимые параметры управления.

cosa-asr

cosa-asr преобразует входную речь в текст. Он документирует записи или преобразует поступившие в голосовой форме запросы во входные данные, которые могут обрабатывать последующие рабочие системы.

• Транскрибирует голосовые заметки и записи.
• Преобразует вопросы и рабочие запросы на основе речи во входные данные.
• Создаёт эталонный текст для клонирования голоса.
• Используется для обработки после транскрибации, включая суммирование, классификацию и поиск.

Передача результатов транскрибации в CIP позволяет перейти к суммированию содержания, классификации запросов и подготовке рабочих черновиков. Если синтезировать результаты обработки с помощью cosa-a или cosa-b, получится рабочий сервис с голосовым вводом и выводом.

Cova

cova-1 — специализированная LLM-модель для визуального OCR. Она распознаёт текст в документах и изображениях, извлекает структуру макета и таблиц, а также предоставляет краткие описания визуальных элементов.

Преобразует документы, предназначенные для восприятия человеком, в формат, удобный для использования агентами и рабочими системами. Основной текст и таблицы извлекаются в структурированном виде, а изображения, содержащиеся в документе, передаются в виде кратких описаний, поэтому последующие агенты могут одновременно учитывать содержание документа и визуальный контекст. Если сначала анализировать материалы по извлечённому тексту и описаниям, а затем дополнительно просматривать только оригиналы, требующие детальной проверки, можно сократить объём повторной передачи исходных изображений и сэкономить контекстные токены.

• Оцифровка документов: преобразует бумажные документы и отсканированные материалы в текстовые данные.
• Обработка рабочих документов: извлекает содержимое из заявлений, подтверждающих документов и отчётов.
• Обработка табличных данных: использует таблицы из документов для последующей обработки данных.
• Предварительная обработка для поиска знаний: преобразует изображения документов и визуальные материалы в доступный для поиска текст и структурированные данные.
• Автоматизация проверки документов: передаёт результаты извлечения в CIP для проверки пунктов, составления сводок и сравнения материалов.
• Оптимизация входных данных агента: структурирует основной текст, таблицы и описания изображений в длинных документах, передавая только необходимую информацию.

Например, при извлечении основного текста и таблиц из отчёта вставленный график описывается как график, показывающий поквартальную динамику продаж. Используя это описание, агент определяет наличие и назначение графика, а при необходимости получить точные значения или тенденции дополнительно проверяет соответствующий исходный материал.

Подключение продуктов

После подключения продуктов можно сформировать следующий рабочий процесс.

• Работа с документами: Cova извлекает основной текст, таблицы и описания изображений, CIP выборочно проверяет необходимые исходные материалы для анализа и обработки задач, а Cosa передаёт результаты в голосовом формате.
• Работа с голосом: Cosa ASR преобразует голосовые запросы в текст, а cosa-a или cosa-b зачитывает ответы, обработанные CIP.
• Автоматизация на местах: cip-5.5-sm классифицирует данные с мест выполнения задач и выполняет локальные операции, а материалы, требующие дополнительного комплексного анализа, передаются в cip-5.5-im или cip-5.5-mm.

Вызовы, разрешённые на шлюзе

Планы шлюза определяют разрешённые вызовы для каждой модели. В таблице ниже указаны возможности, доступные по планам LLM_FREE, TTS_FREE и STT_FREE; эти планы применяются автоматически, без подачи заявки. Модели, доступные по другим каналам, не включены.

cip-5.5-sm и cova-1 отсутствуют в этой таблице тарифного плана. cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm и ivy-4-mm в таблице — это идентификаторы моделей, не включённые в описания продуктов выше. В документе об API-вызовах указано, какому пути соответствует ключ вызова.