Developer guide
Model
Model özeti
CLEVI modelleri; genel zekâ ve iş otomasyonundan sorumlu CIP, ses üretimi ve tanımadan sorumlu Cosa ve belgelerden ve görüntülerden bilgi çıkarmadan sorumlu Cova olmak üzere üç ürün ailesine ayrılır. Her ürün bağımsız olarak kullanılabilir veya belge tanıma, analiz, iş gerçekleştirme ve sesli yönlendirme süreçlerini birleştiren hizmetlere bağlanabilir.
| Ürün | Model Kimliği | Temel özellikler | Temel rol |
|---|---|---|---|
| CIP-5.5-SM | cip-5.5-sm | 24B~40B ayarlanabilir | Edge sunucular ve yerel iş otomasyonu |
| CIP-5.5-IM | cip-5.5-im | 360B · Girdi 256K · Çıktı 64K · Çok modlu | Genel iş süreçleri. Yanıt hızı ve işlem hacmi önceliklidir |
| CIP-5.5-MM | cip-5.5-mm | 800B · Girdi 512K · Çıktı 64K · Çok modlu | Uzun bağlam analizi ve karmaşık sorun çözümü |
| Cosa-A | cosa-a | Ses sentezi·klonlama·tasarım·akış | Ayrıntılı sentez denetimiyle ses üretimi |
| Cosa-B | cosa-b | Ses sentezi·klonlama·tasarım·akış | Ses seçimi ve özelleştirilmiş ses üretimi |
| Cosa ASR | cosa-asr | Konuşma tanıma | Ses girişini metne dönüştürme |
| Cova | cova-1 | LLM tabanlı özel görsel OCR | Metin·düzen·tablo çıkarma ve basit görüntü açıklaması |
CIP
CIP, genel zekâ ve iş otomasyonundan sorumludur. Ağ geçidi üzerinden çağrılan cip-5.5-im ve cip-5.5-mm ile edge sunuculara ve şirket içi ortamlara dağıtılan cip-5.5-sm modellerinden oluşur.
cip-5.5-im ve cip-5.5-mm
| Öğe | cip-5.5-im | cip-5.5-mm |
|---|---|---|
| Boyut | 360B | 800B |
| Girdi sınırı | 256K | 512K |
| Maksimum çıktı | 64K | 64K |
| Girdi biçimi | Metin ve görsel materyaller (belgeler, ekran görüntüleri, tablolar·grafikler) | Metin ve görsel materyaller (kod·belgeler·ekran materyallerini bir arada inceleme) |
| Tasarım amacı | Yanıt hızı, maliyet verimliliği ve işlem hacmine odaklanarak günlük bilgi işlerini ve geliştirme görevlerini gerçekleştirir. | Birden fazla materyali ve koşulu bir arada değerlendirip analiz sonuçlarını gerçek işlere bağlayan karmaşık görevleri gerçekleştirir. |
| Uzun girdilerin kullanım amacı | Birden fazla belgeyi, kod dosyasını ve konuşma geçmişini birlikte inceler. | Kapsamlı referans materyallerini ve iş geçmişini birlikte ele alır; araştırma, yürütme ve doğrulama süreçlerinin birden fazla aşamada ilerlediği aracı görevlerini gerçekleştirir. |
cip-5.5-im, hedefi ve görev kapsamı net olan işler için uygundur. Sağlanan materyallerden gerekli bilgileri çıkarmak, sonuçları belirtilen formatta hazırlamak ve gereksinimlere göre kodu değiştirmek tipik kullanım alanlarıdır. Maksimum 64K çıktı, ayrıntılı raporlar veya birden çok bölümden oluşan sonuçlar hazırlamak için kullanılır.
- Geliştirme desteği: İşlev ve özellikler geliştirir, kapsamı net hataları düzeltir ve mevcut kalıplara uygun uygulamalar oluşturur.
- Test oluşturma: Gereksinimler ve uygulamaya dayanarak test taslakları ve doğrulama senaryoları hazırlar.
- Belge işleme: Özetleme, sınıflandırma, madde çıkarma, form dönüştürme ve taslak hazırlama görevlerini üstlenir.
- Çok modlu analiz: Ekran görüntülerini ve belgelerdeki tablolar ile grafiklerini ilgili açıklamalarla birlikte inceler.
- Etkileşimli iş desteği: İş materyallerine dayanarak soruları yanıtlar ve gerekli çıktıları hazırlar.
- Toplu işleme: Çok sayıda belgenin ayrı ayrı özetlenmesi, taleplerin sınıflandırılması ve verilerin dönüştürülmesi için kullanılır.
- Alt aracı: Kod keşfi, belirli dosyaların incelenmesi ve materyallerin düzenlenmesi gibi sınırları net alt görevleri üstlenir.
Örneğin, özellik gereksinimleri ve ilgili kodu alarak değişiklik önerisi, test ve değişiklik açıklaması hazırlamak ya da başvuru belgelerini sınıflandırarak sorumlu kişi için özet oluşturmak gibi işlerde kullanılır.
cip-5.5-mm, bilgiler arasındaki ilişkilerin kavranmasını ve tüm işin tutarlılığının korunmasını gerektiren işler için uygundur. Geliştirmede gereksinimler, tasarım, uygulama ve test arasındaki bağlantıları inceler; belge analizinde ise birden çok materyaldeki iddiaları ve kanıtları, farklılıkları ve çelişkileri bütünsel olarak değerlendirir.
- Karmaşık özellik uygulama: Birden çok modülün sözleşmelerini ve davranışlarını dikkate alarak kodu, testleri ve belgeleri birlikte değiştirir.
- Büyük ölçekli kod analizi: Çağrı ilişkilerini, veri akışını ve değişikliklerin etki kapsamını inceler.
- Arıza nedeni analizi: Günlükleri, yapılandırmayı, kodu ve çalıştırma sonuçlarını karşılaştırarak olası nedenleri ve doğrulama adımlarını düzenler.
- Tasarım ve karar desteği: Gereksinimleri ve kısıtları yapılandırır, uygulama alternatiflerinin etkilerini analiz eder.
- Birden çok belgenin bütünsel analizi: Raporlar ve teknik belgelerdeki ortak noktaları, farklılıkları ve çelişkileri kanıta dayalı olarak düzenler.
- Çok modlu bütünleşik inceleme: Metinleri ve görsel materyalleri birlikte yorumlayarak sorunları ve gereksinimleri analiz eder.
- Çok aşamalı aracı: Araştırma, planlama, araç yürütme ve sonuç incelemesiyle ilerleyen işlerde kullanılır.
- Uzmanlık gerektiren belge yazımı: Karmaşık koşulları ve kanıtları yansıtan teknik raporlar, tasarım önerileri ve ayrıntılı inceleme belgeleri hazırlar.
Örneğin, birden fazla hizmette oluşan hataların ilgili kod ve günlüklerini birlikte incelemek veya karmaşık bir özelliğin gereksinim analizinden uygulamaya ve doğrulama sonuçlarının incelenmesine kadar uzanan işlerde kullanılır.
cip-5.5-sm
cip-5.5-sm, uç sunucularda ve şirket içi ortamlarda yerel çıkarım ve iş otomasyonu gerçekleştirir. Model boyutu 24B~40B aralığında ayarlanabildiğinden, dağıtım cihazının işlem kaynaklarına ve sahada gereken performansa göre yapılandırma seçilebilir. Verileri oluştukları noktaya yakın işlediği için saha sistemleriyle entegrasyon ve şirket içi verilerin kullanımı için uygundur. Gerekli model ve araçlar yerel olarak yapılandırıldığında, dış bağlantının kısıtlı olduğu ortamlarda da çalıştırılabilir.
Sahada oluşan bilgileri yorumlayarak işleme prosedürlerine bağlayan bir rol üstlenir. Günlükleri ve istekleri sınıflandırır, verilerden gerekli bilgileri çıkarır ve bağlı şirket içi araçlar ile betikleri kullanarak tekrarlanan işleri yürütür.
- Saha olaylarının işlenmesi: Cihaz günlüklerini ve durum bilgilerini sınıflandırır, kontrol edilmesi gereken olayları seçer.
- Veri ön işleme: İş kayıtlarından temel öğeleri çıkarır ve sınıflandırır, etiketler ve normalleştirir.
- İstek yönlendirme: Alınan istekleri sorumlu sisteme veya işleme prosedürüne iletir.
- Yerel iş aracısı: Şirket içi sistemleri sorgulayarak ve betikleri çalıştırarak tekrarlanan işleri yürütür.
- Şirket içi iş desteği: Şirket içi materyallere dayanarak soruları yanıtlar ve iş içeriğini düzenler.
- Sonraki analiz desteği: Ek inceleme gerektiren materyalleri seçer ve temel içeriği özetler.
Örneğin, işletme sunucusundaki işletim günlüklerini sınıflandırıp ilgili geçmişi sorguladıktan sonra sorumlu kişi için olay özeti oluşturma akışında kullanılır.
Cosa
Cosa, metni sese dönüştüren, giriş sesini metin olarak tanıyan ve istenen sesin kaydedilip yeniden kullanılmasını sağlayan bir ses ürünleri ailesidir. Hizmet bilgilendirmelerinde, içerik üretiminde, erişilebilirlik desteğinde ve etkileşimli aracıların sesli arayüzlerinde kullanılır.
Ses üretiminden cosa-a ve cosa-b, ses tanımadan ise cosa-asr sorumludur. cosa-a ve cosa-b, kendi ses listelerini ve sentez ayarlarını sunan ayrı modellerdir ve aynı hizmet arayüzünden seçilir. İki modelin ortak olarak sunduğu işlevler aşağıdadır.
- Metinden sese dönüştürme: Girilen cümleleri seçilen sesle sentezler.
- Ses klonlama: Kullanma iznine sahip olduğunuz referans kayıt temelinde bir ses kaydeder ve yeni cümleler sentezler.
- Ses tasarımı: İstenen sesin özelliklerini açıklayarak bir ses oluşturur ve kaydeder.
- Sesi yeniden kullanma: Kaydedilen sesi sonraki sentezlerde kullanır.
- Sentez ayarları: Konuşma hızı ve dil gibi seçenekleri ayarlar.
- Akış iletimi: Metin ulaşır ulaşmaz ifadeleri parça parça sentezler ve sesi sırayla iletir.
- Oynatma denetimi: Duraklatma, devam ettirme, durdurma ve ek cümle girişi desteği sunar.
Aşamalı metin girişi sayesinde, yanıtın tamamı tamamlanmadan ses oynatılmaya başlanabilir. CIP yanıtı oluştururken Cosa'nın hazır olan ifadeleri okumaya başlamasını sağlayan bir hizmet yapılandırabilirsiniz.
cosa-a
cosa-a, metinden sese dönüştürme, ses klonlama, ses tasarımı ve akış çıktısını destekler. Ses, dil ve konuşma hızını seçmeye yönelik temel işlevlere ek olarak sentez adımı sayısı, kılavuzluk gücü ve üretim uzunluğuyla ilgili ayarlar gibi ek denetim seçenekleri sunar. Ses oluşturma sürecinde ayarları düzenleyip sonucu incelemek veya aynı metne birden fazla ayar uygulayarak sonuçlar arasından seçim yapmak için kullanılır.
- Uygulamalar, kiosklar ve iş sistemleri için yönlendirmeleri ve bildirimleri sentezler.
- Eğitim materyallerini ve kullanım kılavuzlarını sese dönüştürür.
- Video ve ses içerikleri için anlatım oluşturur.
- Kaydedilen sesle tekrarlanan içerikler oluşturur.
- Etkileşimli aracıların akış ses çıktısında kullanılır.
- Ayrıntılı sentez ayarlarını düzenleyerek ses oluşturmak için kullanılır.
cosa-b
cosa-b, ön ayarlı ses seçimini, açıklamaya dayalı ses tasarımını, referans sese dayalı klonlamayı ve akış çıktısını destekler. Kendi ses listesinden bir ses seçebilir veya hizmette kullanılacak yeni bir ses kaydedebilirsiniz.
Ses klonlama için referans kayıt ve buna karşılık gelen metin kullanılır. Kayıt işlemi sırasında ses tanıma yoluyla referans metin oluşturma iş akışı da desteklenir ve kaydedilen ses sonraki sentezlerde yeniden kullanılır.
- Hizmetler ve karakterler için ses kişilikleri oluşturur.
- Açıklama veya referans kayıtla özel sesler oluşturur.
- Marka yönlendirmelerini, karakter repliklerini ve içerik anlatımlarını sentezler.
- Etkileşimli aracıların sesli yanıtlarında kullanılır.
- Değişen yönlendirme mesajlarını ve metinleri aynı sesle sentezler.
cosa-a ve cosa-b arasında seçim yaparken istediğiniz sesi, gerçek sentez sonuçlarını ve ihtiyaç duyduğunuz kontrol seçeneklerini temel alın.
| Öğe | cosa-a | cosa-b |
|---|---|---|
| Sentez ayarları | Ses, dil ve konuşma hızına ek olarak sentez adımı sayısı, yönlendirme gücü ve oluşturma uzunluğuyla ilgili ayarlar | Konuşma hızı ve dil gibi ortak ayarlar |
| Klonlama girdisi | Kullanım iznine sahip olduğunuz referans kaydı | Referans kaydı ve buna karşılık gelen metin. Kayıt işlemi sırasında referans metni konuşma tanıma yoluyla oluşturulabilir |
| Rol | Ayrıntılı sentez kontrollerini kullanarak ses oluşturma | Ses seçimi ve özel ses oluşturma |
cosa-asr
cosa-asr, girilen sesi metne dönüştürür. Kayıtları belgelendirir veya sesle iletilen istekleri sonraki iş sistemlerinin işleyebileceği girdilere dönüştürür.
- Sesli notları ve kayıtları yazıya döker.
- Ses tabanlı soruları ve iş isteklerini girdilere dönüştürür.
- Ses klonlama için referans metin oluşturur.
- Yazıya dökme sonrasında özetleme, sınıflandırma ve aramayla devam eden işlemlerde kullanılır.
Yazıya dökme sonuçlarını CIP'ye ilettiğinizde içerik özetleme, istek sınıflandırma ve iş taslağı oluşturma süreçleri devam eder. İşleme sonuçlarını cosa-a veya cosa-b ile sentezlediğinizde sesli giriş ve çıkışlara sahip bir iş hizmeti elde edersiniz.
Cova
cova-1, LLM tabanlı, görsel OCR'ye özel bir modeldir. Belgelerdeki ve görüntülerdeki metni tanır, düzeni ve tablo yapısını çıkarır ve görsel öğeler için kısa açıklamalar sağlar.
İnsanların gördüğü belgeleri, aracıların ve iş sistemlerinin kullanabileceği bir biçime dönüştürür. Gövde metnini ve tabloları yapılandırılmış içerik olarak çıkarır, belgelere eklenmiş görüntüleri ise kısa açıklamalarla aktarır. Böylece sonraki aracılar belgenin içeriğini ve görsel bağlamını birlikte kavrayabilir. Önce çıkarılan metin ve açıklamalarla materyali inceleyip yalnızca ayrıntılı doğrulama gerektiren orijinali ek olarak gözden geçiren bir akış oluşturursanız, orijinal görüntüleri tekrar tekrar girdi olarak verme ihtiyacını azaltarak bağlam belirteçlerinden tasarruf edebilirsiniz.
| İşlev | Açıklama |
|---|---|
| Metin tanıma | Taranan veya fotoğrafı çekilen belgelerden metin çıkarır. |
| Düzen yorumlama | Belgenin yerleşimini dikkate alarak içeriği bloklara ayırır. |
| Konum bilgisi sağlama | Tanımlanan blokların konumunu sağlayarak çıkarılan sonuçları kaynak metinle ilişkilendirir. |
| Tablo yapısı çıkarma | Tablo içeriğini yapılandırarak arama ve veri işleme süreçlerinde kullanır. |
| Basit görüntü açıklaması | Görüntülerin ve görsel öğelerin içeriğini kısaca açıklayarak ajana yorumlama için ipuçları sağlar. |
| Bağlamı verimli kullanma | Bilgileri metin, yapı ve görüntü açıklamalarına odaklanarak iletir ve kaynak görüntünün tekrar tekrar girilmesini azaltır. |
| Seçimli ayrıntılı analiz | Ajanın ek olarak hangi kaynak görüntüleri incelemesi gerektiğini belirlemesine yardımcı olur. |
| Belge biçimi dönüştürme | Tanıma sonuçlarını HTML veya Markdown olarak düzenler. |
- Belge dijitalleştirme: Kâğıt belgeleri ve taranmış materyalleri metin tabanlı verilere dönüştürür.
- İş belgelerini alma: Başvuru formlarından, kanıtlayıcı belgelerden ve raporlardan içerik çıkarır.
- Tablo verilerini işleme: Belgelerde bulunan tabloları sonraki veri işleme süreçlerinde kullanır.
- Bilgi arama ön işleme: Belge görüntülerini ve görsel materyalleri aranabilir metin ve yapılara dönüştürür.
- Belge incelemesini otomatikleştirme: Çıkarılan sonuçları CIP'ye ileterek maddeleri kontrol eder, özetler ve materyaller arasında karşılaştırma yapar.
- Ajan girdisini optimize etme: Uzun belgelerin ana metinlerini, tablolarını ve görüntü açıklamalarını düzenleyerek yalnızca gerekli bilgileri iletir.
Örneğin, bir raporun ana metnini ve tablolarını çıkarırken eklenmiş grafiği çeyreklere göre satış trendini gösteren bir grafik olarak açıklar. Ajan bu açıklamayla grafiğin varlığını ve amacını kavrar; kesin değerler veya trend gerektiğinde ilgili kaynağı ek olarak inceler.
Ürün ailesi bağlantısı
Ürünleri bağlayarak aşağıdaki akışı oluşturabilirsiniz.
- Belge tabanlı işler: Cova ana metni, tabloları ve görüntü açıklamalarını çıkarır; CIP gerekli kaynakları seçerek inceler, analiz ve işleme gerçekleştirir; Cosa sonuçları sesli olarak iletir.
- Ses tabanlı işler: Cosa ASR sesli istekleri metne dönüştürür ve CIP tarafından işlenen yanıtı cosa-a veya cosa-b seslendirir.
- Saha otomasyonu: cip-5.5-sm saha verilerini sınıflandırır ve yerel işleri gerçekleştirir; ek kapsamlı analiz gerektiren materyalleri cip-5.5-im veya cip-5.5-mm'e aktarır.
Ağ geçidinde izin verilen çağrılar
Gateway planları, her model için izin verilen çağrıları belirler. Aşağıdaki tablo, LLM_FREE, TTS_FREE ve STT_FREE planlarının etkinleştirdiği kapsamı gösterir; bu planlar başvuru yapılmasına gerek kalmadan otomatik olarak uygulanır. Diğer yollarla etkinleştirilen modeller dahil edilmemiştir.
| Model ID | İzin verilen çağrılar | Dayanak plan |
|---|---|---|
| cip-5.5-im | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-im-chat | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm-h | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cosa-a | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-b | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-tts | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-asr | audio.transcriptions | STT_FREE |
| ivy-4-embedding | embeddings | LLM_FREE |
| ivy-4-embedding-mm | embeddings | LLM_FREE |
| ivy-4-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
cip-5.5-sm ve cova-1 bu plan tablosunda yer almıyor. Tablodaki cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm ve ivy-4-mm, yukarıdaki ürün açıklamalarında yer almayan model kimlikleridir. Çağrı anahtarının hangi yola karşılık geldiği API çağrısı yapma dokümanında belirtilmiştir.