Developer guide
النموذج
ملخص النماذج
تنقسم نماذج CLEVI إلى ثلاث مجموعات من المنتجات: CIP، المسؤول عن الذكاء العام وأتمتة الأعمال؛ وCosa، المسؤول عن توليد الصوت والتعرّف عليه؛ وCova، المسؤول عن استخراج المعلومات من المستندات والصور. يمكن استخدام كل منتج بشكل مستقل أو ربطه بخدمات تمتد من التعرّف على المستندات والتحليل إلى تنفيذ المهام والإرشاد الصوتي.
| المنتج | معرّف النموذج | المواصفات الرئيسية | الدور الأساسي |
|---|---|---|---|
| CIP-5.5-SM | cip-5.5-sm | 24B~40B قابل للضبط | أتمتة الأعمال على خوادم الحافة ومحليًا |
| CIP-5.5-IM | cip-5.5-im | 360B · إدخال 256K · إخراج 64K · متعدد الوسائط | معالجة الأعمال العامة. الأولوية لسرعة الاستجابة ومعدل المعالجة |
| CIP-5.5-MM | cip-5.5-mm | 800B · إدخال 512K · إخراج 64K · متعدد الوسائط | تحليل السياقات الطويلة وحل المشكلات المعقدة |
| Cosa-A | cosa-a | تركيب الصوت · استنساخه · تصميمه · بثه | توليد الصوت باستخدام تحكم تفصيلي في التركيب |
| Cosa-B | cosa-b | تركيب الصوت · استنساخه · تصميمه · بثه | اختيار الصوت وتوليد صوت مخصص |
| Cosa ASR | cosa-asr | التعرّف على الصوت | تحويل المدخلات الصوتية إلى نص |
| Cova | cova-1 | متخصص في OCR المرئي القائم على LLM | استخراج النصوص والتخطيطات والجداول ووصف الصور البسيطة |
CIP
يتولى CIP الذكاء العام وأتمتة الأعمال. ويتكوّن من cip-5.5-im وcip-5.5-mm اللذين يتم استدعاؤهما عبر البوابة، ومن cip-5.5-sm الذي يتم نشره على خوادم الحافة وفي البيئات المحلية.
cip-5.5-im وcip-5.5-mm
| العنصر | cip-5.5-im | cip-5.5-mm |
|---|---|---|
| الحجم | 360B | 800B |
| حد الإدخال | 256K | 512K |
| الحد الأقصى للإخراج | 64K | 64K |
| تنسيق الإدخال | النصوص والمواد المرئية (المستندات وصور الشاشة والجداول والمخططات) | النصوص والمواد المرئية (المراجعة من خلال دمج التعليمات البرمجية والمستندات ومواد الشاشة) |
| التوجه التصميمي | يعالج أعمال المعرفة اليومية ومهام التطوير مع التركيز على سرعة الاستجابة وكفاءة التكلفة ومعدل المعالجة. | يعالج المهام المعقدة التي تجمع بين مصادر وشروط متعددة وتربط نتائج التحليل بالعمل الفعلي. |
| استخدام المدخلات الطويلة | مراجعة عدة مستندات وملفات تعليمات برمجية وسجل محادثات معًا. | التعامل مع كميات هائلة من المواد المرجعية وسجلات العمل معًا، وتنفيذ مهام الوكلاء التي تتضمن مراحل متعددة من البحث والتنفيذ والتحقق. |
cip-5.5-im مناسب للمهام ذات الأهداف ونطاق العمل الواضحين. ومن أمثلته استخراج المعلومات المطلوبة من المواد المقدمة، وإعداد المخرجات بالتنسيق المحدد، وتعديل التعليمات البرمجية بما يتوافق مع المتطلبات. ويُستخدم الحد الأقصى البالغ 64K من المخرجات لإعداد تقارير مفصلة أو مخرجات تتكون من أجزاء متعددة.
- المساعدة في التطوير: كتابة الدوال والميزات، وإصلاح الأخطاء ذات النطاق الواضح، والتنفيذ بما يتوافق مع الأنماط الحالية.
- إنشاء الاختبارات: إعداد مسودات الاختبارات وحالات التحقق استنادًا إلى المتطلبات والتنفيذ.
- معالجة المستندات: تنفيذ التلخيص والتصنيف واستخراج العناصر وتحويل التنسيقات وإعداد المسودات.
- التحليل متعدد الوسائط: مراجعة صور الشاشات والجداول والمخططات في المستندات مع الأوصاف ذات الصلة.
- دعم الأعمال التفاعلي: الإجابة عن الأسئلة استنادًا إلى مواد العمل وإعداد المخرجات المطلوبة.
- المعالجة واسعة النطاق: استخدامه لتلخيص مستندات متعددة كلٌّ على حدة، وتصنيف الطلبات، وتحويل البيانات.
- الوكلاء الفرعيون: تنفيذ المهام الفرعية ذات الحدود الواضحة، مثل استكشاف التعليمات البرمجية، ومراجعة ملفات محددة، وتنظيم المواد.
على سبيل المثال، يُستخدم في تلقي متطلبات الميزات والتعليمات البرمجية ذات الصلة، ثم إعداد مقترح تعديل واختبارات وشرح للتغييرات، أو في تصنيف مستندات الاستقبال وإعداد ملخص للمسؤول.
cip-5.5-mm مناسب للمهام التي تتطلب فهم العلاقات بين المعلومات والحفاظ على اتساق العمل ككل. ففي التطوير، يراجع الروابط بين المتطلبات والتصميم والتنفيذ والاختبارات، وفي تحليل المستندات، يجمع بين ادعاءات الأدلة المتعددة وأسانيدها واختلافاتها وتناقضاتها.
- تنفيذ ميزات مركبة: تغيير التعليمات البرمجية والاختبارات والمستندات معًا مع مراعاة عقود وسلوكيات وحدات متعددة.
- تحليل التعليمات البرمجية واسعة النطاق: مراجعة علاقات الاستدعاء وتدفق البيانات ونطاق تأثير التغييرات.
- تحليل أسباب الأعطال: مقارنة السجلات والإعدادات والتعليمات البرمجية ونتائج التنفيذ، ثم تنظيم فرضيات الأسباب وإجراءات التحقق منها.
- دعم التصميم واتخاذ القرار: هيكلة المتطلبات والقيود وتحليل تأثير بدائل التنفيذ.
- التحليل التجميعي لمستندات متعددة: تنظيم أوجه التشابه والاختلاف والتناقضات بين التقارير والمستندات التقنية استنادًا إلى الأدلة.
- المراجعة التكاملية متعددة الوسائط: تفسير النصوص والمواد المرئية معًا لتحليل المشكلات والمتطلبات.
- الوكلاء متعددو المراحل: استخدامه للمهام التي تتضمن البحث والتخطيط وتنفيذ الأدوات ومراجعة النتائج بالتتابع.
- إعداد المستندات المتخصصة: كتابة التقارير التقنية ومقترحات التصميم ومستندات المراجعة المفصلة التي تعكس الشروط المعقدة والأدلة.
على سبيل المثال، يُستخدم لمراجعة رموز الأخطاء والسجلات ذات الصلة التي نشأت في خدمات متعددة معًا، أو في مهام تمتد من تحليل متطلبات الوظائف المعقدة إلى التنفيذ ومراجعة نتائج التحقق.
cip-5.5-sm
ينفّذ cip-5.5-sm الاستدلال المحلي وأتمتة الأعمال على خوادم الحافة وفي بيئات التشغيل المحلية. وبما أنه يمكن ضبط حجم النموذج ضمن نطاق 24B~40B، يمكن اختيار التكوين بما يتوافق مع موارد الحوسبة في أجهزة النشر ومستوى الأداء المطلوب في الموقع. ونظرًا إلى أنه يعالج البيانات بالقرب من نقطة إنشائها، فإنه يُستخدم لربط أنظمة الموقع والاستفادة من البيانات الداخلية، كما يمكن تشغيله حتى في البيئات ذات الاتصال الخارجي المحدود عند إعداد النماذج والأدوات اللازمة محليًا.
يتمثل دوره في تفسير المعلومات الناشئة في الموقع وربطها بإجراءات المعالجة. ويصنّف السجلات والطلبات، ويستخرج المعلومات اللازمة من البيانات، وينفّذ الأعمال المتكررة باستخدام الأدوات والبرامج النصية الداخلية المرتبطة.
- معالجة أحداث الموقع: يصنّف سجلات المعدات ومعلومات الحالة، ويحدّد الأحداث التي تتطلب التحقق.
- المعالجة المسبقة للبيانات: يستخرج العناصر الأساسية من سجلات العمل، ويصنّفها ويضع علامات عليها ويطبّعها.
- توجيه الطلبات: يرسل الطلبات الواردة إلى النظام المسؤول أو إجراء المعالجة المناسب.
- وكيل الأعمال المحلي: ينفّذ المهام المتكررة من خلال الاستعلام عن الأنظمة الداخلية وتشغيل البرامج النصية.
- دعم الأعمال في بيئة التشغيل المحلية: يجيب عن الأسئلة استنادًا إلى المواد الداخلية، وينظّم محتوى العمل.
- دعم التحليل اللاحق: يحدّد المواد التي تتطلب مراجعة إضافية، ويلخّص النقاط الرئيسية.
على سبيل المثال، يُستخدم في سير عمل يصنّف سجلات التشغيل على خادم الموقع، ثم يستعلم عن السجل ذي الصلة، وبعد ذلك يُعدّ ملخصًا للحادثة موجّهًا إلى المسؤول.
Cosa
Cosa هي مجموعة من منتجات الصوت التي تحوّل النص إلى كلام، وتتعرّف على الكلام المُدخل وتحوله إلى نص، وتتيح تسجيل الأصوات المطلوبة وإعادة استخدامها. وتُستخدم في إرشادات الخدمات، وإنشاء المحتوى، ودعم إمكانية الوصول، وواجهات الصوت الخاصة بالوكلاء التفاعليين.
يتولى cosa-a وcosa-b توليد الصوت، بينما يتولى cosa-asr التعرّف على الصوت. ويُعدّ cosa-a وcosa-b نموذجين منفصلين، يوفّر كل منهما قائمة أصواته وإعدادات التوليف الخاصة به، ويمكن اختيار كل منهما من خلال واجهة الخدمة نفسها. والوظائف التي يوفّرها النموذجان بشكل مشترك هي كما يلي.
- تحويل النص إلى كلام: يُحوِّل الجمل المُدخلة إلى كلام باستخدام الصوت المحدد.
- استنساخ الصوت: يسجّل صوتًا استنادًا إلى تسجيل مرجعي لديك صلاحية استخدامه، ثم يُحوِّل جملًا جديدة إلى كلام.
- تصميم الصوت: ينشئ صوتًا ويسجّله من خلال وصف الخصائص المطلوبة للصوت.
- إعادة استخدام الصوت: يستخدم الصوت المسجّل في عمليات التحويل اللاحقة.
- إعدادات التحويل: يضبط سرعة الكلام واللغة وغير ذلك.
- التسليم المتدفق: يحوِّل النص إلى كلام مقطعًا مقطعًا فور وصوله، ثم يسلّم الصوت بالتتابع.
- التحكم في التشغيل: يدعم الإيقاف المؤقت والاستئناف والإيقاف وإدخال جمل إضافية.
يتيح استخدام الإدخال التدريجي للنص بدء تشغيل الصوت قبل اكتمال الإجابة بالكامل. ويمكن تكوين خدمة تقرأ فيها Cosa المقاطع الجاهزة أثناء كتابة CIP للإجابة.
cosa-a
يدعم cosa-a تحويل النص إلى كلام، واستنساخ الصوت، وتصميم الصوت، والإخراج المتدفق. وإلى جانب الوظائف الأساسية لاختيار الصوت واللغة وسرعة الكلام، يوفر عناصر تحكم إضافية، مثل عدد خطوات التحويل، وقوة التوجيه، وإعدادات تتعلق بطول التوليد. ويُستخدم لضبط الإعدادات ومراجعة النتائج أثناء إنتاج الصوت، أو لتطبيق إعدادات متعددة على النص نفسه واختيار النتيجة المناسبة.
- تحويل الإرشادات والتنبيهات في التطبيقات والأكشاك وأنظمة العمل إلى كلام.
- إنشاء مواد التدريب وأدلة الاستخدام بصيغة صوتية.
- إنتاج التعليق الصوتي لمحتوى الفيديو والصوت.
- إنتاج محتوى متكرر باستخدام الأصوات المسجّلة.
- استخدامه لإخراج صوتي متدفق للوكلاء التفاعليين.
- استخدامه في إنتاج الصوت مع ضبط إعدادات التحويل التفصيلية.
cosa-b
يدعم cosa-b اختيار الأصوات المعدّة مسبقًا، وتصميم الصوت استنادًا إلى الوصف، واستنساخ الصوت استنادًا إلى صوت مرجعي، والإخراج المتدفق. ويمكن اختيار صوت من قائمة الأصوات الخاصة بك أو تسجيل صوت جديد لاستخدامه في الخدمة.
يستخدم استنساخ الصوت تسجيلًا مرجعيًا والنص المطابق له. كما يدعم مسارًا لإنشاء النص المرجعي من خلال التعرّف على الكلام أثناء التسجيل، ويمكن إعادة استخدام الصوت المسجّل في عمليات التحويل اللاحقة.
- إنشاء شخصية صوتية للخدمات والشخصيات.
- إنتاج صوت مخصص من خلال وصف أو تسجيل مرجعي.
- تحويل الإرشادات الخاصة بالعلامة التجارية، وحوارات الشخصيات، والتعليق الصوتي للمحتوى إلى كلام.
- استخدامه للاستجابات الصوتية للوكلاء التفاعليين.
- تحويل رسائل الإرشاد والنصوص المتغيرة إلى كلام بالصوت نفسه.
عند الاختيار بين cosa-a وcosa-b، استندوا إلى الصوت المطلوب، ونتيجة التوليف الفعلية، وعناصر التحكم اللازمة.
| العنصر | cosa-a | cosa-b |
|---|---|---|
| إعدادات التوليف | إعدادات تتعلق بعدد مراحل التوليف، وشدة التوجيه، وطول التوليد، بالإضافة إلى الصوت واللغة وسرعة الكلام | الإعدادات المشتركة مثل سرعة الكلام واللغة |
| مدخلات الاستنساخ | تسجيل مرجعي تملكون حق استخدامه | تسجيل مرجعي ونص مطابق له. يمكن إنشاء النص المرجعي بالتعرف على الكلام أثناء عملية التسجيل |
| الدور | توليد الصوت باستخدام عناصر تحكم تفصيلية في التوليف | اختيار الصوت وتوليد صوت مخصص |
cosa-asr
يحوّل cosa-asr الصوت المُدخل إلى نص. ويُستخدم لتوثيق التسجيلات أو تحويل الطلبات الواردة صوتيًا إلى مدخلات يمكن لأنظمة العمل اللاحقة معالجتها.
- نسخ المذكرات الصوتية والتسجيلات.
- تحويل الأسئلة وطلبات العمل المستندة إلى الصوت إلى مدخلات.
- إنشاء نصوص مرجعية لاستنساخ الصوت.
- استخدامه في عمليات تلي النسخ، مثل التلخيص والتصنيف والبحث.
عند إرسال نتائج النسخ إلى CIP، يمكن متابعة ذلك بتلخيص المحتوى، وتصنيف الطلبات، وإعداد مسودات العمل. ومن خلال توليف نتائج المعالجة باستخدام cosa-a أو cosa-b، تصبح الخدمة نظام عمل يتضمن إدخالًا وإخراجًا صوتيين.
Cova
cova-1 هو نموذج مخصص لـ OCR المرئي قائم على LLM. يتعرف على النصوص في المستندات والصور، ويستخرج التخطيط وبنية الجداول، ويقدم أوصافًا موجزة للعناصر المرئية.
يحوّل المستندات التي يراها الأشخاص إلى صيغة يسهل على الوكلاء وأنظمة العمل استخدامها. إذ يستخرج النص الأساسي والجداول في صورة محتوى منظم، وينقل الصور المضمنة في المستندات على شكل أوصاف موجزة، مما يتيح للوكلاء اللاحقين فهم محتوى المستند وسياقه المرئي معًا. ومن خلال اعتماد سير عمل يبدأ بفهم المواد باستخدام النصوص والأوصاف المستخرجة، ثم يراجع لاحقًا الأصول التي تحتاج إلى تحقق تفصيلي فقط، يمكن تقليل تكرار إدخال الصور الأصلية وتوفير رموز السياق.
| الوظيفة | الوصف |
|---|---|
| التعرّف على النص | يستخرج النص من المستندات الممسوحة ضوئيًا أو المصوّرة. |
| تفسير التخطيط | يقسّم المحتوى إلى كتل مع مراعاة تخطيط المستند. |
| توفير معلومات الموقع | يوفّر مواقع الكتل المتعرّف عليها لربط نتائج الاستخراج بالنص الأصلي. |
| استخراج بنية الجداول | يهيكل محتوى الجداول لاستخدامه في البحث ومعالجة البيانات. |
| وصف موجز للصور | يصف محتوى الصور والعناصر المرئية بإيجاز، مما يزوّد الوكيل بقرائن للتفسير. |
| تحسين كفاءة السياق | يقلّل من تكرار إدخال الصورة الأصلية من خلال نقل المعلومات مع التركيز على النص والبنية ووصف الصورة. |
| التحليل التفصيلي الانتقائي | يساعد الوكيل على تحديد الصور الأصلية التي يجب التحقق منها بشكل إضافي. |
| تحويل تنسيق المستند | ينظّم نتائج التعرّف بصيغة HTML أو Markdown. |
- رقمنة المستندات: يحوّل المستندات الورقية والمواد الممسوحة ضوئيًا إلى مواد نصية.
- استلام مستندات العمل: يستخرج المحتوى من الطلبات ومواد الإثبات والتقارير.
- معالجة بيانات الجداول: يستخدم الجداول المضمّنة في المستندات لمعالجة البيانات لاحقًا.
- المعالجة المسبقة للبحث في المعرفة: يحوّل صور المستندات والمواد المرئية إلى نصوص وهياكل قابلة للبحث.
- أتمتة مراجعة المستندات: ينقل نتائج الاستخراج إلى CIP للتحقق من البنود والتلخيص والمقارنة بين المواد.
- تحسين مدخلات الوكلاء: ينظّم متن المستندات الطويلة والجداول وأوصاف الصور لإيصال المعلومات اللازمة فقط.
على سبيل المثال، يستخرج متن التقرير والجداول، ويصف الرسم البياني المضمّن بأنه رسم يوضّح اتجاه المبيعات حسب الربع. يستطيع الوكيل من خلال هذا الوصف فهم وجود الرسم البياني والغرض منه، ثم يراجع الأصل المعني بشكل إضافي عند الحاجة إلى أرقام أو اتجاهات دقيقة.
ربط مجموعة المنتجات
يتيح ربط المنتجات تكوين التدفق التالي.
- العمل المستند إلى المستندات: يستخرج Cova متن المستندات والجداول وأوصاف الصور، ويتحقق CIP بشكل انتقائي من الأصول اللازمة لإجراء التحليل ومعالجة الأعمال، ثم ينقل Cosa النتائج صوتيًا.
- العمل المستند إلى الصوت: يحوّل Cosa ASR الطلبات الصوتية إلى نص، ويقرأ cosa-a أو cosa-b الإجابات التي عالجها CIP.
- الأتمتة الميدانية: يصنّف cip-5.5-sm البيانات الميدانية وينفّذ الأعمال المحلية، وينقل المواد التي تتطلب تحليلًا تكامليًا إضافيًا إلى cip-5.5-im أو cip-5.5-mm.
الاستدعاءات المسموح بها في البوابة
تحدد خطط البوابة الاستدعاءات المسموح بها لكل نموذج. يوضح الجدول أدناه النطاقات التي تتيحها خطط LLM_FREE وTTS_FREE وSTT_FREE، ويتم تطبيق هذه الخطط تلقائيًا دون الحاجة إلى تقديم طلب. ولا يتضمن الجدول النماذج التي تُفتح عبر مسارات أخرى.
| معرّف النموذج | الاستدعاءات المسموح بها | الخطة الأساسية |
|---|---|---|
| cip-5.5-im | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-im-chat | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm-h | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cosa-a | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-b | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-tts | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-asr | audio.transcriptions | STT_FREE |
| ivy-4-embedding | embeddings | LLM_FREE |
| ivy-4-embedding-mm | embeddings | LLM_FREE |
| ivy-4-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
cip-5.5-sm وcova-1 غير موجودين في جدول هذه الخطة. إن معرّفات النماذج cip-5.5-im-chat وcip-5.5-mm-h وcosa-tts وivy-4-embedding وivy-4-embedding-mm وivy-4-mm في الجدول غير مضمّنة في أوصاف المنتجات أعلاه. يوضّح مستند استدعاء API المسار الذي ينتمي إليه مفتاح الاستدعاء.
