מודל

מודלי CLEVI מחולקים לשלוש משפחות מוצרים: CIP, האחראית על אינטליגנציה כללית ואוטומציה של משימות; Cosa, האחראית על יצירה וזיהוי של קול; ו-Cova, האחראית על חילוץ מידע ממסמכים ומסמונות. ניתן להשתמש בכל מוצר באופן עצמאי, או לחבר אותם לשירותים הממשיכים מזיהוי מסמכים וניתוח ועד לביצוע משימות ולהנחיה קולית.

CIP

CIP אחראית על אינטליגנציה כללית ואוטומציה של משימות. היא כוללת את cip-5.5-im ואת cip-5.5-mm, הנקראים דרך שער, ואת cip-5.5-sm, הנפרס בשרתי קצה ובסביבות מקומיות.

cip-5.5-im ו-cip-5.5-mm

cip-5.5-im מתאים למשימות שבהן המטרה והיקף העבודה מוגדרים בבירור. דוגמאות מרכזיות לכך הן חילוץ המידע הנדרש מהחומרים שסופקו, כתיבת תוצרים בפורמט指定, ושינוי קוד בהתאם לדרישות. פלט של עד 64K משמש לכתיבת דוחות מפורטים או תוצרים המורכבים מחלקים רבים.

• סיוע בפיתוח: כתיבת פונקציות ותכונות, תיקון באגים בעלי היקף מוגדר ויישום בהתאם לדפוסים קיימים.
• יצירת בדיקות: כתיבת טיוטות בדיקה ומקרי אימות על סמך הדרישות והמימוש.
• עיבוד מסמכים: ביצוע סיכום, סיווג, חילוץ פריטים, המרת פורמטים וכתיבת טיוטות.
• ניתוח מולטימודלי: סקירת תמונות מסך וטבלאות ותרשימים במסמכים, יחד עם ההסברים הרלוונטיים.
• סיוע אינטראקטיבי בעבודה: מענה על שאלות על סמך חומרי העבודה וכתיבת התוצרים הנדרשים.
• עיבוד בהיקף גדול: סיכום נפרד של מסמכים רבים, סיווג בקשות והמרת נתונים.
• סוכן משנה: ביצוע משימות משנה בעלות גבולות ברורים, כגון חקירת קוד, סקירת קובץ מסוים וארגון חומרים.

לדוגמה, ניתן להשתמש בו כדי לקבל דרישות תכונה וקוד קשור ולכתוב הצעת שינוי, בדיקות והסבר על השינויים, או כדי לסווג מסמכי קבלה וליצור סיכום עבור האחראי.

cip-5.5-mm מתאים למשימות שבהן יש להבין את הקשרים בין המידע ולשמור על עקביות לאורך העבודה כולה. בפיתוח, הוא בוחן את הקשרים בין הדרישות, התכנון, המימוש והבדיקות; ובניתוח מסמכים, הוא משלב את הטענות והראיות, ההבדלים והסתירות בין חומרים מרובים.

• מימוש תכונות מורכבות: שינוי קוד, בדיקות ותיעוד יחד, תוך התחשבות בחוזים ובהתנהגות של מספר מודולים.
• ניתוח קוד בהיקף גדול: בחינת קשרי קריאות, זרימת נתונים והיקף השפעת השינויים.
• ניתוח גורמי תקלות: השוואת יומנים, הגדרות, קוד ותוצאות הרצה, וארגון השערות לגבי הגורם ונהלי האימות.
• תמיכה בתכנון ובקבלת החלטות: בניית מבנה לדרישות ולאילוצים וניתוח ההשפעה של חלופות המימוש.
• ניתוח משולב של מסמכים רבים: ארגון נקודות הדמיון, ההבדלים והסתירות בדוחות ובמסמכים טכניים על בסיס ראיות.
• סקירה משולבת מולטימודלית: פרשנות משותפת של טקסט וחומרים חזותיים לצורך ניתוח בעיות ודרישות.
• סוכן רב-שלבי: מתאים למשימות הכוללות חקירה, תכנון, ביצוע כלים וסקירת התוצאות.
• כתיבת מסמכים מקצועיים: כתיבת דוחות טכניים, הצעות תכנון ומסמכי סקירה מפורטים המשקפים תנאים מורכבים וראיות.

לדוגמה, משתמשים בו לסקירת קודי שגיאה ולוגים קשורים ממספר שירותים יחד, או לתהליכים הכוללים ניתוח דרישות של פונקציות מורכבות, דרך מימוש ועד סקירת תוצאות האימות.

cip-5.5-sm

cip-5.5-sm מבצע הסקה מקומית ואוטומציה של תהליכים עסקיים בשרתי קצה ובסביבות מקומיות. ניתן להתאים את גודל המודל בטווח של 24B~40B, ולכן אפשר לבחור תצורה בהתאם למשאבי החישוב של ציוד הפריסה ולביצועים הנדרשים בשטח. מאחר שהעיבוד מתבצע בקרבת המקום שבו הנתונים נוצרים, הוא משמש לשילוב עם מערכות בשטח ולניצול נתונים פנימיים. אם מגדירים את המודלים והכלים הנדרשים באופן מקומי, ניתן להפעילו גם בסביבות שבהן החיבור החיצוני מוגבל.

הוא מפרש מידע שנוצר בשטח ומחבר אותו להליכי עיבוד. הוא מסווג יומנים ובקשות, מחלץ את המידע הנדרש מהנתונים ומבצע משימות חוזרות באמצעות כלים פנימיים וסקריפטים מחוברים.

• עיבוד אירועים בשטח: מסווג יומני ציוד ומידע על מצב, ובוחר את האירועים הדורשים בדיקה.
• עיבוד מקדים של נתונים: מחלץ פריטים מרכזיים מרשומות עבודה ומבצע סיווג, תיוג ונרמול.
• ניתוב בקשות: מעביר בקשות שהתקבלו למערכת האחראית או להליך העיבוד המתאים.
• סוכן משימות מקומי: מבצע משימות חוזרות באמצעות חיפוש במערכות פנימיות והפעלת סקריפטים.
• תמיכה במשימות בסביבה מקומית: משיב על שאלות על סמך חומרים פנימיים ומסכם את תוכן העבודה.
• תמיכה בניתוח המשך: בוחר חומרים הדורשים בדיקה נוספת ומסכם את עיקרי התוכן.

לדוגמה, משתמשים בו בתהליך שבו מסווגים יומני תפעול בשרת של אתר עסקי, מחפשים היסטוריה קשורה ולאחר מכן מכינים סיכום אירוע עבור האחראי.

Cosa

Cosa היא משפחת מוצרי קול שממירה טקסט לדיבור, מזהה דיבור קלט כטקסט ומאפשרת לרשום קולות רצויים לשימוש חוזר. היא משמשת להנחיות שירות, ליצירת תוכן, לתמיכה בנגישות ולממשק קולי של סוכנים אינטראקטיביים.

יצירת הדיבור מתבצעת באמצעות cosa-a ו-cosa-b, וזיהוי הדיבור מתבצע באמצעות cosa-asr. cosa-a ו-cosa-b הם מודלים נפרדים, שכל אחד מהם מספק רשימת קולות והגדרות סינתזה משלו, וניתן לבחור בהם באותו ממשק שירות. התכונות המשותפות לשני המודלים הן כדלקמן.

• המרת טקסט לדיבור: מסנתזת את המשפט שהוזן בקול שנבחר.
• שכפול קול: רושמים קול על בסיס הקלטת ייחוס שיש הרשאה להשתמש בה, ומסנתזים משפטים חדשים.
• עיצוב קול: יוצרים ורושמים קול באמצעות תיאור המאפיינים הרצויים שלו.
• שימוש חוזר בקול: משתמשים בקול הרשום לסינתזה עתידית.
• הגדרות סינתזה: מכוונים את מהירות הדיבור, השפה ועוד.
• העברה בסטרימינג: מסנתזים את הטקסט לפי משפטים עם הגעתו ומעבירים את האודיו ברצף.
• בקרת השמעה: תומכת בהשהיה, המשך, עצירה והזנת משפטים נוספים.

באמצעות הזנת טקסט הדרגתית, ניתן להתחיל את השמעת הקול לפני שהתגובה כולה הושלמה. בזמן ש-CIP כותב את התגובה, ניתן להגדיר שירות שבו Cosa מקריאה את המשפטים המוכנים.

cosa-a

cosa-a תומכת בהמרת טקסט לדיבור, שכפול קול, עיצוב קול ופלט בסטרימינג. בנוסף לפונקציות הבסיסיות של בחירת קול, שפה ומהירות דיבור, היא מספקת פריטי בקרה נוספים, כגון הגדרות הקשורות למספר שלבי הסינתזה, לעוצמת ההנחיה ולאורך ההפקה. היא משמשת להתאמת ההגדרות ולבחינת התוצאות במהלך תהליך יצירת הקול, או להחלת הגדרות שונות על אותו תסריט ולבחירת התוצאה.

• מסנתזים הנחיות והתראות עבור אפליקציות, קיוסקים ומערכות עסקיות.
• יוצרים חומרי הדרכה ומדריכי שימוש בקול.
• מפיקים קריינות לתוכן וידאו ואודיו.
• יוצרים תוכן חוזר באמצעות קול רשום.
• משתמשים בה לפלט קולי בסטרימינג של סוכנים אינטראקטיביים.
• משתמשים בה ליצירת קול תוך התאמת הגדרות סינתזה מפורטות.

cosa-b

cosa-b תומכת בבחירת קולות מוגדרים מראש, בעיצוב קול המבוסס על תיאור, בשכפול המבוסס על קול ייחוס ובפלט בסטרימינג. ניתן לבחור קול מתוך רשימת הקולות העצמאית או לרשום קול חדש לשימוש בשירות.

לשכפול קול משתמשים בהקלטת ייחוס ובטקסט המתאים לה. היא תומכת גם בתהליך שבו טקסט הייחוס נוצר באמצעות זיהוי קול במהלך הרישום, והקול הרשום ניתן לשימוש חוזר בסינתזה עתידית.

• מרכיבים את פרסונת הקול של השירות והדמות.
• יוצרים קול מותאם אישית באמצעות תיאור או הקלטת ייחוס.
• מסנתזים הנחיות מותג, דיאלוגים של דמויות וקריינות לתוכן.
• משתמשים בו לתגובות קוליות של סוכנים אינטראקטיביים.
• מסנתזים הודעות הנחיה ותסריטים משתנים באותו קול.

בעת הבחירה בין cosa-a לבין cosa-b, התבססו על הקול הרצוי, תוצאת הסינתזה בפועל ופריטי הבקרה הנדרשים.

cosa-asr

cosa-asr ממיר קול קלט לטקסט. הוא מתמלל חומר מוקלט או ממיר בקשות שהתקבלו בקול לקלט שמערכות עבודה המשך יכולות לעבד.

• מתמלל תזכורות קוליות וחומר מוקלט.
• ממיר שאלות ובקשות עבודה מבוססות קול לקלט.
• יוצר טקסט ייחוס לשכפול קול.
• משמש לעיבוד הממשיך לאחר התמלול, כגון סיכום, סיווג וחיפוש.

העברת תוצאות התמלול ל-CIP מובילה לסיכום התוכן, לסיווג הבקשות וליצירת טיוטות עבודה. סינתזה של תוצאות העיבוד באמצעות cosa-a או cosa-b הופכת את השירות למערכת עבודה עם קלט ופלט קוליים.

Cova

cova-1 הוא מודל ייעודי ל-OCR חזותי המבוסס על LLM. הוא מזהה טקסט במסמכים ובתמונות, מחלץ את פריסת המסמך ואת מבנה הטבלאות ומספק תיאורים קצרים של רכיבים חזותיים.

הוא ממיר מסמכים כפי שאנשים רואים אותם לפורמט שנוח לסוכנים ולמערכות עבודה להשתמש בו. גוף הטקסט והטבלאות מחולצים כתוכן מובנה, והתמונות הכלולות במסמך מועברות כתיאורים קצרים, כך שסוכנים בהמשך יכולים להבין יחד את תוכן המסמך ואת ההקשר החזותי שלו. בניית תהליך שבו מבינים תחילה את החומר באמצעות הטקסט והתיאורים שחולצו, ובודקים בהמשך רק את המקור שדורש אימות מפורט, מפחיתה את הצורך להזין שוב ושוב את תמונת המקור וחוסכת אסימוני הקשר.

• דיגיטציה של מסמכים: ממיר מסמכי נייר וחומרים סרוקים לחומרים מבוססי טקסט.
• קליטת מסמכי עבודה: מחלץ תוכן מטפסי בקשה, מסמכים תומכים ודוחות.
• עיבוד נתוני טבלאות: משתמש בטבלאות הכלולות במסמכים לעיבוד נתונים בהמשך.
• עיבוד מקדים לחיפוש ידע: ממיר תמונות מסמכים וחומרים חזותיים לטקסט ולמבנה הניתנים לחיפוש.
• אוטומציה של סקירת מסמכים: מעביר את תוצאות החילוץ ל-CIP לצורך בדיקת פריטים, סיכום והשוואה בין חומרים.
• אופטימיזציה של קלט לסוכן: מסדר את גוף הטקסט, הטבלאות ותיאורי התמונות במסמכים ארוכים, ומעביר רק את המידע הנדרש.

לדוגמה, תוך חילוץ גוף הטקסט והטבלאות מדוח, הוא מתאר גרף משובץ כגרף המציג את מגמת המכירות לפי רבעונים. הסוכן מבין באמצעות תיאור זה את קיומו של הגרף ואת מטרתו, וכאשר נדרשים נתונים מדויקים או מגמות, הוא בודק בנוסף את המקור הרלוונטי.

חיבור מוצרים

חיבור המוצרים מאפשר להרכיב את הזרימות הבאות.

• עבודה מבוססת מסמכים: Cova מחלץ את גוף הטקסט, הטבלאות ותיאורי התמונות, CIP בודק באופן סלקטיבי את המקורות הנדרשים ומבצע ניתוח ועיבוד משימות, ו-Cosa מעביר את התוצאות בקול.
• עבודה מבוססת קול: Cosa ASR ממיר בקשות קוליות לטקסט, ו-cosa-a או cosa-b מקריאים את התשובות שעובדו על ידי CIP.
• אוטומציה בשטח: cip-5.5-sm מסווג נתוני שטח ומבצע משימות מקומיות, ומעביר חומרים הדורשים ניתוח כולל נוסף ל-cip-5.5-im או ל-cip-5.5-mm.

קריאות שהותרו בשער

התוכניות של השער קובעות את הקריאות המותרות לכל מודל. הטבלה שלהלן מציגה את היקף הגישה שהתוכניות LLM_FREE, TTS_FREE ו-STT_FREE מאפשרות; תוכניות אלה מוחלות אוטומטית ללא צורך בהגשת בקשה. היא אינה כוללת מודלים שנפתחו באמצעות נתיבים אחרים.

cip-5.5-sm ו-cova-1 אינם מופיעים בטבלת התוכנית הזו. cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm ו-ivy-4-mm בטבלה הם מזהי מודלים שאינם כלולים בתיאורי המוצרים שלעיל. מידע על הנתיב שאליו שייך מפתח הקריאה מופיע במסמך קריאה ל-API.