Developer guide
મોડેલ
મોડેલનો સારાંશ
CLEVI મોડેલો સામાન્ય બુદ્ધિમત્તા અને કાર્ય સ્વચાલન માટેના CIP, અવાજ નિર્માણ અને ઓળખ માટેના Cosa, અને દસ્તાવેજો તથા છબીઓમાંથી માહિતી કાઢવા માટેના Cova—આ ત્રણ પ્રોડક્ટ શ્રેણીઓમાં વહેંચાયેલા છે. દરેક પ્રોડક્ટનો સ્વતંત્ર રીતે ઉપયોગ કરી શકાય છે અથવા દસ્તાવેજ ઓળખ, વિશ્લેષણ, કાર્ય સંપાદન અને અવાજ માર્ગદર્શન સુધી જોડાતી સેવા તરીકે ઉપયોગ કરી શકાય છે.
| પ્રોડક્ટ | મોડેલ ID | મુખ્ય વિશિષ્ટતાઓ | મુખ્ય ભૂમિકા |
|---|---|---|---|
| CIP-5.5-SM | cip-5.5-sm | 24B~40B એડજસ્ટેબલ | એજ સર્વર અને સ્થાનિક કાર્ય સ્વચાલન |
| CIP-5.5-IM | cip-5.5-im | 360B · ઇનપુટ 256K · આઉટપુટ 64K · મલ્ટિમોડલ | સામાન્ય કાર્ય પ્રક્રિયા. પ્રતિસાદની ઝડપ અને થ્રુપુટને પ્રાથમિકતા |
| CIP-5.5-MM | cip-5.5-mm | 800B · ઇનપુટ 512K · આઉટપુટ 64K · મલ્ટિમોડલ | લાંબા સંદર્ભનું વિશ્લેષણ અને જટિલ સમસ્યાઓનું નિરાકરણ |
| Cosa-A | cosa-a | વાણી સંશ્લેષણ·પ્રતિકૃતિ·ડિઝાઇન·સ્ટ્રીમિંગ | વિગતવાર સંશ્લેષણ નિયંત્રણનો ઉપયોગ કરીને અવાજ નિર્માણ |
| Cosa-B | cosa-b | વાણી સંશ્લેષણ·પ્રતિકૃતિ·ડિઝાઇન·સ્ટ્રીમિંગ | અવાજની પસંદગી અને કસ્ટમ અવાજ નિર્માણ |
| Cosa ASR | cosa-asr | વાણી ઓળખ | વાણી ઇનપુટને ટેક્સ્ટમાં રૂપાંતરિત કરવું |
| Cova | cova-1 | LLM આધારિત વિઝન OCR માટે સમર્પિત | ટેક્સ્ટ·લેઆઉટ·કોષ્ટક નિષ્કર્ષણ અને સરળ છબી વર્ણન |
CIP
CIP સામાન્ય બુદ્ધિમત્તા અને કાર્ય સ્વચાલન માટે જવાબદાર છે. તેમાં ગેટવે દ્વારા કૉલ કરવામાં આવતા cip-5.5-im અને cip-5.5-mm, તેમજ એજ સર્વર અને ઑન-પ્રિમાઇસિસ પર ડિપ્લોય કરવામાં આવતા cip-5.5-smનો સમાવેશ થાય છે.
cip-5.5-im અને cip-5.5-mm
| આઇટમ | cip-5.5-im | cip-5.5-mm |
|---|---|---|
| કદ | 360B | 800B |
| ઇનપુટ મર્યાદા | 256K | 512K |
| મહત્તમ આઉટપુટ | 64K | 64K |
| ઇનપુટ ફોર્મેટ | ટેક્સ્ટ અને દૃશ્ય સામગ્રી (દસ્તાવેજો, સ્ક્રીન છબીઓ, કોષ્ટકો·આકૃતિઓ) | ટેક્સ્ટ અને દૃશ્ય સામગ્રી (કોડ·દસ્તાવેજો·સ્ક્રીન સામગ્રીને એકીકૃત કરીને સમીક્ષા) |
| ડિઝાઇનનો હેતુ | પ્રતિસાદની ઝડપ, ખર્ચ કાર્યક્ષમતા અને થ્રુપુટ પર ધ્યાન કેન્દ્રિત કરીને દૈનિક જ્ઞાન આધારિત કાર્યો અને વિકાસ કાર્યો સંભાળે છે. | વિવિધ સામગ્રી અને શરતોને એકસાથે ધ્યાનમાં લઈને વિશ્લેષણના પરિણામોને વાસ્તવિક કાર્યો સાથે જોડતા જટિલ કાર્યો સંભાળે છે. |
| લાંબા ઇનપુટનો ઉપયોગ | વિવિધ દસ્તાવેજો, કોડ ફાઇલો અને સંવાદ ઇતિહાસની એકસાથે સમીક્ષા કરે છે. | વિશાળ સંદર્ભ સામગ્રી અને કાર્ય ઇતિહાસને એકસાથે સંભાળે છે અને સંશોધન·અમલ·ચકાસણી અનેક તબક્કામાં આગળ વધતા એજન્ટ કાર્યો કરે છે. |
cip-5.5-im સ્પષ્ટ લક્ષ્યો અને કાર્યક્ષેત્ર ધરાવતા કાર્યો માટે યોગ્ય છે. પ્રદાન કરેલી સામગ્રીમાંથી જરૂરી માહિતી કાઢવી, નિર્દિષ્ટ ફોર્મેટમાં પરિણામ તૈયાર કરવું અને આવશ્યકતાઓ અનુસાર કોડમાં ફેરફાર કરવો તેના સામાન્ય ઉપયોગો છે. મહત્તમ 64K આઉટપુટનો ઉપયોગ વિગતવાર અહેવાલો અથવા અનેક ભાગોથી બનેલા પરિણામો તૈયાર કરવા માટે થાય છે.
- વિકાસ સહાય: ફંક્શન અને સુવિધાઓ લખે છે, સ્પષ્ટ કાર્યક્ષેત્ર ધરાવતી ભૂલો સુધારે છે અને હાલની પેટર્ન અનુસાર અમલીકરણ કરે છે.
- ટેસ્ટ જનરેશન: આવશ્યકતાઓ અને અમલીકરણના આધારે ટેસ્ટના ડ્રાફ્ટ અને ચકાસણીના કેસ તૈયાર કરે છે.
- દસ્તાવેજ પ્રક્રિયા: સારાંશ, વર્ગીકરણ, આઇટમ નિષ્કર્ષણ, ફોર્મેટ રૂપાંતર અને ડ્રાફ્ટ તૈયાર કરવાનું સંભાળે છે.
- મલ્ટીમોડલ વિશ્લેષણ: સંબંધિત સમજૂતી સાથે સ્ક્રીન છબીઓ અને દસ્તાવેજોના કોષ્ટકો તથા ચાર્ટની સમીક્ષા કરે છે.
- ઇન્ટરેક્ટિવ કાર્ય સહાય: કાર્યસામગ્રીના આધારે પ્રશ્નોના જવાબ આપે છે અને જરૂરી પરિણામો તૈયાર કરે છે.
- મોટા પાયે પ્રક્રિયા: અનેક દસ્તાવેજોના વ્યક્તિગત સારાંશ, વિનંતીઓનું વર્ગીકરણ અને ડેટા રૂપાંતર માટે ઉપયોગી છે.
- સબ-એજન્ટ: કોડની શોધખોળ, ચોક્કસ ફાઇલોની સમીક્ષા અને સામગ્રીનું આયોજન જેવી સ્પષ્ટ સીમા ધરાવતી ઉપ-કાર્યો સંભાળે છે.
ઉદાહરણ તરીકે, સુવિધાની આવશ્યકતાઓ અને સંબંધિત કોડ મેળવીને સુધારાનો પ્રસ્તાવ, ટેસ્ટ અને ફેરફારોનું વર્ણન તૈયાર કરવા અથવા પ્રાપ્ત દસ્તાવેજોનું વર્ગીકરણ કરીને જવાબદાર વ્યક્તિ માટે સારાંશ બનાવવા માટે તેનો ઉપયોગ થાય છે.
cip-5.5-mm માહિતી વચ્ચેના સંબંધોને સમજવા અને સમગ્ર કાર્યમાં સુસંગતતા જાળવવાની જરૂર હોય તેવા કાર્યો માટે યોગ્ય છે. વિકાસમાં તે આવશ્યકતાઓ, ડિઝાઇન, અમલીકરણ અને ટેસ્ટ વચ્ચેના જોડાણની સમીક્ષા કરે છે, જ્યારે દસ્તાવેજ વિશ્લેષણમાં અનેક સામગ્રીના દાવા અને આધાર, તફાવતો તથા વિરોધાભાસોને સંકલિત કરે છે.
- જટિલ સુવિધા અમલીકરણ: અનેક મોડ્યુલોના કરારો અને વર્તણૂકને ધ્યાનમાં રાખીને કોડ, ટેસ્ટ અને દસ્તાવેજોમાં એકસાથે ફેરફાર કરે છે.
- મોટા પાયે કોડ વિશ્લેષણ: કૉલ સંબંધો, ડેટા પ્રવાહ અને ફેરફારોની અસરની હદની સમીક્ષા કરે છે.
- સમસ્યાના મૂળ કારણનું વિશ્લેષણ: લૉગ, સેટિંગ્સ, કોડ અને અમલીકરણના પરિણામોની તુલના કરીને કારણ અંગેની ધારણાઓ અને ચકાસણીની પ્રક્રિયા ગોઠવે છે.
- ડિઝાઇન અને નિર્ણય સહાય: આવશ્યકતાઓ અને મર્યાદાઓને સંરચિત કરે છે અને અમલીકરણના વિકલ્પોની અસરોનું વિશ્લેષણ કરે છે.
- બહુ-દસ્તાવેજ સંકલિત વિશ્લેષણ: અહેવાલો અને તકનીકી દસ્તાવેજોના સમાન મુદ્દા, તફાવતો અને વિરોધાભાસોને આધારિત રીતે ગોઠવે છે.
- મલ્ટીમોડલ સંકલિત સમીક્ષા: ટેક્સ્ટ અને દૃશ્ય સામગ્રીનું એકસાથે અર્થઘટન કરીને સમસ્યાઓ અને આવશ્યકતાઓનું વિશ્લેષણ કરે છે.
- બહુ-પગથિયાવાળા એજન્ટ: સંશોધન, આયોજન, ટૂલ ચલાવવું અને પરિણામની સમીક્ષા સુધી ચાલતા કાર્યો માટે ઉપયોગી છે.
- વ્યાવસાયિક દસ્તાવેજ લેખન: જટિલ શરતો અને આધારને પ્રતિબિંબિત કરતા તકનીકી અહેવાલો, ડિઝાઇન પ્રસ્તાવો અને વિગતવાર સમીક્ષા દસ્તાવેજો તૈયાર કરે છે.
ઉદાહરણ તરીકે, વિવિધ સેવાઓમાંથી ઉદ્ભવેલી ભૂલો માટે સંબંધિત કોડ અને લૉગની સાથે સમીક્ષા કરવા અથવા જટિલ સુવિધાની આવશ્યકતાઓના વિશ્લેષણથી લઈને અમલીકરણ અને ચકાસણીના પરિણામોની સમીક્ષા સુધીના કાર્યોમાં તેનો ઉપયોગ થાય છે.
cip-5.5-sm
cip-5.5-sm એ એજ સર્વર અને ઑન-પ્રિમાઇસિસ પર્યાવરણોમાં સ્થાનિક ઇન્ફરન્સ અને કાર્યસ્વચાલન કરે છે. મોડેલનું કદ 24B~40Bની શ્રેણીમાં સમાયોજિત કરી શકાય છે, તેથી ડિપ્લોયમેન્ટ ઉપકરણના કમ્પ્યુટિંગ સંસાધનો અને સ્થળની જરૂરી કાર્યક્ષમતા અનુસાર ગોઠવણી પસંદ કરી શકાય છે. ડેટા ઉત્પન્ન થતી જગ્યાની નજીક પ્રક્રિયા થતી હોવાથી તેનો ઉપયોગ સ્થળની સિસ્ટમ સાથે સંકલન અને આંતરિક ડેટાના ઉપયોગ માટે થાય છે. જરૂરી મોડેલ અને સાધનો સ્થાનિક રીતે ગોઠવવામાં આવે તો બાહ્ય જોડાણ મર્યાદિત હોય તેવા પર્યાવરણમાં પણ તેનું સંચાલન કરી શકાય છે.
સ્થળ પર ઉદ્ભવતી માહિતીને સમજવી અને તેને પ્રક્રિયાઓ સાથે જોડવી તેની ભૂમિકા છે. તે લૉગ અને વિનંતીઓને વર્ગીકૃત કરે છે, ડેટામાંથી જરૂરી માહિતી કાઢે છે અને જોડાયેલા આંતરિક સાધનો તથા સ્ક્રિપ્ટનો ઉપયોગ કરીને પુનરાવર્તિત કાર્યો કરે છે.
- સ્થળ પરની ઇવેન્ટ પ્રક્રિયા: ઉપકરણના લૉગ અને સ્થિતિની માહિતીને વર્ગીકૃત કરે છે અને ચકાસણી જરૂરી હોય તેવી ઇવેન્ટ પસંદ કરે છે.
- ડેટા પૂર્વપ્રક્રિયા: કાર્ય રેકૉર્ડમાંથી મુખ્ય મુદ્દાઓ કાઢીને તેમનું વર્ગીકરણ, ટૅગિંગ અને સામાન્યકરણ કરે છે.
- વિનંતી રૂટિંગ: પ્રાપ્ત થયેલી વિનંતીઓને જવાબદાર સિસ્ટમ અથવા પ્રક્રિયા સુધી પહોંચાડે છે.
- સ્થાનિક કાર્ય એજન્ટ: આંતરિક સિસ્ટમમાં માહિતી શોધવા અને સ્ક્રિપ્ટ ચલાવવા દ્વારા પુનરાવર્તિત કાર્યો કરે છે.
- ઑન-પ્રિમાઇસિસ કાર્ય સહાય: આંતરિક સામગ્રીના આધારે પ્રશ્નોના જવાબ આપે છે અને કાર્યની વિગતો ગોઠવે છે.
- અનુગામી વિશ્લેષણ સહાય: વધુ સમીક્ષા જરૂરી હોય તેવી સામગ્રી પસંદ કરે છે અને મુખ્ય મુદ્દાઓ ગોઠવે છે.
ઉદાહરણ તરીકે, વ્યવસાયિક સ્થળના સર્વર પર ઑપરેશન લૉગને વર્ગીકૃત કરીને સંબંધિત ઇતિહાસ તપાસ્યા પછી જવાબદાર વ્યક્તિ માટે ઘટનાનો સારાંશ તૈયાર કરવાની પ્રક્રિયામાં તેનો ઉપયોગ થાય છે.
Cosa
Cosa એ ટેક્સ્ટને અવાજમાં રૂપાંતરિત કરે છે, ઇનપુટ અવાજને ટેક્સ્ટ તરીકે ઓળખે છે અને ઇચ્છિત અવાજને રજિસ્ટર કરીને ફરીથી ઉપયોગમાં લેવાની સુવિધા આપતું વૉઇસ પ્રોડક્ટ પરિવાર છે. તેનો ઉપયોગ સેવા માર્ગદર્શન, કન્ટેન્ટ નિર્માણ, ઍક્સેસિબિલિટી સહાય અને સંવાદાત્મક એજન્ટના વૉઇસ ઇન્ટરફેસમાં થાય છે.
વૉઇસ જનરેશન cosa-a અને cosa-b કરે છે, જ્યારે વૉઇસ ઓળખ cosa-asr કરે છે. cosa-a અને cosa-b અલગ-અલગ મોડેલ છે, જે પોતપોતાની અવાજ સૂચિ અને સંશ્લેષણ સેટિંગ્સ પ્રદાન કરે છે અને તે જ સેવા ઇન્ટરફેસમાં પસંદ કરી શકાય છે. બંને મોડેલ દ્વારા સામાન્ય રીતે પ્રદાન કરવામાં આવતી સુવિધાઓ નીચે મુજબ છે.
- ટેક્સ્ટ-થી-સ્પીચ: દાખલ કરેલા વાક્યોને પસંદ કરેલા અવાજમાં સંશ્લેષિત કરે છે.
- અવાજની નકલ: ઉપયોગની પરવાનગી ધરાવતા સંદર્ભ રેકોર્ડિંગના આધારે અવાજ રજીસ્ટર કરીને નવા વાક્યોનું સંશ્લેષણ કરે છે.
- અવાજ ડિઝાઇન: ઇચ્છિત અવાજની વિશેષતાઓનું વર્ણન કરીને અવાજ બનાવે અને રજીસ્ટર કરે છે.
- અવાજનો પુનઃઉપયોગ: રજીસ્ટર કરેલા અવાજનો અનુગામી સંશ્લેષણમાં ઉપયોગ કરે છે.
- સંશ્લેષણ સેટિંગ્સ: બોલવાની ગતિ અને ભાષા વગેરેને સમાયોજિત કરે છે.
- સ્ટ્રીમિંગ ડિલિવરી: ટેક્સ્ટ પ્રાપ્ત થતાની સાથે જ વાક્યખંડ પ્રમાણે સંશ્લેષણ કરીને ઑડિયો ક્રમશઃ પહોંચાડે છે.
- પ્લેબેક નિયંત્રણ: થોભાવવું, ફરી શરૂ કરવું, રોકવું અને વધારાના વાક્યો દાખલ કરવાનું સમર્થન કરે છે.
ક્રમશઃ ટેક્સ્ટ ઇનપુટનો ઉપયોગ કરીને સંપૂર્ણ જવાબ તૈયાર થાય તે પહેલાં વૉઇસ પ્લેબેક શરૂ કરી શકાય છે. CIP જવાબ લખી રહ્યું હોય ત્યારે Cosa તૈયાર થયેલા વાક્યખંડોને વાંચી સંભળાવે તેવી સેવા ગોઠવી શકાય છે.
cosa-a
cosa-a ટેક્સ્ટ-થી-સ્પીચ, અવાજની નકલ, અવાજ ડિઝાઇન અને સ્ટ્રીમિંગ આઉટપુટને સમર્થન આપે છે. અવાજ, ભાષા અને બોલવાની ગતિ પસંદ કરવાની મૂળભૂત સુવિધાઓ ઉપરાંત, સંશ્લેષણના તબક્કાઓની સંખ્યા, ગાઇડન્સની તીવ્રતા અને જનરેશનની લંબાઈ સંબંધિત સેટિંગ્સ જેવા વધારાના નિયંત્રણ વિકલ્પો પણ પ્રદાન કરે છે. તેનો ઉપયોગ અવાજ બનાવવાની પ્રક્રિયામાં સેટિંગ્સ સમાયોજિત કરીને પરિણામોની સમીક્ષા કરવા અથવા એક જ સ્ક્રિપ્ટ પર વિવિધ સેટિંગ્સ લાગુ કરીને પરિણામ પસંદ કરવા માટે થાય છે.
- ઍપ, કિયોસ્ક અને બિઝનેસ સિસ્ટમ્સ માટેની સૂચનાઓ અને સૂચનાઓનું સંશ્લેષણ કરે છે.
- શૈક્ષણિક સામગ્રી અને ઉપયોગ માર્ગદર્શિકાઓને અવાજમાં રૂપાંતરિત કરે છે.
- વિડિયો અને ઑડિયો સામગ્રી માટે નૅરેશન તૈયાર કરે છે.
- રજીસ્ટર કરેલા અવાજથી પુનરાવર્તિત સામગ્રી તૈયાર કરે છે.
- ઇન્ટરેક્ટિવ એજન્ટના સ્ટ્રીમિંગ વૉઇસ આઉટપુટ માટે ઉપયોગ કરે છે.
- વિગતવાર સંશ્લેષણ સેટિંગ્સને સમાયોજિત કરીને અવાજ બનાવવામાં ઉપયોગ કરે છે.
cosa-b
cosa-b પ્રીસેટ અવાજની પસંદગી, વર્ણન આધારિત અવાજ ડિઝાઇન, સંદર્ભ અવાજ આધારિત નકલ અને સ્ટ્રીમિંગ આઉટપુટને સમર્થન આપે છે. પોતાની અવાજ સૂચિમાંથી અવાજ પસંદ કરી શકાય છે અથવા સેવામાં ઉપયોગ કરવા માટે નવો અવાજ રજીસ્ટર કરી શકાય છે.
અવાજની નકલ માટે સંદર્ભ રેકોર્ડિંગ અને તેને અનુરૂપ ટેક્સ્ટનો ઉપયોગ થાય છે. રજીસ્ટ્રેશન પ્રક્રિયા દરમિયાન વાણી ઓળખ દ્વારા સંદર્ભ ટેક્સ્ટ બનાવવાની પ્રક્રિયાને પણ સમર્થન આપવામાં આવે છે, અને રજીસ્ટર કરેલા અવાજનો અનુગામી સંશ્લેષણમાં પુનઃઉપયોગ કરી શકાય છે.
- સેવા અને પાત્ર માટેની વૉઇસ પર્સોના તૈયાર કરે છે.
- વર્ણન અથવા સંદર્ભ રેકોર્ડિંગ દ્વારા કસ્ટમ અવાજ બનાવે છે.
- બ્રાન્ડ સૂચનાઓ, પાત્રોના સંવાદો અને સામગ્રીનું નૅરેશન સંશ્લેષિત કરે છે.
- ઇન્ટરેક્ટિવ એજન્ટના વૉઇસ પ્રતિસાદ માટે ઉપયોગ કરે છે.
- એક જ અવાજમાં બદલાતી સૂચના સંદેશાઓ અને સ્ક્રિપ્ટનું સંશ્લેષણ કરે છે.
cosa-a અને cosa-bમાંથી એક પસંદ કરતી વખતે ઇચ્છિત અવાજ, વાસ્તવિક સંશ્લેષણ પરિણામ અને જરૂરી નિયંત્રણ વિકલ્પોને આધારે નિર્ણય લો.
| વિભાગ | cosa-a | cosa-b |
|---|---|---|
| સંશ્લેષણ સેટિંગ્સ | અવાજ, ભાષા અને બોલવાની ઝડપ ઉપરાંત સંશ્લેષણના તબક્કાઓની સંખ્યા, ગાઇડન્સની તીવ્રતા અને જનરેશનની લંબાઈ સંબંધિત સેટિંગ્સ | બોલવાની ઝડપ અને ભાષા જેવી સામાન્ય સેટિંગ્સ |
| ક્લોનિંગ ઇનપુટ | ઉપયોગની પરવાનગી ધરાવતું સંદર્ભ રેકોર્ડિંગ | સંદર્ભ રેકોર્ડિંગ અને તેને અનુરૂપ લખાણ. નોંધણી પ્રક્રિયા દરમિયાન વાણી ઓળખ દ્વારા સંદર્ભ લખાણ જનરેટ કરી શકાય છે |
| ભૂમિકા | વિગતવાર સંશ્લેષણ નિયંત્રણોનો ઉપયોગ કરીને અવાજ જનરેટ કરવો | અવાજ પસંદ કરીને કસ્ટમ અવાજ જનરેટ કરવો |
cosa-asr
cosa-asr ઇનપુટ અવાજને ટેક્સ્ટમાં રૂપાંતરિત કરે છે. તે રેકોર્ડિંગ સામગ્રીનું દસ્તાવેજીકરણ કરે છે અથવા અવાજ દ્વારા પ્રાપ્ત વિનંતીઓને અનુગામી કાર્યપ્રણાલીઓ દ્વારા પ્રક્રિયા કરી શકાય તેવા ઇનપુટમાં રૂપાંતરિત કરે છે.
- વૉઇસ નોટ્સ અને રેકોર્ડિંગ સામગ્રીનું ટ્રાન્સક્રિપ્શન કરે છે.
- અવાજ આધારિત પ્રશ્નો અને કાર્ય વિનંતીઓને ઇનપુટમાં રૂપાંતરિત કરે છે.
- અવાજ ક્લોનિંગ માટે સંદર્ભ લખાણ જનરેટ કરે છે.
- ટ્રાન્સક્રિપ્શન પછી સારાંશ, વર્ગીકરણ અને શોધ તરફ દોરી જતી પ્રક્રિયાઓ માટે તેનો ઉપયોગ કરે છે.
ટ્રાન્સક્રિપ્શન પરિણામો CIPને મોકલવાથી સામગ્રીના સારાંશ, વિનંતીઓના વર્ગીકરણ અને કાર્યના ડ્રાફ્ટ તૈયાર કરવા તરફ આગળ વધી શકાય છે. પ્રક્રિયા કરેલા પરિણામોને cosa-a અથવા cosa-b વડે સંશ્લેષિત કરવાથી અવાજ ઇનપુટ અને આઉટપુટ ધરાવતી કાર્ય સેવા બને છે.
Cova
cova-1 એ LLM આધારિત વિઝન OCR માટેનું વિશિષ્ટ મોડેલ છે. તે દસ્તાવેજો અને છબીઓમાંથી ટેક્સ્ટ ઓળખે છે, લેઆઉટ અને કોષ્ટકનું માળખું કાઢે છે અને દૃશ્ય તત્વોનું સંક્ષિપ્ત વર્ણન પ્રદાન કરે છે.
માનવીઓ જોઈ શકે તેવા દસ્તાવેજોને એજન્ટો અને કાર્યપ્રણાલીઓ માટે ઉપયોગી સ્વરૂપમાં રૂપાંતરિત કરે છે. મુખ્ય લખાણ અને કોષ્ટકોને સંરચિત સામગ્રી તરીકે કાઢવામાં આવે છે, જ્યારે દસ્તાવેજમાં સમાવિષ્ટ છબીઓનું સંક્ષિપ્ત વર્ણન આપવામાં આવે છે. તેથી અનુગામી એજન્ટ દસ્તાવેજની સામગ્રી અને દૃશ્ય સંદર્ભ બંને સમજી શકે છે. કાઢવામાં આવેલા ટેક્સ્ટ અને વર્ણનો વડે પહેલા સામગ્રીને સમજવી અને વિગતવાર ચકાસણી જરૂરી હોય તેવા મૂળ દસ્તાવેજોની જ પછીથી સમીક્ષા કરવી—આવો પ્રવાહ ગોઠવવાથી મૂળ છબીઓને વારંવાર ઇનપુટ તરીકે મોકલવાની જરૂરિયાત ઘટે છે અને કૉન્ટેક્સ્ટ ટોકન બચી શકે છે.
| સુવિધા | વર્ણન |
|---|---|
| ટેક્સ્ટ ઓળખ | સ્કેન કરેલા અથવા ફોટોગ્રાફ લેવામાં આવેલા દસ્તાવેજોમાંથી અક્ષરો કાઢે છે. |
| લેઆઉટ અર્થઘટન | દસ્તાવેજની ગોઠવણીને ધ્યાનમાં રાખીને સામગ્રીને બ્લોકમાં વિભાજિત કરે છે. |
| સ્થાનની માહિતી પ્રદાન | ઓળખાયેલા બ્લોકનું સ્થાન પ્રદાન કરીને કાઢેલા પરિણામોને મૂળ સામગ્રી સાથે જોડે છે. |
| ટેબલનું માળખું કાઢવું | ટેબલની સામગ્રીને સંરચિત કરીને શોધ અને ડેટા પ્રક્રિયા માટે ઉપયોગ કરે છે. |
| સરળ છબી વર્ણન | છબી અને દૃશ્ય તત્વોની સામગ્રીનું સંક્ષિપ્ત વર્ણન કરીને એજન્ટને અર્થઘટન માટે સંકેતો આપે છે. |
| સંદર્ભ કાર્યક્ષમતા વધારવી | ટેક્સ્ટ, માળખું અને છબીના વર્ણન પર ધ્યાન કેન્દ્રિત કરીને માહિતી પ્રદાન કરે છે, જેથી મૂળ છબીને વારંવાર ઇનપુટ કરવાની જરૂરિયાત ઘટે છે. |
| પસંદગીયુક્ત વિગતવાર વિશ્લેષણ | એજન્ટને વધુ તપાસ માટે કઈ મૂળ છબીની જરૂર છે તે નક્કી કરવામાં મદદ કરે છે. |
| દસ્તાવેજ ફોર્મેટ રૂપાંતરણ | ઓળખાયેલા પરિણામોને HTML અથવા Markdownમાં ગોઠવે છે. |
- દસ્તાવેજનું ડિજિટાઇઝેશન: કાગળના દસ્તાવેજો અને સ્કેન કરેલી સામગ્રીને ટેક્સ્ટ આધારિત સામગ્રીમાં રૂપાંતરિત કરે છે.
- કાર્ય દસ્તાવેજ સ્વીકાર: અરજીઓ, આધાર દસ્તાવેજો અને અહેવાલોમાંથી સામગ્રી કાઢે છે.
- ટેબલ ડેટા પ્રક્રિયા: દસ્તાવેજોમાં સમાવિષ્ટ ટેબલનો અનુગામી ડેટા પ્રક્રિયા માટે ઉપયોગ કરે છે.
- જ્ઞાન શોધ પૂર્વપ્રક્રિયા: દસ્તાવેજની છબીઓ અને દૃશ્ય સામગ્રીને શોધી શકાય તેવા ટેક્સ્ટ અને માળખામાં રૂપાંતરિત કરે છે.
- દસ્તાવેજ સમીક્ષા સ્વચાલન: કાઢેલા પરિણામોને CIPમાં મોકલીને આઇટમની ચકાસણી, સારાંશ અને સામગ્રીઓ વચ્ચેની તુલના કરે છે.
- એજન્ટ ઇનપુટ ઑપ્ટિમાઇઝેશન: લાંબા દસ્તાવેજોના મુખ્ય ભાગ, ટેબલ અને છબીના વર્ણનને ગોઠવીને જરૂરી માહિતી જ પ્રદાન કરે છે.
ઉદાહરણ તરીકે, અહેવાલનો મુખ્ય ભાગ અને ટેબલ કાઢતી વખતે તેમાં સમાવિષ્ટ ગ્રાફનું વર્ણન ત્રિમાસિક વેચાણના વલણો દર્શાવતા ગ્રાફ તરીકે કરે છે. એજન્ટ આ વર્ણનથી ગ્રાફનું અસ્તિત્વ અને તેનો ઉપયોગ સમજે છે અને જ્યારે ચોક્કસ આંકડા અથવા વલણની જરૂર હોય ત્યારે સંબંધિત મૂળ સામગ્રીની વધુ તપાસ કરે છે.
ઉત્પાદન જૂથ જોડાણ
ઉત્પાદનોને જોડીને નીચેનો પ્રવાહ ગોઠવી શકાય છે.
- દસ્તાવેજ આધારિત કાર્ય: Cova મુખ્ય ભાગ, ટેબલ અને છબીના વર્ણનને કાઢે છે, CIP જરૂરી મૂળ સામગ્રીની પસંદગીયુક્ત તપાસ કરીને વિશ્લેષણ અને કાર્ય પ્રક્રિયા કરે છે, અને Cosa પરિણામોને અવાજમાં સંભળાવે છે.
- અવાજ આધારિત કાર્ય: Cosa ASR અવાજની વિનંતીને ટેક્સ્ટમાં રૂપાંતરિત કરે છે અને CIP દ્વારા પ્રક્રિયા કરાયેલ જવાબ cosa-a અથવા cosa-b વાંચી સંભળાવે છે.
- ક્ષેત્ર સ્વચાલન: cip-5.5-sm ક્ષેત્રના ડેટાનું વર્ગીકરણ કરીને સ્થાનિક કાર્ય કરે છે અને વધારાના સંકલિત વિશ્લેષણની જરૂર હોય તેવી સામગ્રી cip-5.5-im અથવા cip-5.5-mmને મોકલે છે.
ગેટવે પર મંજૂર કૉલ્સ
ગેટવેના પ્લાન દરેક મોડેલ માટે મંજૂર કૉલ્સ નક્કી કરે છે. નીચેનું કોષ્ટક LLM_FREE, TTS_FREE, STT_FREE પ્લાન દ્વારા ઉપલબ્ધ કરાવવામાં આવતી શ્રેણી દર્શાવે છે અને આ પ્લાન કોઈ અરજી વિના આપમેળે લાગુ થાય છે. અન્ય માર્ગો દ્વારા ઉપલબ્ધ કરાવવામાં આવેલા મોડેલો તેમાં સમાવિષ્ટ નથી.
| મોડેલ ID | મંજૂર કૉલ્સ | આધારભૂત પ્લાન |
|---|---|---|
| cip-5.5-im | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-im-chat | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cip-5.5-mm-h | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
| cosa-a | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-b | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-tts | audio.speech · audio.speech.clone · voices · voices.design | TTS_FREE |
| cosa-asr | audio.transcriptions | STT_FREE |
| ivy-4-embedding | embeddings | LLM_FREE |
| ivy-4-embedding-mm | embeddings | LLM_FREE |
| ivy-4-mm | anthropic.messages · chat.completions · chat.completions.batch · completions · responses | LLM_FREE |
cip-5.5-sm અને cova-1 આ પ્લાન કોષ્ટકમાં નથી. કોષ્ટકમાંના cip-5.5-im-chat, cip-5.5-mm-h, cosa-tts, ivy-4-embedding, ivy-4-embedding-mm, ivy-4-mm એ ઉપરના પ્રોડક્ટ વર્ણનમાં સામેલ ન હોય તેવા મોડલ ID છે. કૉલ કી કયા પાથને અનુરૂપ છે તે API કૉલિંગ દસ્તાવેજમાં દર્શાવ્યું છે.
