A mai időjárás, a KTX-menetrend, az árfolyamok és a vállalati anyagok külön-külön történő lekérdezéséhez több alkalmazás és rendszer között kell váltani. Az a mesterséges intelligencia, amely csak a tanítás befejezésének időpontjáig rendelkezésre álló információkat használja, nehezen tudja tükrözni a folyamatosan változó helyzeteket.
A Tool Calling lehetővé teszi, hogy az AI a felhasználó kérésének megfelelő külső eszközt válasszon, lekérdezze a legfrissebb információkat, és végrehajtsa a feladatokat. Ez a cikk bemutatja a Tool Calling működését, alkalmazási területeit, valamint a tervezés során ellenőrizendő szempontokat.
Mi az a Tool Calling?
A Tool Calling olyan technológia, amely összekapcsolja a nagy nyelvi modelleket külső függvényekkel, API-kkal, adatbázisokkal és vállalati rendszerekkel, hogy azokat meghívhassák. Az AI elemzi a felhasználó kérését, meghatározza a szükséges eszközöket és bemeneti értékeket, majd az eszköz által visszaadott eredményeket felhasználva választ ad vagy elvégzi a következő feladatot.
| Megkülönböztetés | Tanítási adatokon alapuló feldolgozás | Tool Callingon alapuló feldolgozás |
|---|---|---|
| Információ időpontja | A modell tanításának időpontjáig rendelkezésre álló információk használata | A hívás időpontjában elérhető külső adatok használata |
| Számítás | Eredmény generálása a kontextus alapján | Eredmény ellenőrzése számológép vagy számítási függvény meghívásával |
| Vállalati anyagok | Csak a tanítási folyamatban szereplő információk használata | A jogosultság által engedélyezett adatbázisok és dokumentumrendszerek lekérdezése |
| Feladatvégrehajtás | Válaszszöveg generálása | Olyan feladatok végrehajtása, mint a foglalás, regisztráció, küldés és jelentéskészítés |
A kérés feldolgozásának folyamata
A Tool Calling lehetőségei
A Tool Calling az információlekérést és a feladatok végrehajtását egyetlen párbeszédfolyamatba kapcsolja össze. A felhasználók természetes nyelven adhatják meg a feltételeket anélkül, hogy ismerniük kellene az egyes szolgáltatások keresési módját vagy a menük helyét. A vállalatok a felhasználói jogosultságoknak és az üzleti szabályoknak megfelelően eltérően konfigurálhatják a meghívható eszközöket.
| Felhasználási terület | Kapcsolódó rendszerek | Feldolgozási példa |
|---|---|---|
| Valós idejű információk | Időjárási, közlekedési, árfolyam- és részvényárfolyam-API-k | Aktuális információk lekérése és feltételek szerinti összehasonlítása |
| Pontos számítások | Számológép, statisztikai függvények, díjszámítási API-k | Adók, távolságok, költségek és statisztikai értékek kiszámítása |
| Belső információk | Dokumentumtárak, adatbázisok, keresőrendszerek | Szabályzatok, szerződések és teljesítményadatok keresése a jogosultsági kereteken belül |
| Ütemezés kezelése | Naptárak, foglalási rendszerek | Szabad időpontok ellenőrzése és események rögzítése |
| Kommunikáció | E-mail-, üzenetküldő és értesítési rendszerek | Üzenetek megírása és elküldése a felhasználó jóváhagyása után |
| Munkafolyamatok automatizálása | Jelentéskészítő, ügyfélkezelő és vállalati erőforrás-tervezési rendszerek | Adatok összegyűjtése, űrlapok kitöltése és állapotok módosítása |
A tervezés során ellenőrizendő szempontok
A külső rendszerekhez való kapcsolatok bővülésével az adatokhoz való hozzáférés köre és a végrehajtási jogosultságok is kiterjednek. A szolgáltatás üzemeltetőinek konkrétan meg kell határozniuk a hívások előtti és utáni ellenőrzési eljárásokat, a hibakezelés módját és a költséglimitet. A felhasználóknak ellenőrizniük kell tudniuk, hogy mely információk és melyik rendszerbe kerülnek továbbításra.
| Ellenőrzési szempont | Lehetséges probléma | Tervezési módszer |
|---|---|---|
| Személyes adatok védelme | A hívás során személyes adatok kerülhetnek továbbításra külső rendszerekbe | Csak a szükséges adatokat továbbítsa, és kezelje a titkosítást, a megőrzési időt, valamint a harmadik félnek történő továbbítás feltételeit |
| Hozzáférési jogosultságok | A felhasználó jogosultságával nem rendelkező adatokhoz vagy funkciókhoz is hozzáférés történhet | Alkalmazzon felhasználói hitelesítést és szerepköralapú jogosultságokat, és a hívás előtt ellenőrizze újra a jogosultságokat |
| Adatok pontossága | Az API elavult vagy hibás értékeket adhat vissza | Jelenítse meg az adatok időpontját és forrását, valamint alkalmazzon érvényesség-ellenőrzést és keresztellenőrzést |
| Végrehajtási felelősség | A foglalás, fizetés vagy továbbítás során nem szándékolt műveletek válhatnak véglegessé | A nehezen visszavonható műveleteknél alkalmazzon felhasználói megerősítést és jóváhagyási lépéseket |
| Költségkezelés | Az ismételt hívások és a tömeges kérések növelhetik az üzemeltetési költségeket | Állítson be hívásszám-korlátokat, eredménytárolást és a duplikált kérések megelőzésére szolgáló szabályokat |
| Karbantartás | A külső API-k és a bemeneti formátumok megváltozhatnak | Működtessen verziókezelést, automatizált teszteket, hibafelismerést és alternatív feldolgozási eljárásokat |
- Az érzékeny információkat a hívás céljához szükséges mértékre korlátozzuk.
- A fizetési, foglalási, továbbítási és törlési műveletekhez felhasználói jóváhagyási lépést biztosítunk.
- Folyamatosan rögzítjük az eszközök válaszidejét, hibaarányát és hívási költségét.
- Az eredményekben feltüntetjük a külső adatok forrását és lekérdezésük időpontját.
- Eszközhiba esetén alkalmazzuk az újrapróbálkozások számának és a helyettesítő feldolgozás feltételeinek szabályait.
A CLEVI irányelvei a gyakorlati alkalmazáshoz
Az AI üzleti felhasználhatósága a modell teljesítményétől, a csatlakoztatható eszközöktől, a végrehajtás pontosságától és a biztonsági kontrollok szintjétől függ. Ha egy kéréshez több eszközt kapcsolunk, az információkereséstől az eredmények rendezésén át a további feladatokig mindent ugyanazon a képernyőn kezelhetünk. A munkafolyamatokhoz igazított jogosultságok és jóváhagyási eljárások alkalmazásával csökkenthetjük az ismétlődő feladatokat, miközben fenntartjuk a szervezet biztonsági szabályzatát.
- Tool Calling
- Function Calling
- Generatív AI
- AI-ügynök
- Üzleti automatizálás
- API-integráció