Chcete-li samostatně zjistit dnešní počasí, jízdní řád KTX, směnný kurz a interní firemní materiály, musíte přecházet mezi několika aplikacemi a systémy. AI, která používá pouze informace dostupné v době dokončení trénování, obtížně odráží neustále se měnící situaci.
Tool Calling umožňuje AI vybrat externí nástroj odpovídající požadavku uživatele, získat aktuální informace a provést pracovní úkoly. Tento článek vysvětluje, jak Tool Calling funguje, v jakých oblastech jej lze využít a co je třeba ověřit při jeho návrhu.
Co je Tool Calling
Tool Calling je technologie, která propojuje velké jazykové modely s externími funkcemi, API, databázemi a podnikovými systémy. AI po analýze požadavku uživatele určí potřebný nástroj a vstupní hodnoty a na základě výsledku vráceného nástrojem vytvoří odpověď nebo provede další úkol.
| Kategorie | Zpracování na základě trénovacích dat | Zpracování na základě Tool Calling |
|---|---|---|
| Časový okamžik informací | Používání informací dostupných do okamžiku trénování modelu | Používání externích dat dostupných v okamžiku volání |
| Výpočty | Generování výsledku na základě kontextu | Ověření výsledku voláním kalkulačky nebo výpočetní funkce |
| Interní firemní materiály | Využití pouze informací zahrnutých do procesu trénování | Dotazování databází a systémů dokumentů, ke kterým má uživatel oprávnění |
| Provádění pracovních úkolů | Generování textové odpovědi | Provádění úkolů, jako jsou rezervace, registrace, odesílání a vytváření reportů |
Průběh zpracování požadavku
Co lze pomocí Tool Calling dělat
Tool Calling propojuje získávání informací a provádění úkolů do jednoho konverzačního toku. Uživatelé mohou přirozeným jazykem zadat podmínky, aniž by museli znát způsob vyhledávání nebo umístění nabídek jednotlivých služeb. Firmy mohou nakonfigurovat různé nástroje, které lze volat, podle oprávnění uživatelů a pracovních pravidel.
| Oblasti využití | Připojené systémy | Příklady zpracování |
|---|---|---|
| Informace v reálném čase | API pro počasí, dopravu, směnné kurzy a ceny akcií | Získávání aktuálních informací a porovnávání podle podmínek |
| Přesné výpočty | Kalkulačky, statistické funkce, API pro výpočet poplatků | Výpočet daní, vzdáleností, nákladů a statistických hodnot |
| Interní informace | Úložiště dokumentů, databáze, vyhledávací systémy | Vyhledávání předpisů, smluv a údajů o výkonnosti v rámci oprávnění |
| Správa kalendáře | Kalendáře, rezervační systémy | Ověření dostupných časů a vytvoření události |
| Komunikace | E-mail, messengery, systémy upozornění | Vytvoření a odeslání zprávy po schválení uživatelem |
| Automatizace úkolů | Systémy pro reporty, řízení vztahů se zákazníky a plánování podnikových zdrojů | Shromažďování údajů, vyplňování formulářů a změna stavu |
Aspekty, které je třeba ověřit při návrhu
S rostoucím počtem připojení k externím systémům se rozšiřuje také rozsah přístupu k datům a oprávnění k provádění operací. Provozovatel služby musí konkrétně stanovit ověřovací postupy před voláním i po něm, způsob řešení chyb a limity nákladů. Uživatelé musí mít možnost ověřit, které informace jsou předávány do kterého systému.
| Kontrolovaná položka | Možný problém | Způsob návrhu |
|---|---|---|
| Ochrana osobních údajů | Během volání mohou být osobní údaje předány externímu systému | Přenášet pouze nezbytná data a spravovat šifrování, dobu uchovávání a podmínky předávání třetím stranám |
| Přístupová oprávnění | Může dojít k přístupu k údajům nebo funkcím, k nimž uživatel nemá oprávnění | Používat ověření uživatele a oprávnění podle rolí a před voláním oprávnění znovu ověřit |
| Přesnost dat | API může vracet zastaralé nebo nesprávné hodnoty | Uvádět časový údaj a zdroj dat a používat kontrolu platnosti a křížové ověření |
| Odpovědnost za provedení | Během rezervace, platby nebo odesílání může být potvrzena nechtěná operace | U operací, které se obtížně ruší, použít potvrzení uživatele a schvalovací kroky |
| Správa nákladů | Provozní náklady mohou vzrůst v důsledku opakovaných volání a hromadných požadavků | Nastavit limity počtu volání, ukládání výsledků a pravidla pro zamezení duplicitních požadavků |
| Údržba | Externí API a formáty vstupů se mohou změnit | Provozovat správu verzí, automatizované testy, detekci výpadků a alternativní postupy zpracování |
- Citlivé informace omezujeme na rozsah nezbytný pro účel volání.
- U plateb, rezervací, odesílání a mazání zavádíme krok schválení uživatelem.
- Průběžně zaznamenáváme dobu odezvy nástrojů, míru chybovosti a náklady na volání.
- Ve výsledcích uvádíme zdroj externích dat a čas jejich získání.
- V případě výpadku nástroje uplatňujeme stanovený počet opakovaných pokusů a kritéria pro náhradní zpracování.
Směřování CLEVI pro praktické využití v práci
Využitelnost AI v práci závisí na výkonu modelu, dostupných nástrojích, přesnosti provedení a úrovni bezpečnostních kontrol. Připojením více nástrojů k jednomu požadavku lze na jedné obrazovce zpracovat vše od vyhledávání informací přes uspořádání výsledků až po navazující úkoly. Zohledněním oprávnění a schvalovacích postupů pro jednotlivé pracovní činnosti lze omezit opakované úkoly a zároveň zachovat bezpečnostní zásady organizace.
- Tool Calling
- Function Calling
- Generativní AI
- AI agent
- Automatizace pracovních činností
- Integrace API