За да проверим времето днес, разписанието на KTX, валутните курсове и вътрешните фирмени материали, трябва да преминаваме между множество приложения и системи. ИИ, който използва само информацията, налична към момента на приключване на обучението му, трудно отразява постоянно променящите се обстоятелства.
Tool Calling позволява на ИИ да избира външни инструменти според заявката на потребителя, да извлича най-актуална информация и да изпълнява задачи. В тази статия са обяснени начинът на работа на Tool Calling, обхватът на приложение и нещата, които трябва да се проверят при проектирането.
Какво представлява Tool Calling
Tool Calling е технология, която свързва големите езикови модели с външни функции, API, бази данни и бизнес системи, за да могат да ги извикват. След като анализира заявката на потребителя, ИИ определя необходимите инструменти и входни стойности, а след това използва върнатите от инструментите резултати, за да отговори или да изпълни следващата задача.
| Раздел | Обработка въз основа на обучаващи данни | Обработка въз основа на Tool Calling |
|---|---|---|
| Момент на информацията | Използване на информация до момента на обучение на модела | Използване на външни данни към момента на извикването |
| Изчисления | Генериране на резултат въз основа на контекста | Проверка на резултата чрез извикване на калкулатор или функция за изчисления |
| Вътрешни фирмени материали | Използване само на информацията, включена в процеса на обучение | Извличане на данни от бази данни и документни системи, за които са предоставени права за достъп |
| Изпълнение на задачи | Генериране на текстов отговор | Изпълнение на задачи като резервации, регистриране, изпращане и създаване на отчети |
Процес на обработка на заявката
Какво е възможно с Tool Calling
Извикването на инструменти свързва извличането на информация и изпълнението на задачи в единен разговорен поток. Потребителите могат да предават условия на естествен език, без да е необходимо да знаят начина на търсене или местоположението на менюто във всяка услуга. Компаниите могат да конфигурират различни инструменти за извикване според потребителските права и бизнес правилата.
| Области на приложение | Свързани системи | Примери за обработка |
|---|---|---|
| Информация в реално време | API за времето, трафика, валутните курсове и борсовите цени | Извличане на информация към текущия момент и сравнение според условията |
| Точни изчисления | Калкулатори, статистически функции, API за изчисляване на такси | Изчисляване на данъци, разстояния, разходи и статистически стойности |
| Вътрешнофирмена информация | Хранилища на документи, бази данни, системи за търсене | Търсене на правила, договори и данни за резултати в рамките на правата за достъп |
| Управление на график | Календари, системи за резервации | Проверка на свободните часове и добавяне на събития в графика |
| Комуникация | Имейл, месинджъри, системи за известия | Създаване и изпращане на съобщения след одобрение от потребителя |
| Автоматизация на работата | Системи за отчети, управление на клиенти и планиране на ресурсите на предприятието | Събиране на данни, попълване на формуляри и промяна на статуси |
Въпроси, които трябва да се проверят при проектирането
С увеличаването на връзките с външни системи се разширяват и обхватът на достъп до данни, и правата за изпълнение. Операторите на услугата трябва конкретно да определят процедурите за проверка преди и след извикване, начина за реакция при грешки и ограниченията на разходите. Потребителите трябва да могат да проверяват каква информация и към коя система се предава.
| Елемент за проверка | Възможен проблем | Метод за проектиране |
|---|---|---|
| Защита на личните данни | По време на извикването лични данни могат да бъдат предадени към външна система | Да се предават само необходимите данни и да се управляват криптирането, срокът за съхранение и условията за предоставяне на трети страни |
| Права за достъп | Може да се получи достъп до данни или функции, за които няма разрешение за използване | Да се прилагат удостоверяване на потребителя и права според ролята, както и повторна проверка на правата преди извикването |
| Точност на данните | API може да върне остарели или неправилни стойности | Да се показват моментът и източникът на данните и да се прилагат проверки за валидност и кръстосана проверка |
| Отговорност за изпълнението | При процеси като резервация, плащане или изпращане може да бъде потвърдено непреднамерено действие | За действия, които трудно могат да бъдат отменени, да се прилагат потвърждение от потребителя и стъпки за одобрение |
| Управление на разходите | Оперативните разходи могат да се увеличат поради повтарящи се извиквания и голям брой заявки | Да се зададат ограничения за броя извиквания, съхраняване на резултатите и правила за предотвратяване на дублирани заявки |
| Поддръжка | Външните API и форматите на входните данни могат да се променят | Да се прилагат управление на версиите, автоматизирани тестове, откриване на неизправности и процедури за алтернативна обработка |
- Ограничаваме чувствителната информация до обхвата, необходим за целта на извикването.
- За операции като плащане, резервация, изпращане и изтриване се въвежда етап за одобрение от потребителя.
- Непрекъснато записваме времето за отговор, процента грешки и разходите за извикване на инструментите.
- В резултатите посочваме източника на външните данни и момента на извличането им.
- При възникване на повреда в инструментите прилагаме критерии за броя повторни опити и алтернативната обработка.
Насоките на Clevi за прилагане в реалната работа
Степента на използване на AI в работата зависи от производителността на модела, свързваемите инструменти, точността на изпълнение и нивото на контрола върху сигурността. Като свържете няколко инструмента към една заявка, можете да обработвате всичко — от търсене на информация до整理ране на резултатите и последващи задачи — на един и същ екран. Като отразите правата за достъп и процедурите за одобрение за всяка работна задача, можете да намалите повтарящата се работа, като същевременно поддържате политиките за сигурност на организацията.
- Извикване на инструменти
- Извикване на функции
- Генеративен AI
- AI агент
- Автоматизация на работата
- Интеграция с API