Щоб окремо перевірити сьогоднішню погоду, розклад KTX, обмінний курс і внутрішні матеріали компанії, потрібно перемикатися між різними застосунками та системами. AI, який використовує лише інформацію, доступну на момент завершення навчання, складно враховувати ситуації, що постійно змінюються.
Tool Calling дає AI змогу вибирати зовнішні інструменти відповідно до запиту користувача, отримувати актуальну інформацію та виконувати робочі завдання. У цій статті пояснюється принцип роботи Tool Calling, сфера його застосування та аспекти, які слід враховувати під час проєктування.
Що таке Tool Calling
Tool Calling — це технологія підключення великої мовної моделі до зовнішніх функцій, API, баз даних і робочих систем. Проаналізувавши запит користувача, AI визначає потрібні інструменти та вхідні дані, а потім використовує результати, повернуті інструментами, щоб сформувати відповідь або виконати наступне завдання.
| Категорія | Обробка на основі навчальних даних | Обробка на основі Tool Calling |
|---|---|---|
| Часовий аспект інформації | Використання інформації станом на момент навчання моделі | Використання зовнішніх даних на момент виклику |
| Обчислення | Генерування результату на основі контексту | Перевірка результату через виклик калькулятора або функції обчислення |
| Внутрішні матеріали компанії | Використання лише інформації, включеної до навчального процесу | Отримання даних із баз даних і систем документів, доступ до яких дозволено |
| Виконання робочих завдань | Генерування тексту відповіді | Виконання таких завдань, як бронювання, реєстрація, надсилання та створення звітів |
Процес обробки запиту
Що можна робити за допомогою Tool Calling
Виклики інструментів об’єднують отримання інформації та виконання робочих завдань в один діалоговий процес. Користувачі можуть передавати умови природною мовою, не знаючи способу пошуку чи розташування меню кожного сервісу. Підприємства можуть по-різному налаштовувати доступні для виклику інструменти відповідно до прав користувачів і робочих правил.
| Сфери застосування | Підключені системи | Приклади обробки |
|---|---|---|
| Інформація в реальному часі | API погоди, дорожнього руху, валютних курсів і котирувань акцій | Отримання актуальної інформації та порівняння за умовами |
| Точні обчислення | Калькулятор, статистичні функції, API розрахунку тарифів | Розрахунок податків, відстаней, витрат і статистичних показників |
| Внутрішня інформація | Сховища документів, бази даних, пошукові системи | Пошук нормативних документів, договорів і даних про результати в межах наданих прав доступу |
| Керування розкладом | Календарі, системи бронювання | Перевірка доступного часу та додавання подій до розкладу |
| Комунікація | Електронна пошта, месенджери, системи сповіщень | Створення та надсилання повідомлень після схвалення користувачем |
| Автоматизація робочих процесів | Системи підготовки звітів, керування взаємовідносинами з клієнтами та планування ресурсів підприємства | Збір даних, заповнення форм і зміна статусу |
Питання, які потрібно перевірити під час проєктування
У разі збільшення кількості підключень до зовнішніх систем одночасно розширюються межі доступу до даних і права на виконання дій. Оператори сервісів мають чітко визначити процедури перевірки до та після виклику, способи реагування на помилки й ліміти витрат. Користувачі повинні мати змогу перевірити, яка інформація та до якої системи передається.
| Пункт перевірки | Можлива проблема | Метод проєктування |
|---|---|---|
| Захист персональних даних | Під час виклику персональні дані можуть передаватися до зовнішньої системи | Передавати лише необхідні дані та керувати шифруванням, терміном зберігання й умовами надання даних третім сторонам |
| Права доступу | Можливий доступ до даних або функцій, на використання яких немає дозволу | Застосовувати автентифікацію користувача та права доступу за ролями, а перед викликом повторно перевіряти права |
| Точність даних | API може повертати застарілі або неправильні значення | Зазначати час отримання та джерело даних, застосовувати перевірку достовірності й перехресну перевірку |
| Відповідальність за виконання | Під час бронювання, оплати чи надсилання може бути підтверджено ненавмисну дію | Для дій, які важко скасувати, застосовувати підтвердження користувача та етап схвалення |
| Керування витратами | Операційні витрати можуть зрости через повторні виклики та масові запити | Встановити обмеження кількості викликів, зберігати результати та налаштувати правила запобігання дубльованим запитам |
| Технічне обслуговування | Зовнішні API та формати вхідних даних можуть змінюватися | Забезпечити керування версіями, автоматизоване тестування, виявлення збоїв і альтернативні процедури обробки |
- Обмежуйте конфіденційну інформацію обсягом, необхідним для мети виклику.
- Для операцій із платежами, бронюванням, передаванням і видаленням передбачайте етап підтвердження користувачем.
- Постійно фіксуйте час відповіді інструментів, частоту помилок і вартість викликів.
- Зазначайте в результатах джерело зовнішніх даних і час їх отримання.
- У разі збою інструмента застосовуйте критерії кількості повторних спроб і альтернативної обробки.
Підхід CLEVI до впровадження в реальні робочі процеси
Практична цінність AI у роботі залежить від продуктивності моделі, доступних для підключення інструментів, точності виконання та рівня контролю безпеки. Якщо підключити кілька інструментів до одного запиту, можна виконувати пошук інформації, упорядкування результатів і подальші завдання на одному екрані. Врахування прав доступу та процедур затвердження для кожного робочого процесу дає змогу скоротити кількість повторюваних завдань, зберігаючи політики безпеки організації.
- Tool Calling
- Function Calling
- Генеративний AI
- AI-агент
- Автоматизація робочих процесів
- Інтеграція з API