Um das Wetter von heute, den KTX-Fahrplan, Wechselkurse und interne Unternehmensunterlagen jeweils abzufragen, muss man zwischen mehreren Apps und Systemen wechseln. Eine KI, die nur Informationen bis zum Zeitpunkt ihres Trainings verwendet, kann sich ständig verändernde Situationen nur schwer berücksichtigen.
Tool Calling unterstützt die KI dabei, externe Tools passend zur Anfrage des Benutzers auszuwählen sowie aktuelle Informationen abzurufen und Aufgaben auszuführen. Dieser Beitrag erläutert die Funktionsweise von Tool Calling, seine Einsatzbereiche und die bei der Konzeption zu beachtenden Punkte.
Was ist Tool Calling?
Tool Calling ist eine Technologie, die große Sprachmodelle mit externen Funktionen, APIs, Datenbanken und Geschäftssystemen verbindet. Die KI analysiert die Anfrage des Benutzers, bestimmt anschließend die benötigten Tools und Eingabewerte und beantwortet die Anfrage mithilfe der von den Tools zurückgegebenen Ergebnisse oder führt den nächsten Arbeitsschritt aus.
| Kategorie | Verarbeitung auf Grundlage von Trainingsdaten | Verarbeitung auf Grundlage von Tool Calling |
|---|---|---|
| Zeitpunkt der Informationen | Verwendung von Informationen bis zum Zeitpunkt des Modelltrainings | Verwendung externer Daten zum Zeitpunkt des Aufrufs |
| Berechnung | Erzeugung eines Ergebnisses auf Grundlage des Kontexts | Überprüfung des Ergebnisses durch Aufruf eines Taschenrechners oder einer Berechnungsfunktion |
| Interne Unternehmensunterlagen | Nutzung ausschließlich der im Trainingsprozess enthaltenen Informationen | Abfrage von Datenbanken und Dokumentensystemen, für die eine Berechtigung besteht |
| Ausführung von Aufgaben | Erzeugung eines Antworttexts | Ausführung von Aufgaben wie Reservierungen, Registrierungen, Übermittlungen und Erstellung von Berichten |
Ablauf der Anfrageverarbeitung
Was mit Tool Calling möglich ist
Tool Calling verbindet Informationsabfragen und die Ausführung von Aufgaben in einem einzigen Gesprächsablauf. Nutzer können Bedingungen in natürlicher Sprache angeben, ohne die Suchmethoden oder Menüpositionen der einzelnen Dienste kennen zu müssen. Unternehmen können die aufrufbaren Tools entsprechend den Nutzerberechtigungen und Geschäftsregeln unterschiedlich konfigurieren.
| Einsatzbereiche | Verbundene Systeme | Verarbeitungsbeispiele |
|---|---|---|
| Echtzeitinformationen | Wetter-, Verkehrs-, Wechselkurs- und Aktienkurs-APIs | Abruf aktueller Informationen und Vergleich nach Bedingungen |
| Präzise Berechnungen | Taschenrechner, Statistikfunktionen und APIs zur Gebührenberechnung | Berechnung von Steuern, Entfernungen, Kosten und statistischen Werten |
| Unternehmensinterne Informationen | Dokumentenablagen, Datenbanken und Suchsysteme | Suche nach Richtlinien, Verträgen und Leistungsdaten innerhalb des Berechtigungsumfangs |
| Terminverwaltung | Kalender und Reservierungssysteme | Prüfung verfügbarer Zeiten und Eintragen von Terminen |
| Kommunikation | E-Mail-, Messenger- und Benachrichtigungssysteme | Erstellen und Senden von Nachrichten nach Genehmigung durch den Nutzer |
| Aufgabenautomatisierung | Systeme für Berichte, Kundenverwaltung und Enterprise Resource Planning | Sammeln von Daten, Ausfüllen von Formularen und Ändern von Status |
Bei der Konzeption zu prüfende Punkte
Mit der zunehmenden Anbindung externer Systeme erweitern sich auch der Umfang des Datenzugriffs und die Ausführungsberechtigungen. Die Betreiber müssen die Prüfverfahren vor und nach dem Aufruf, den Umgang mit Fehlern und die Kostengrenzen konkret festlegen. Nutzer müssen überprüfen können, welche Informationen an welches System übermittelt werden.
| Prüfpunkt | Mögliche Probleme | Gestaltungsmethode |
|---|---|---|
| Schutz personenbezogener Daten | Während des Aufrufs können personenbezogene Daten an externe Systeme übermittelt werden | Nur erforderliche Daten übertragen und Verschlüsselung, Aufbewahrungsfristen sowie Bedingungen für die Weitergabe an Dritte verwalten |
| Zugriffsberechtigungen | Es kann auf Daten oder Funktionen zugegriffen werden, für die keine Nutzungsberechtigung besteht | Nutzerauthentifizierung und rollenbasierte Berechtigungen anwenden und die Berechtigung vor dem Aufruf erneut prüfen |
| Datengenauigkeit | Die API kann veraltete oder falsche Werte zurückgeben | Zeitpunkt und Quelle der Daten anzeigen sowie Validierung und Gegenprüfung anwenden |
| Verantwortung für die Ausführung | Bei Reservierungen, Zahlungen oder Übermittlungen können unbeabsichtigte Aktionen endgültig bestätigt werden | Für schwer stornierbare Aktionen eine Bestätigung durch den Nutzer und einen Genehmigungsschritt vorsehen |
| Kostenmanagement | Durch wiederholte Aufrufe und umfangreiche Anfragen können die Betriebskosten steigen | Grenzen für die Anzahl der Aufrufe, Ergebnisspeicherung und Regeln zur Vermeidung doppelter Anfragen festlegen |
| Wartung | Externe APIs und Eingabeformate können geändert werden | Versionsverwaltung, automatisierte Tests, Störungserkennung und alternative Verarbeitungsverfahren betreiben |
- Sensible Informationen werden auf den für den Aufruf erforderlichen Umfang begrenzt.
- Für Zahlung, Buchung, Übertragung und Löschung werden Schritte zur Benutzerbestätigung eingerichtet.
- Die Antwortzeit, Fehlerquote und Aufrufkosten der Tools werden kontinuierlich protokolliert.
- Die Quelle externer Daten und der Zeitpunkt der Abfrage werden im Ergebnis angezeigt.
- Bei einer Störung eines Tools werden die Anzahl der Wiederholungsversuche und Kriterien für die alternative Verarbeitung angewendet.
CLEVIs Ansatz für die Anwendung in der Praxis
Der Nutzen von KI im Arbeitsalltag hängt von der Modellleistung, den verbindbaren Tools, der Ausführungsgenauigkeit und dem Niveau der Sicherheitskontrollen ab. Wenn mehrere Tools mit einer Anfrage verbunden werden, können von der Informationssuche über die Aufbereitung der Ergebnisse bis hin zu nachfolgenden Aufgaben alle Schritte auf demselben Bildschirm verarbeitet werden. Durch die Berücksichtigung aufgabenspezifischer Berechtigungen und Genehmigungsverfahren lassen sich wiederkehrende Aufgaben reduzieren und gleichzeitig die Sicherheitsrichtlinien der Organisation einhalten.
- Tool Calling
- Function Calling
- Generative KI
- KI-Agenten
- Arbeitsautomatisierung
- API-Integration