Um das heutige Wetter, den KTX-Fahrplan, Wechselkurse und unternehmensinterne Unterlagen jeweils abzufragen, müssen Sie zwischen mehreren Apps und Systemen wechseln. Eine KI, die nur Informationen bis zum Zeitpunkt ihres Trainings verwendet, kann sich ständig verändernde Situationen nur schwer berücksichtigen.
Tool Calling unterstützt die KI dabei, externe Tools passend zur Anfrage der Benutzerin bzw. des Benutzers auszuwählen, aktuelle Informationen abzurufen und Aufgaben auszuführen. Dieser Beitrag erläutert die Funktionsweise von Tool Calling, seine Einsatzbereiche und die Punkte, die beim Design zu beachten sind.
Was ist Tool Calling?
Tool Calling ist eine Technologie, die Large Language Models mit externen Funktionen, APIs, Datenbanken und Geschäftssystemen verbindet. Die KI analysiert die Anfrage der Benutzerin bzw. des Benutzers, bestimmt die erforderlichen Tools und Eingabewerte und beantwortet die Anfrage mithilfe der von den Tools zurückgegebenen Ergebnisse oder führt die nächste Aufgabe aus.
| Kriterium | Verarbeitung auf Basis von Trainingsdaten | Verarbeitung auf Basis von Tool Calling |
|---|---|---|
| Zeitpunkt der Information | Verwendung von Informationen bis zum Zeitpunkt des Modelltrainings | Verwendung externer Daten zum Zeitpunkt des Aufrufs |
| Berechnung | Erstellung eines Ergebnisses auf Grundlage des Kontexts | Überprüfung des Ergebnisses durch den Aufruf eines Taschenrechners oder einer Rechenfunktion |
| Unternehmensinterne Unterlagen | Nutzung ausschließlich der im Trainingsprozess enthaltenen Informationen | Abfrage von Datenbanken und Dokumentensystemen, für die eine Berechtigung besteht |
| Ausführung von Aufgaben | Erstellung eines Antworttexts | Ausführung von Aufgaben wie Reservierungen, Erfassung, Versand und Erstellung von Berichten |
Ablauf der Anfrageverarbeitung
Was mit Tool Calling möglich ist
Tool Calling verbindet Informationsabfragen und die Ausführung von Aufgaben in einem einzigen Gesprächsablauf. Nutzer können ihre Anforderungen in natürlicher Sprache formulieren, ohne die Suchmethoden oder Menüpositionen der einzelnen Dienste kennen zu müssen. Unternehmen können die aufrufbaren Tools entsprechend den Benutzerberechtigungen und Geschäftsregeln unterschiedlich konfigurieren.
| Einsatzbereiche | Verbundene Systeme | Beispiele für Verarbeitungen |
|---|---|---|
| Echtzeitinformationen | Wetter-, Verkehrs-, Wechselkurs- und Aktienkurs-APIs | Abrufen aktueller Informationen und Vergleiche nach bestimmten Kriterien |
| Präzise Berechnungen | Taschenrechner, Statistikfunktionen, APIs zur Tarifberechnung | Berechnung von Steuern, Entfernungen, Kosten und statistischen Werten |
| Interne Informationen | Dokumentenablagen, Datenbanken, Suchsysteme | Suche nach Richtlinien, Verträgen und Leistungsdaten im Rahmen der Berechtigungen |
| Terminverwaltung | Kalender, Reservierungssysteme | Prüfen verfügbarer Zeiten und Eintragen von Terminen |
| Kommunikation | E-Mail-, Messenger- und Benachrichtigungssysteme | Erstellen und Senden von Nachrichten nach Genehmigung durch den Benutzer |
| Aufgabenautomatisierung | Systeme für Berichte, Kundenmanagement und Enterprise Resource Planning | Sammeln von Daten, Ausfüllen von Formularen und Ändern von Status |
Zu prüfende Punkte bei der Konzeption
Mit zunehmender Anzahl externer Systemverbindungen erweitern sich auch der Datenzugriffsbereich und die Ausführungsberechtigungen. Betreiber müssen die Prüfverfahren vor und nach dem Aufruf, den Umgang mit Fehlern und die Kostenlimits konkret festlegen. Nutzer müssen überprüfen können, welche Informationen an welches System übermittelt werden.
| Prüfpunkt | Mögliche Probleme | Gestaltungsmethode |
|---|---|---|
| Schutz personenbezogener Daten | Personenbezogene Daten können während des Aufrufs an externe Systeme übermittelt werden | Nur erforderliche Daten übertragen und Verschlüsselung, Aufbewahrungsdauer sowie Bedingungen für die Weitergabe an Dritte verwalten |
| Zugriffsberechtigungen | Es kann auf Daten oder Funktionen zugegriffen werden, für die keine Nutzungsberechtigung besteht | Benutzerauthentifizierung und rollenbasierte Berechtigungen anwenden und die Berechtigung vor dem Aufruf erneut prüfen |
| Datenrichtigkeit | Die API kann veraltete oder falsche Werte zurückgeben | Zeitpunkt und Quelle der Daten anzeigen sowie Validierung und Gegenprüfung anwenden |
| Verantwortung für die Ausführung | Bei Reservierungen, Zahlungen oder Übermittlungen können unbeabsichtigte Aktionen bestätigt werden | Für schwer stornierbare Aktionen eine Benutzerbestätigung und einen Genehmigungsschritt vorsehen |
| Kostenmanagement | Durch wiederholte Aufrufe und umfangreiche Anfragen können die Betriebskosten steigen | Limits für die Anzahl der Aufrufe, Ergebnisspeicherung und Regeln zur Vermeidung doppelter Anfragen festlegen |
| Wartung | Externe APIs und Eingabeformate können geändert werden | Versionsverwaltung, automatisierte Tests, Ausfallerkennung und alternative Verarbeitungsverfahren betreiben |
- Sensible Informationen werden auf den für den Zweck des Aufrufs erforderlichen Umfang beschränkt.
- Für Zahlungen, Buchungen, Übertragungen und Löschvorgänge wird ein Schritt zur Benutzerfreigabe vorgesehen.
- Antwortzeit, Fehlerquote und Aufrufkosten der Tools werden fortlaufend erfasst.
- Die Quelle externer Daten und der Zeitpunkt der Abfrage werden in den Ergebnissen angegeben.
- Bei Ausfällen von Tools werden die Anzahl der Wiederholungsversuche und Kriterien für alternative Verarbeitung angewendet.
CLEVI in der praktischen Anwendung
Der Nutzen von KI im Arbeitsalltag hängt von der Modellleistung, den anbindbaren Tools, der Ausführungsgenauigkeit und dem Niveau der Sicherheitskontrollen ab. Wenn mehrere Tools mit einer Anfrage verknüpft werden, können Informationssuche, Aufbereitung der Ergebnisse und nachfolgende Aufgaben in derselben Oberfläche erledigt werden. Durch die Berücksichtigung aufgabenspezifischer Berechtigungen und Freigabeprozesse lassen sich wiederkehrende Aufgaben reduzieren, während die Sicherheitsrichtlinien der Organisation eingehalten werden.
- Tool Calling
- Function Calling
- Generative KI
- KI-Agent
- Workflow-Automatisierung
- API-Integration