Das Chatfenster neben dem Prozess

Ein Chatfenster kann beim Formulieren, Suchen oder Zusammenfassen helfen. Wenn eine Person dafür den Arbeitsablauf unterbrechen, Kontext erneut eingeben und das Ergebnis von Hand in ein anderes System übertragen muss, sollte dieser zusätzliche Schritt in die Bewertung einfließen. Ob das stört oder trotzdem nützlich ist, hängt von der konkreten Aufgabe ab.

Eine Vorführung allein beantwortet diese Frage nicht. Vor einem Einsatz sollte klar sein, wer das Ergebnis verwendet, wo es landet und wie eine falsche, unvollständige oder nicht eindeutige Antwort erkannt wird.

Erst die Aufgabe verstehen

KI kann ungeeignet sein, wenn Eingaben fehlen, Zuständigkeiten nicht klar sind oder wichtige Ausnahmen noch nicht verstanden werden. Das bedeutet nicht, dass jeder Prozess erst vollständig standardisiert werden muss. Es bedeutet, dass die Aufgabe, die Eingaben und die Entscheidungspunkte für den geplanten Einsatz bekannt sein sollten.

Beschreiben Sie zunächst:

  • welchen Arbeitsschritt das System unterstützen soll;
  • welche Informationen dafür benötigt werden und woher sie kommen;
  • welche Regeln eindeutig sind und welche Fälle fachliche Beurteilung verlangen;
  • wer das Ergebnis prüft und die Verantwortung für den nächsten Schritt trägt.

Danach lässt sich vergleichen, ob eine feste Regel, eine vorhandene Softwarefunktion, eine klassische Automatisierung oder ein KI-Modell besser passt.

Was ein eingebetteter KI-Schritt anders machen kann

Ein KI-Schritt kann Teil eines bestehenden Vorgangs sein, statt in einem getrennten Chat zu enden. Je nach System und Aufgabe kann er beispielsweise einen Entwurf erstellen, Informationen aus einem Dokument herausziehen oder einen Vorgang für eine Prüfung vorsortieren. Das sind Gestaltungsmöglichkeiten, keine Zusage, dass eine bestimmte Schnittstelle oder Fähigkeit verfügbar ist.

Vor einer Umsetzung sollte feststehen, wie das System mit fehlenden Daten und Fehlern umgeht. Ein Ergebnis muss an den vorgesehenen Ort übergeben werden, ohne dass eine nicht geprüfte Vermutung automatisch zur verbindlichen Entscheidung wird. Zugriffe, Protokolle und Aufbewahrung sind passend zum konkreten Datenfluss zu planen; ein technisches Konzept ersetzt keine Datenschutz- oder Rechtsprüfung.

Das NIST-Profil für generative KI bezeichnet überzeugend ausgegebene, aber falsche Inhalte als „confabulation“. Es nennt Risiken insbesondere dort, wo Menschen auf solche Antworten vertrauen oder sie für folgenreiche Entscheidungen einsetzen. Das Profil empfiehlt deshalb, solche Risiken im jeweiligen Anwendungszusammenhang zu beobachten. Es ist eine freiwillige US-amerikanische Orientierungshilfe und keine deutsche Rechtsvorgabe.

Der NIST AI Risk Management Framework betont außerdem, dass Organisationen Risiken und Zuständigkeiten über Entwurf, Entwicklung, Nutzung und Bewertung hinweg betrachten sollten. Das passende Maß an menschlicher Prüfung und die Kriterien dafür müssen zum Einsatzzweck passen.

Der Mensch bleibt an der richtigen Stelle

Menschliche Prüfung heißt nicht zwingend, jede Ausgabe manuell zu kontrollieren. Zuerst muss entschieden werden, welche Vorgänge automatisch weiterlaufen dürfen, welche eine Stichprobe oder Freigabe brauchen und was bei Unsicherheit geschieht. Für einen Vorgang mit rechtlichen, finanziellen oder persönlichen Folgen kann diese Grenze anders liegen als für einen internen Entwurf.

Wenn ein System einen Fall weiterleitet, sollte er für die zuständige Person verständlich bleiben: Welche Informationen lagen vor? Was wurde automatisch vorbereitet? Was muss noch entschieden werden? Eine Übergabe an Menschen braucht klare Zuständigkeit und einen erreichbaren nächsten Schritt.

Woran man ein KI-Projekt prüfen kann

Stellen Sie vor einem Versuch drei konkrete Fragen:

  1. Arbeitet das System mit den Daten, die für diese Aufgabe wirklich gebraucht werden, und ist deren Herkunft nachvollziehbar?
  2. Bereitet es einen nächsten Schritt vor oder löst es ihn aus? Wer darf die Aktion freigeben?
  3. Wie werden richtige, falsche und nicht eindeutige Ergebnisse gemessen, und wer prüft diese Messung?

Eine klare Antwort macht einen begrenzten Versuch planbarer, beweist aber noch keinen Nutzen. Legen Sie vorab Ausgangslage, Prüfmethode, Abbruchkriterien und verantwortliche Personen fest. Erst die Beobachtung im tatsächlichen Ablauf zeigt, ob der Ansatz trägt.

Wenn Sie klären möchten, ob KI für einen bestimmten Engpass sinnvoll ist, können Sie mit uns zunächst die Aufgabe und mögliche Grenzen besprechen.

Wie sich die Übergaben zwischen den beteiligten Systemen erfassen lassen, beschreibt Arbeit zwischen Systemen.