Recap: „Wenn das Sprachmodell den Betrieb kennt“

Die Ausgangsfrage: „Haben wir noch Hydraulikpumpen auf Lager?“, „Wie viele Urlaubstage habe ich noch?“, „Was stand im letzten Angebot an Kunde X?“ Von sich aus kann ein Sprachmodell keine dieser Fragen beantworten. Es ist ein sehr leistungsfähiger Textautomat, kennt aber den Betrieb nicht. Nützlich wird es erst, wenn man es an Datenbanken, Dateiablagen und Fachanwendungen anbindet.

Live statt Folien: Den Großteil des Vortrags bildete eine eigens gebaute Live-Demo. Ein kleines Open-Source-Modell lief dabei lokal auf einem Laptop, im Einsatz für eine erfundene Firma, die „Hoffmann Metallbau GmbH“. Drei Themen wurden durchgegangen, jedes in drei „Flughöhen“: zuerst anschaulich, dann genauer hingeschaut, zum Schluss das große Ganze.

1. Wie schreibt ein Sprachmodell? Die Antwort entsteht Wort für Wort, und am Ende ist sogar das Aufhören nur eine weitere Wortwahl. Ein Blick auf Tokens zeigte, dass ein Chat in Wahrheit ein einziger langer Text ist. Das Modell behauptete dabei ganz nebenbei, Dalmatiner würden gegen Bluthochdruck eingesetzt. Ein schöner Anlass, um über Halluzinationen zu sprechen.
2. Werkzeuge (Function Calling): Das Modell kann nicht selbst ins Lager schauen. Es kann aber einen „Zettel“ ausfüllen, ein festes Formular im JSON-Format, das die Software ausliest und an die Warenwirtschaft weitergibt. Eine Bestellung erfordert dabei immer eine menschliche Freigabe. Diese Regel hat einen guten Grund: Beim Bau der Demo meldete das Modell einmal „bestellt“, ohne dass irgendetwas bestellt worden war.
3. Dokumente (RAG): Warum gibt man dem Modell nicht einfach alle Unterlagen mit? Weil sie nicht ins Lesefenster passen und das Lesen bei jeder Frage viel zu lange dauern würde. Stattdessen sucht eine Suche nach Bedeutung (Embeddings) die drei passendsten Abschnitte heraus und legt sie dem Modell als „Spickzettel“ vor. Wer nach „Ferien“ sucht, findet so auch die „Urlaubsregelung“.

Und was heißt das für den eigenen Betrieb? Zum Abschluss ging es um Grenzen und ihre Gegenmittel, etwa wenn die Suche danebengreift. Außerdem ging es darum, worauf man bei den eigenen Daten achten sollte: Zugriffsrechte, Datenqualität, Datenschutz und klein anfangen. Dass das Modell während des gesamten Vortrags lokal auf dem Laptop lief, war dafür das beste Argument.

Vielen Dank an das Zentrum Fokus Mensch für die Einladung und an alle Teilnehmenden für die guten Fragen!