LLM-Integration
Anbindung großer Sprachmodelle (Large Language Models) an Geschäftsprozesse und Fachsysteme – inklusive Retrieval, Tool-Use und DSGVO-konformem Betrieb.
Definition
LLM-Integration bezeichnet die produktive Anbindung großer Sprachmodelle wie GPT, Claude oder Mistral an bestehende Geschäftsprozesse, Daten und Fachsysteme. Sie umfasst Architekturmuster wie Retrieval Augmented Generation (RAG), Tool-Use und Agenten-Orchestrierung.
Typische Architekturmuster
Retrieval Augmented Generation (RAG) verbindet das LLM mit einer Vektordatenbank, um Antworten auf Basis eigener Dokumente zu erzeugen. Tool-Use erlaubt dem Modell, definierte Funktionen aufzurufen – etwa eine API oder eine Datenbankabfrage. Agenten-Architekturen kombinieren beides zu mehrstufigen Workflows mit Planung, Ausführung und Verifikation.
DSGVO-konformer Betrieb
DSGVO-konforme LLM-Integration setzt voraus, dass personenbezogene Daten entweder pseudonymisiert oder ausschließlich in EU-gehosteten Modellen verarbeitet werden. KITech setzt hier auf europäische Cloud-Provider und On-Premise-Optionen sowie auf strikte Daten-Verträge mit den Modell-Anbietern.