WIKO Wissen & Impulse · KI, Digitalisierung & Transformation – Technischer Fachartikel

KI-Infrastruktur im Mittelstand: Architektur, Daten, Sicherheit und Governance

Wie Unternehmen LLMs, RAG, Embeddings, KI-Agenten, ERP-Systeme und Automatisierung zu einer sicheren und wirtschaftlich nutzbaren KI-Architektur verbinden.

Technischer Grundlagenartikel · Stand: September 2026 · Lesezeit: ca. 18–22 Min.

Einordnung

Unternehmens-KI ist mehr als ein Chatbot.

Eine belastbare KI-Lösung entsteht aus Modell, Daten, Integrationen, Berechtigungen, Monitoring und Governance. Erst das Zusammenspiel dieser Ebenen macht KI im Unternehmen sicher und wirtschaftlich nutzbar.

Der Unterschied zwischen einem öffentlichen Chatbot und einer Unternehmens-KI liegt vor allem darin, wie zuverlässig, kontrolliert und nachvollziehbar das System mit eigenen Daten und Geschäftsprozessen verbunden ist.

Leitfrage: Wie muss eine KI-Architektur aufgebaut sein, damit sie sicher auf Unternehmenswissen zugreift, Geschäftsprozesse unterstützt und trotzdem kontrollierbar bleibt?

In diesem Beitrag

Referenzarchitektur

LLMs & Foundation Models

RAG & Vektordatenbanken

KI-Agenten & APIs

ERP, CRM & Workflows

Cloud vs. On-Premises

Security & Prompt Injection

Evaluation & Monitoring

LLMOps

Business Case & Förderung

KI-Potenzial-Check

FAQ – Häufige Fragen

Referenzarchitektur

Wie eine KI-Plattform im Mittelstand technisch aufgebaut sein kann.

Das Sprachmodell ist nur ein Baustein. Die eigentliche Unternehmensarchitektur entsteht durch Identity, Retrieval, Tools, Datenquellen, Workflows und Auditierung.

Bid einer KI Architektur auf blauem Hintergund

Wichtig: Je stärker KI in operative Prozesse eingreift, desto wichtiger werden Berechtigungen, Protokollierung und menschliche Freigaben.

Modellebene

Foundation Models und Large Language Models

Tokens

Modelle verarbeiten Text nicht als Wörter, sondern als kleinere Einheiten. Tokenmenge beeinflusst Kosten und Kontextgröße.

Context Window

Bestimmt, wie viel Information ein Modell innerhalb einer Anfrage berücksichtigen kann.

Inference

Die eigentliche Ausführung eines Modells: Eingabe wird verarbeitet und Ausgabe erzeugt.

Sampling

Parameter wie Temperatur beeinflussen, wie deterministisch oder variabel Antworten ausfallen.

Training, Fine-Tuning, Prompting oder RAG?

Methode	Zweck	Typischer Einsatz
Training	Grundlegendes Modelllernen	Nur für Anbieter oder sehr große Spezialprojekte relevant
Fine-Tuning	Verhalten oder Stil spezialisieren	Wiederkehrende Aufgaben, Format, Tonalität
Prompting	Aufgabe zur Laufzeit steuern	Regeln, Rollen, Output-Struktur
RAG	Aktuelles Unternehmenswissen einbinden	Dokumente, Handbücher, Projekte, Verträge

Wissensarchitektur

RAG: Wie generische KI auf Unternehmenswissen zugreift

Retrieval Augmented Generation verbindet ein Sprachmodell mit aktuellen internen Wissensquellen, ohne das Modell auf jedes neue Dokument neu trainieren zu müssen.

Benutzerfrage

Embedding erzeugen

Vector Store durchsuchen

Kontext an LLM senden

Antwort + Quellen

Embeddings und Vektordatenbanken

Embeddings bilden Textinhalte mathematisch ab. Dadurch kann eine Suche auch semantisch ähnliche Inhalte finden – nicht nur exakte Stichworte.

Dokumente → Chunking → Embeddings → Vector Database → Retrieval → LLM → Antwort

RAG oder Fine-Tuning?

Kriterium	RAG	Fine-Tuning
Aktuelles Unternehmenswissen	Sehr geeignet	Nur eingeschränkt
Häufig wechselnde Daten	Sehr geeignet	Ungeeignet
Quellenangaben	Gut möglich	Schwieriger
Tonalität / Stil	Begrenzt	Sehr geeignet
Aktualisierung	Schnell	Neuer Trainingslauf
Kosten	Meist niedriger	Häufig höher

Agentische Systeme

Vom Chatbot zum KI-Agenten

Ein Chatbot antwortet. Ein Agent kann Werkzeuge nutzen, Zustände verwalten und Prozesse ausführen.

E-Mail analysieren

Kunde finden

Auftrag prüfen

Status bewerten

Antwort vorbereiten

CRM-Aufgabe erzeugen

Technische Komponenten

Tools & APIs

Der Agent bekommt kontrollierten Zugriff auf Systeme und Funktionen.

State & Memory

Prozesszustände und relevanter Kontext werden verwaltet.

Human-in-the-Loop

Kritische Schritte werden von Menschen geprüft oder freigegeben.

Integration

ERP, CRM, DMS und KI verbinden

Der wirtschaftliche Nutzen steigt, wenn KI nicht isoliert arbeitet, sondern bestehende Systeme orchestriert.

Typische Bausteine sind APIs, Webhooks und Workflow Engines. So können Ereignisse automatisiert erkannt und in Folgeprozesse überführt werden.

Bid einer KI Integration auf blauem Hintergund

Betriebsmodell

Public Cloud, Private Cloud oder On-Premises?

Public Cloud

Schnelle Einführung, starke Modelle, gute Skalierbarkeit. Datenflüsse und Anbieterabhängigkeit müssen geprüft werden.

Private Cloud

Mehr Kontrolle über Umgebung und Daten, bei höherem Betriebs- und Integrationsaufwand.

On-Premis

Hohe Datenkontrolle, aber eigener Betrieb, Hardware, Updates und internes Know-how erforderlich.

Entscheidungskriterien

Datenschutz

Kosten

Latenz

Skalierbarkeit

Know-how

Integrationsfähigkeit

Modellqualität

Security by design

Neue KI-Systeme bringen neue Angriffsflächen mit.

Sicherheit muss Teil der Architektur sein – insbesondere bei RAG-Systemen und Agenten mit Zugriff auf Geschäftssysteme.

Prompt Injection

Manipulierte Eingaben versuchen Systemregeln zu überschreiben.

Data Leakage

Vertrauliche Daten werden unbeabsichtigt offengelegt.

Overprivileged Agent

Ein Agent besitzt mehr Rechte als für seine Aufgabe nötig.

Unsichere Tools

APIs, Plugins oder externe Systeme werden missbräuchlich angesprochen.

Least Privilege

Ein Agent sollte nicht pauschal „ERP-Zugriff“ erhalten, sondern nur die minimal notwendigen Rechte – etwa Kunde lesen, Auftrag lesen, Entwurf erstellen. Kritische Aktionen wie Zahlung, Löschung oder Vertragsfreigabe bleiben getrennt.

Audit Trail

Protokollieren	Warum?
Wer hat gefragt?	Nutzerzuordnung und Verantwortlichkeit
Fine-Tuning	Verhalten oder Stil spezialisieren
Prompting	Aufgabe zur Laufzeit steuern
RAG	Aktuelles Unternehmenswissen einbinden
RAG	Aktuelles Unternehmenswissen einbinden

Einsatzfelder

„Sieht gut aus“ ist kein Abnahmekriterium.

KI-Systeme brauchen reproduzierbare Testfälle und messbare Qualitätskriterien.

Antwortqualität

Sind Antworten fachlich korrekt und vollständig?

Retrieval-Qualität

Werden die richtigen Dokumente und Passagen gefunden?

Halluzinationsrate

Wie häufig erzeugt das System unbelegte oder falsche Aussagen?

Latenz

Wie schnell liefert die Anwendung brauchbare Ergebnisse?

Kosten

Welche Kosten entstehen pro Vorgang, Anfrage oder Workflow?

Human Override

Wie häufig muss der Mensch korrigierend eingreifen?

Betrieb

LLMOps: Nach dem Go-live beginnt der eigentliche Betrieb.

Modelle, Prompts, Daten und Geschäftsprozesse verändern sich. Deshalb braucht KI laufende Überwachung und Versionierung.

Versionierung

Modelle, Prompts und Workflows nachvollziehbar verwalten.

Monitoring

Qualität, Fehler, Latenz und Kosten beobachten.

Evaluation

Regelmäßig gegen Testsets und reale Fälle prüfen.

Incident Management

Fehlverhalten erkennen, eingrenzen und dokumentiert beheben.

Wirtschaftlichkeit

Aus Architektur wird ein Business Case

Technische Eleganz allein reicht nicht. Entscheidend ist, ob ein System Zeit spart, Fehler reduziert, Prozesse beschleunigt oder neue Leistungen ermöglicht.

Beispielrechnung:
100 Vorgänge/Tag × 10 Minuten = 1.000 Minuten = 16,7 Arbeitsstunden täglich.
Werden 60 % automatisiert, können rund 10 Arbeitsstunden pro Tag eingespart oder für höherwertige Aufgaben genutzt werden.

Kostenblöcke

Implementierung

Schnittstellen

Cloud / Hosting

Modellkosten

Monitoring

Wartung

Schulung

Architektur → Projekt → Investition → Wirtschaftlichkeit → Förderfähigkeit → Finanzierung

Förderlogik

Fördermittel erst dann prüfen, wenn das technische Projekt klar ist.

Digitalisierung, Schnittstellen, IT- und Datensicherheit oder KI-Integration können je nach Programm förderfähig sein. Entscheidend ist die konkrete Projektarchitektur und Investitionslogik.

Basisdigitalisierung

Grundlegende Software-, Prozess- oder Infrastrukturmaßnahmen.

LevelUp

Höherwertige Digitalisierung mit deutlich erweitertem Reifegrad.

High-End

Anspruchsvolle KI- und datenbasierte Transformation mit strategischer Tiefe.

Fazit

Unternehmens-KI ist eine Architekturaufgabe.

Wer KI nachhaltig einsetzen will, braucht mehr als ein Modell. Er braucht kontrollierte Datenflüsse, Berechtigungen, Integration, Monitoring und eine klare wirtschaftliche Zielsetzung.

Die entscheidende Frage lautet nicht: „Welches Modell ist das beste?“ Sondern: „Welche Architektur unterstützt unseren Geschäftsprozess sicher und wirtschaftlich?“

Von der Idee zur Architektur

WIKO KI-Architektur- & Potenzial-Check

Wir betrachten Prozesse, Datenquellen, ERP/CRM-Systeme, Integrationen, Sicherheitsanforderungen und mögliche KI-Komponenten – und entwickeln daraus eine technisch und wirtschaftlich belastbare Zielarchitektur.

KI-Potenzial-Check anfragen

Häufige technische Fragen

Retrieval Augmented Generation verbindet ein Sprachmodell mit externem Wissen. Relevante Dokumentpassagen werden gesucht und als Kontext an das Modell übergeben.

Nicht immer. Bei größeren Wissensbeständen und semantischer Suche ist eine spezialisierte Vektorsuche jedoch häufig sinnvoll.

Vor allem dann, wenn Verhalten, Stil oder wiederkehrende Aufgaben spezialisiert werden sollen. Für laufend wechselndes Unternehmenswissen ist RAG meist flexibler.

Ja, technisch über APIs oder Integrationsdienste. Sinnvoll ist jedoch ein stark begrenztes Rechtekonzept und die Trennung zwischen Lesen, Vorschlagen und kritischen Schreibaktionen.

Ja, abhängig von Modellgröße, Hardware und Anforderungen. Der Betriebsaufwand ist jedoch deutlich höher als bei Cloud-Angeboten.

KI-Infrastruktur im Mittelstand: Architektur, Daten, Sicherheit und Governance

Unternehmens-KI ist mehr als ein Chatbot.

Wie eine KI-Plattform im Mittelstand technisch aufgebaut sein kann.

Foundation Models und Large Language Models

Training, Fine-Tuning, Prompting oder RAG?