Corporate LLMs für KMUs: DSGVO-konform

Daten im Haus halten statt in die Cloud schicken

Ein Corporate LLM ist ein unternehmenseigenes Sprachmodell, das ausschließlich auf deiner eigenen Infrastruktur läuft. Alle Daten bleiben im Unternehmen, kein Byte fließt an Cloud-Anbieter, und damit entfällt das größte DSGVO-Risiko beim KI-Einsatz. Corporate LLMs sind eine Form der On-Premise-KI-Bereitstellung, also eine Alternative zu Cloud-KI und Hybrid-Modellen.

Warum das wichtig ist, zeigt der Alltag: Ein Mitarbeiter kopiert eine vertrauliche Kundenliste in ChatGPT, um sie schneller auszuwerten. Ein anderer lässt Slack-Nachrichten zusammenfassen, in denen Gehaltsdaten stehen. Und die Rechtsabteilung nutzt Claude, um Vertragsentwürfe zu prüfen.

Laut dem Cyberhaven Data Security Report (2023) sind 11 % aller Daten, die Mitarbeiter in KI-Tools eingeben, vertrauliche Unternehmensinformationen. Dazu gehören Quellcode, Kundendaten, Finanzberichte und interne Kommunikation. Wer als Geschäftsführer nicht weiß, welche Daten seine Mitarbeiter an US-Cloud-Dienste übermitteln, bewegt sich auf dünnem Eis.

Ein Corporate LLM behält deine Daten dort, wo sie hingehören: in deinem Unternehmen. Wenn du noch dabei bist zu entscheiden, welche KI-Lösungen für deinen Betrieb überhaupt sinnvoll sind, hilft dir der Praxisguide zu KI im Mittelstand beim Überblick.

Dieser Beitrag stammt von Jannis Gerlinger, Geschäftsführer der Jannis Gerlinger GmbH, TÜV-zertifiziert in Verkaufspsychologie und seit 2007 in der Digitalbranche.

Inhalt:

• Corporate LLMs laufen auf eigener Infrastruktur
• Die DSGVO-Falle bei Cloud-KI
• Berufsgeheimnisse und KI
• Beispielszenario Kanzlei
• Corporate LLM vs. Cloud-KI im Vergleich
• Der 5-Schritte-Plan zur Einführung
• Geschäftsgeheimnisse schützen
• Häufige Einwände
• Datensouveränität als Wettbewerbsvorteil

Corporate LLMs laufen auf eigener Infrastruktur und halten Daten im Unternehmen

Ein Corporate LLM ist ein großes Sprachmodell (Large Language Model), das ausschließlich auf der eigenen IT-Infrastruktur eines Unternehmens betrieben wird. Es läuft On-Premise, also auf deinen eigenen Servern oder in einem deutschen Rechenzentrum, das du kontrollierst.

Der entscheidende Unterschied zu Cloud-KI

Bei Cloud-Diensten wie ChatGPT, Microsoft Copilot oder Google Gemini werden deine Eingaben an Server in den USA übertragen. Das Modell verarbeitet deine Daten dort, und du hast keine Kontrolle darüber, was mit ihnen passiert.

Bei einem Corporate LLM bleiben alle Daten im Unternehmen. Kein Byte verlässt deinen Server. Das bedeutet:

• Keine Datenübermittlung an Dritte
• Kein Drittlandtransfer nach Art. 44 ff. DSGVO
• Kein Auftragsverarbeitungsvertrag mit einem KI-Anbieter nötig
• Volle Kontrolle über Speicherung, Verarbeitung und Löschung

Diese Open-Source-Modelle eignen sich für Corporate LLMs im Mittelstand

Für Corporate LLMs werden typischerweise Open-Source-Modelle eingesetzt. Die bekanntesten:

• Llama (Meta): Leistungsstarkes Modell mit verschiedenen Größen, gut für Textanalyse und Zusammenfassungen
• Mistral/Mixtral: Europäisches Modell, besonders effizient und für mittlere Hardware geeignet
• Qwen (Alibaba): Starke mehrsprachige Fähigkeiten, auch auf Deutsch
• Phi (Microsoft): Kompaktes Modell, das auch auf einfacherer Hardware läuft

Diese Modelle lassen sich mit Fine-Tuning auf deine spezifischen Anforderungen anpassen und mit RAG (Retrieval Augmented Generation) um dein Firmenwissen ergänzen.

Die DSGVO-Falle: Warum Cloud-KI für viele KMUs zum Risiko wird

Die DSGVO stellt klare Anforderungen an die Verarbeitung personenbezogener Daten. Wer Cloud-KI-Dienste nutzt, muss diese Anforderungen erfüllen, und das ist schwieriger, als die meisten denken.

Problem 1: Unkontrollierter Datenabfluss

Sobald ein Mitarbeiter eine E-Mail, eine Kundenliste oder einen Vertrag in ein Cloud-KI-Tool eingibt, verlassen diese Daten dein Unternehmen. Du übergibst sie an einen Dritten, meist an einen US-Anbieter. Das löst eine Kette von DSGVO-Pflichten aus:

• Auftragsverarbeitungsvertrag (Art. 28 DSGVO)
• Drittlandtransfer-Absicherung (Art. 44 ff. DSGVO)
• Dokumentation im Verarbeitungsverzeichnis (Art. 30 DSGVO)
• Informationspflicht gegenüber Betroffenen (Art. 13/14 DSGVO)

Problem 2: Das Training-Risiko

Viele KI-Anbieter nutzen deine Eingaben, um ihre Modelle zu verbessern. Auch wenn sie es nicht tun: Du musst nachweisen können, dass sie es nicht tun. Das erfordert eine detaillierte Prüfung der Nutzungsbedingungen und Datenschutzrichtlinien jedes einzelnen Anbieters.

Problem 3: Löschpflichten und Auskunftsrechte

Wenn ein Kunde die Löschung seiner Daten verlangt (Art. 17 DSGVO), musst du sicherstellen, dass auch der Cloud-KI-Anbieter diese Daten löscht. Bei manchen Anbietern ist das technisch kaum nachprüfbar.

Problem 4: Das EU-US Data Privacy Framework

Das aktuelle Abkommen für den Datentransfer in die USA, das EU-US Data Privacy Framework, steht auf wackeligen Füßen. Die Vorgänger (Privacy Shield, Safe Harbor) wurden beide vom Europäischen Gerichtshof gekippt. Wenn das erneut passiert, stehen alle Unternehmen, die auf US-Cloud-KI setzen, ohne Rechtsgrundlage da.

Mit einem Corporate LLM umgehst du dieses Risiko komplett. Kein Datentransfer, kein Drittland, keine Abhängigkeit von politischen Abkommen.

Berufsgeheimnisse und KI: Warum Cloud keine Option ist

Für bestimmte Berufsgruppen ist die Nutzung von Cloud-KI nicht nur riskant, sie kann strafbar sein.

Paragraf 203 StGB: Verletzung von Privatgeheimnissen

Anwälte, Steuerberater, Ärzte, Wirtschaftsprüfer und andere Berufsgeheimnisträger nach Paragraf 203 StGB dürfen Mandanten- und Patientendaten nicht an unbefugte Dritte weitergeben. Die Übermittlung an einen Cloud-KI-Anbieter kann als Offenbarung eines Geheimnisses gewertet werden. Das gilt selbst dann, wenn der Anbieter einen Auftragsverarbeitungsvertrag hat.

Konkrete Risiken in der Praxis

Eine Anwaltskanzlei, die Verträge über ChatGPT analysiert, riskiert nicht nur ein DSGVO-Bußgeld, sondern den Verlust der Zulassung. Ein Arzt, der Patientenbefunde in eine Cloud-KI eingibt, verstößt gegen die ärztliche Schweigepflicht.

Corporate LLMs lösen dieses Problem an der Wurzel: Wenn keine Daten das Unternehmen verlassen, gibt es keine Offenbarung an Dritte. Berufsgeheimnisse bleiben geschützt.

Die Grundlagen zu DSGVO-konformer KI-Nutzung haben wir in einem separaten Beitrag zusammengefasst.

Beispielszenario: Wie eine Kanzlei mit Corporate LLM arbeiten könnte

Stell dir eine mittelständische Wirtschaftskanzlei mit 8 Anwälten und 4 Fachangestellten vor. Die Mandanten erwarten schnelle Antworten, aber die Vertragsanalyse kostet Stunden. Cloud-KI ist aus berufsrechtlichen Gründen ausgeschlossen.

Eine mögliche Lösung: Ein Corporate LLM auf einem lokalen Server, ergänzt mit RAG für die interne Wissensdatenbank. Wann sich der Schritt zur eigenen Hardware rechnet, vergleicht der Leitfaden Lokale KI im Mittelstand.

Typisches Setup:

• Lokaler Server mit GPU (Investition: ca. 12.000 Euro)
• Open-Source-Modell (Llama 3.1 70B) mit Fine-Tuning auf juristische Texte
• RAG-Anbindung an die bestehende Mandatsdatenbank
• Integration in das vorhandene Dokumentenmanagementsystem

Realistisches Potenzial:

• 10 bis 15 Stunden pro Woche weniger für Vertragsanalyse und Dokumentenprüfung
• Deutlich schnellere Erstbewertung von neuen Mandatsanfragen
• Null Datentransfer nach außen: Alle Mandantendaten bleiben auf dem Kanzleiserver
• ROI typischerweise innerhalb von 6 Monaten

Der entscheidende Vorteil: Anwälte können vertrauliche Verträge analysieren lassen, ohne sich um Berufsrechtsverstöße zu sorgen. Das ist mit Cloud-KI schlicht unmöglich.

Corporate LLM vs. Cloud-KI: Der Vergleich

So führst du ein Corporate LLM ein: Der 5-Schritte-Plan

Schritt 1: Anwendungsfälle identifizieren

Nicht jeder Prozess braucht ein eigenes LLM. Starte mit den Aufgaben, die am meisten Zeit kosten und vertrauliche Daten betreffen:

• E-Mail-Triage und Zusammenfassungen
• Vertragsanalyse und Dokumentenprüfung
• Internes Wissensmanagement (FAQ, Handbücher, SOPs)
• Kundenkommunikation und Angebotsvorlagen
• Protokollerstellung aus Meetings

Schritt 2: Hardware und Modell wählen

Die Hardware-Anforderungen hängen von der Modellgröße ab. Für die meisten KMU-Anwendungen reicht ein Server mit einer oder zwei GPUs:

• Einfache Aufgaben (Zusammenfassungen, E-Mail-Triage): Modelle mit 7 bis 14 Milliarden Parametern, ab ca. 3.000 Euro Hardware
• Komplexe Aufgaben (Vertragsanalyse, technische Dokumentation): Modelle mit 30 bis 70 Milliarden Parametern, ab ca. 8.000 Euro Hardware
• Enterprise-Niveau (Multi-User, hohe Parallelität): Mehrere GPUs, ab ca. 15.000 Euro Hardware

Schritt 3: Pilotprojekt starten

Beginne mit einem klar abgegrenzten Pilotprojekt. Ein Team, ein Anwendungsfall, 2 bis 4 Wochen Laufzeit. So validierst du den Nutzen, bevor du skalierst. Wie du dabei am besten vorgehst, beschreibt unser Leitfaden zur KI-Einführung im Mittelstand.

Schritt 4: RAG und Fine-Tuning

Ein generisches Modell kennt dein Unternehmen nicht. Mit RAG verbindest du das LLM mit deiner eigenen Wissensdatenbank: Verträge, Handbücher, E-Mails, CRM-Daten. Das Modell antwortet dann auf Basis deiner Unternehmensdaten, nicht auf Basis des allgemeinen Internets.

Für spezifische Fachsprache oder Branchenlogik kommt Fine-Tuning dazu. Dabei wird das Modell mit deinen eigenen Beispielen nachtrainiert.

Schritt 5: Ausrollen und Skalieren

Nach einem erfolgreichen Pilotprojekt kannst du das System schrittweise auf weitere Teams und Anwendungsfälle ausweiten. Die Hardware skaliert mit: Mehr Nutzer bedeuten mehr GPU-Leistung, aber die Daten bleiben immer auf deiner Infrastruktur.

• Vertrauliche Prozesse identifiziertWelche Aufgaben verarbeiten sensible Daten, die nicht in die Cloud dürfen?
• Rechtliche Anforderungen geprüftGelten Berufsgeheimnisse oder besondere Branchenregulierung?
• Hardware-Budget kalkuliertServer mit GPU für das Corporate LLM eingeplant (ab 5.000 Euro)
• Pilotprojekt definiertEin konkreter Anwendungsfall mit messbarem Ergebnis ausgewählt
• Datenquellen für RAG vorbereitetRelevante Dokumente und Datenbanken für die Anbindung identifiziert
• Internes Projektteam benanntMindestens ein interner Ansprechpartner und ein Entscheider stehen fest
• Datenschutzbeauftragten eingebundenDSGVO-Konformität von Anfang an sichergestellt

Geschäftsgeheimnisse schützen: Warum das Thema gerade jetzt brennt

Das Geschäftsgeheimnisgesetz (GeschGehG) verlangt, dass Unternehmen angemessene Geheimhaltungsmaßnahmen treffen. Wenn du vertrauliche Informationen in eine Cloud-KI eingibst, kann das als unzureichende Schutzmaßnahme gewertet werden. Die Folge: Du verlierst möglicherweise den rechtlichen Schutz deiner Geschäftsgeheimnisse.

Was als Geschäftsgeheimnis zählt

Als Geschäftsgeheimnis nach GeschGehG zählen Informationen, die wirtschaftlichen Wert haben und durch angemessene Schutzmaßnahmen gesichert sind. Dazu gehören typischerweise:

• Kundenlisten und Preiskalkulationen
• Technische Zeichnungen und Rezepturen
• Strategiepapiere und Businesspläne
• Interne Prozessdokumentation
• Vertragskonditionen mit Lieferanten

Warum Cloud-KI den Geheimnisschutz gefährdet

Gibst du diese Informationen in ChatGPT ein, hast du sie einem Dritten zugänglich gemacht. Selbst wenn OpenAI die Daten nicht aktiv nutzt, hast du keine Kontrolle. Weder über die Serverinfrastruktur noch über die Mitarbeiter des Anbieters oder mögliche Sicherheitslecks. Ein Gericht könnte entscheiden, dass das keine "angemessene Geheimhaltungsmaßnahme" ist.

Corporate LLMs eliminieren dieses Risiko. Deine Geschäftsgeheimnisse bleiben auf deinem Server, unter deiner Kontrolle, mit deinen Zugriffsrechten. Der Schutzstatus bleibt erhalten.

Häufige Einwände und warum sie nicht (mehr) stimmen

"Open-Source-Modelle sind schlechter als ChatGPT"

Das war 2023 noch teilweise richtig. Heute erreichen Modelle wie Llama 3.1 und Mistral Large in vielen Benchmarks vergleichbare Ergebnisse. Für spezifische Unternehmensaufgaben sind sie mit Fine-Tuning oft sogar besser, weil sie auf die konkreten Anforderungen trainiert werden. Einen ausführlichen Vergleich der KI-Modelle findest du in unserem separaten Beitrag.

"Wir haben nicht die IT-Kapazität dafür"

Corporate LLMs müssen nicht intern betrieben werden. Spezialisierte Dienstleister liefern schlüsselfertige Systeme, die auf deiner Hardware laufen. Die Wartung erfolgt remote, ohne dass der Dienstleister Zugriff auf deine Daten benötigt.

"Das ist zu teuer für ein KMU"

Ein Server mit GPU kostet ab 5.000 Euro. ChatGPT Enterprise kostet ab etwa 60 Dollar pro Nutzer und Monat (Stand: OpenAI-Preisangaben, Mai 2026). Bei 20 Nutzern sind das rund 14.400 Dollar im Jahr. Der Break-even für ein Corporate LLM liegt oft schon nach 12 bis 18 Monaten, und danach fallen nur noch Strom- und Wartungskosten an.

"Unsere Daten reichen nicht für eigenes Training"

Du brauchst kein eigenes Training von Grund auf. RAG (Retrieval Augmented Generation) verbindet ein fertiges Open-Source-Modell mit deiner Wissensdatenbank. Das Modell greift bei jeder Anfrage auf deine Dokumente zu, ohne dass du es aufwendig trainieren musst. Schon ab 50 bis 100 Dokumenten liefert RAG brauchbare Ergebnisse.

Datensouveränität als Wettbewerbsvorteil

Datensouveränität bedeutet: Du entscheidest, was mit deinen Daten passiert. Nicht Google, nicht Microsoft, nicht OpenAI.

Für KMUs wird das zunehmend zum Wettbewerbsvorteil. In Gesprächen mit Unternehmen aus Fertigung und Versicherung ist Datensicherheit oft das meistgenannte Kriterium: "Wie schützt ihr unsere Daten?" Wer darauf antworten kann "Unsere KI läuft lokal, eure Daten verlassen nie unser Unternehmen", hat einen echten Vertrauensvorsprung.

Das gilt besonders für Branchen mit hohen Anforderungen an IT-Sicherheit:

• Fertigung und Industrie: Konstruktionsdaten und Produktionsgeheimnisse
• Versicherungen: Kundendaten und Schadensberichte
• Immobilien: Vertragsdaten und Objektbewertungen
• Großhandel: Einkaufspreise und Lieferantenkonditionen

Berechne dein Einsparpotenzial:

Der richtige Zeitpunkt ist jetzt

Die Technik ist reif. Open-Source-Modelle haben ein Niveau erreicht, das für die meisten Unternehmensanwendungen ausreicht. Die Hardware ist erschwinglich. Und die rechtlichen Risiken bei Cloud-KI werden nicht kleiner, sondern größer.

Wer jetzt ein Corporate LLM einführt, gewinnt dreifach:

1. Rechtssicherheit: DSGVO-Konformität ohne komplizierte Vertragswerke mit US-Anbietern
2. Geschäftsgeheimnis-Schutz: Vertrauliche Daten bleiben unter deiner Kontrolle
3. Kostenvorteil: Planbare Kosten statt steigender Lizenzgebühren

Der erste Schritt: Identifiziere den Prozess in deinem Unternehmen, der am meisten von KI profitieren würde und der gleichzeitig vertrauliche Daten verarbeitet. Genau dort setzt ein Corporate LLM an.

Jannis Gerlinger KI-Berater und Geschäftsführer, JANGER GmbH

Jannis Gerlinger berät kleine und mittlere Unternehmen bei der Einführung von Künstlicher Intelligenz und setzt die Lösungen selbst um: KI-Assistenten, Automationen und individuelle Web-Apps. Als Geschäftsführer der JANGER GmbH arbeitet er seit 2007 an digitalen Systemen für Handwerk, Handel und Industrie, von Onlineshops bis zu internen Werkzeugen. Seine TÜV-Zertifizierung in Verkaufspsychologie verbindet technisches Know-how mit einem tiefen Verständnis für Geschäftsprozesse.