Corporate LLMs: DSGVO-konforme KI für KMUs

Wenn interne Daten in fremde Hände geraten

Ein Mitarbeiter kopiert eine vertrauliche Kundenliste in ChatGPT, um sie schneller auszuwerten. Ein anderer lässt Slack-Nachrichten zusammenfassen, in denen Gehaltsdaten stehen. Und die Rechtsabteilung nutzt Claude, um Vertragsentwürfe zu prüfen.

Klingt nach Alltag? Genau das ist das Problem.

Laut einer Studie von Cyberhaven fließen 11 % aller Daten, die Mitarbeiter in KI-Tools eingeben, vertrauliche Unternehmensinformationen. Dazu gehören Quellcode, Kundendaten, Finanzberichte und interne Kommunikation. Wer als Geschäftsführer nicht weiß, welche Daten seine Mitarbeiter an US-Cloud-Dienste übermitteln, bewegt sich auf dünnem Eis.

Die Lösung heißt Corporate LLM: Ein eigenes Sprachmodell, das auf deiner Infrastruktur läuft und deine Daten dort behält, wo sie hingehören. In deinem Unternehmen.

Was genau ist ein Corporate LLM?

Ein Corporate LLM ist ein großes Sprachmodell (Large Language Model), das ausschließlich auf der eigenen IT-Infrastruktur eines Unternehmens betrieben wird. Es läuft On-Premise, also auf deinen eigenen Servern oder in einem deutschen Rechenzentrum, das du kontrollierst.

Der entscheidende Unterschied zu Cloud-KI

Bei Cloud-Diensten wie ChatGPT, Microsoft Copilot oder Google Gemini werden deine Eingaben an Server in den USA übertragen. Das Modell verarbeitet deine Daten dort, und du hast keine Kontrolle darüber, was mit ihnen passiert.

Bei einem Corporate LLM bleiben alle Daten im Unternehmen. Kein Byte verlässt deinen Server. Das bedeutet:

• Keine Datenübermittlung an Dritte
• Kein Drittlandtransfer nach Art. 44 ff. DSGVO
• Kein Auftragsverarbeitungsvertrag mit einem KI-Anbieter nötig
• Volle Kontrolle über Speicherung, Verarbeitung und Löschung

Welche Modelle kommen in Frage?

Für Corporate LLMs werden typischerweise Open-Source-Modelle eingesetzt. Die bekanntesten:

• Llama (Meta): Leistungsstarkes Modell mit verschiedenen Größen, gut für Textanalyse und Zusammenfassungen
• Mistral/Mixtral: Europäisches Modell, besonders effizient und für mittlere Hardware geeignet
• Qwen (Alibaba): Starke mehrsprachige Fähigkeiten, auch auf Deutsch
• Phi (Microsoft): Kompaktes Modell, das auch auf einfacherer Hardware läuft

Diese Modelle lassen sich mit Fine-Tuning auf deine spezifischen Anforderungen anpassen und mit RAG (Retrieval Augmented Generation) um dein Firmenwissen ergänzen.

Die DSGVO-Falle: Warum Cloud-KI für viele KMUs zum Risiko wird

Die DSGVO stellt klare Anforderungen an die Verarbeitung personenbezogener Daten. Wer Cloud-KI-Dienste nutzt, muss diese Anforderungen erfüllen, und das ist schwieriger, als die meisten denken.

Problem 1: Unkontrollierter Datenabfluss

Sobald ein Mitarbeiter eine E-Mail, eine Kundenliste oder einen Vertrag in ein Cloud-KI-Tool eingibt, verlassen diese Daten dein Unternehmen. Du übergibst sie an einen Dritten, meist an einen US-Anbieter. Das löst eine Kette von DSGVO-Pflichten aus:

• Auftragsverarbeitungsvertrag (Art. 28 DSGVO)
• Drittlandtransfer-Absicherung (Art. 44 ff. DSGVO)
• Dokumentation im Verarbeitungsverzeichnis (Art. 30 DSGVO)
• Informationspflicht gegenüber Betroffenen (Art. 13/14 DSGVO)

Problem 2: Das Training-Risiko

Viele KI-Anbieter nutzen deine Eingaben, um ihre Modelle zu verbessern. Auch wenn sie es nicht tun: Du musst nachweisen können, dass sie es nicht tun. Das erfordert eine detaillierte Prüfung der Nutzungsbedingungen und Datenschutzrichtlinien jedes einzelnen Anbieters.

Problem 3: Löschpflichten und Auskunftsrechte

Wenn ein Kunde die Löschung seiner Daten verlangt (Art. 17 DSGVO), musst du sicherstellen, dass auch der Cloud-KI-Anbieter diese Daten löscht. Bei manchen Anbietern ist das technisch kaum nachprüfbar.

Problem 4: Das EU-US Data Privacy Framework

Das aktuelle Abkommen für den Datentransfer in die USA, das EU-US Data Privacy Framework, steht auf wackeligen Füßen. Die Vorgänger (Privacy Shield, Safe Harbor) wurden beide vom Europäischen Gerichtshof gekippt. Wenn das erneut passiert, stehen alle Unternehmen, die auf US-Cloud-KI setzen, ohne Rechtsgrundlage da.

Mit einem Corporate LLM umgehst du dieses Risiko komplett. Kein Datentransfer, kein Drittland, keine Abhängigkeit von politischen Abkommen.

Berufsgeheimnisse und KI: Warum Cloud keine Option ist

Für bestimmte Berufsgruppen ist die Nutzung von Cloud-KI nicht nur riskant, sie kann strafbar sein.

Paragraf 203 StGB: Verletzung von Privatgeheimnissen

Anwälte, Steuerberater, Ärzte, Wirtschaftsprüfer und andere Berufsgeheimnisträger nach Paragraf 203 StGB dürfen Mandanten- und Patientendaten nicht an unbefugte Dritte weitergeben. Die Übermittlung an einen Cloud-KI-Anbieter kann als Offenbarung eines Geheimnisses gewertet werden, selbst wenn der Anbieter einen Auftragsverarbeitungsvertrag hat.

Was das für die Praxis bedeutet

Eine Anwaltskanzlei, die Verträge über ChatGPT analysiert, riskiert nicht nur ein DSGVO-Bußgeld. Sie riskiert den Verlust der Zulassung. Ein Arzt, der Patientenbefunde in eine Cloud-KI eingibt, verstößt gegen die ärztliche Schweigepflicht.

Corporate LLMs lösen dieses Problem an der Wurzel: Wenn keine Daten das Unternehmen verlassen, gibt es keine Offenbarung an Dritte. Berufsgeheimnisse bleiben geschützt. Die Grundlagen zu DSGVO-konformer KI-Nutzung haben wir in einem separaten Beitrag zusammengefasst.

Beispielszenario: Wie eine Kanzlei mit Corporate LLM arbeiten könnte

Stell dir eine mittelständische Wirtschaftskanzlei mit 8 Anwälten und 4 Fachangestellten vor. Die Mandanten erwarten schnelle Antworten, aber die Vertragsanalyse kostet Stunden. Cloud-KI ist aus berufsrechtlichen Gründen ausgeschlossen.

Eine mögliche Lösung: Ein Corporate LLM auf einem lokalen Server, ergänzt mit RAG für die interne Wissensdatenbank.

Typisches Setup:

• Lokaler Server mit GPU (Investition: ca. 12.000 Euro)
• Open-Source-Modell (Llama 3.1 70B) mit Fine-Tuning auf juristische Texte
• RAG-Anbindung an die bestehende Mandatsdatenbank
• Integration in das vorhandene Dokumentenmanagementsystem

Realistisches Potenzial:

• 10 bis 15 Stunden pro Woche weniger für Vertragsanalyse und Dokumentenprüfung
• Deutlich schnellere Erstbewertung von neuen Mandatsanfragen
• Null Datentransfer nach außen: Alle Mandantendaten bleiben auf dem Kanzleiserver
• ROI typischerweise innerhalb von 6 Monaten

Der entscheidende Vorteil: Anwälte können vertrauliche Verträge analysieren lassen, ohne sich um Berufsrechtsverstöße zu sorgen. Das ist mit Cloud-KI schlicht unmöglich.

Corporate LLM vs. Cloud-KI: Der Vergleich

So führst du ein Corporate LLM ein: Der 5-Schritte-Plan

Schritt 1: Anwendungsfälle identifizieren

Nicht jeder Prozess braucht ein eigenes LLM. Starte mit den Aufgaben, die am meisten Zeit kosten und vertrauliche Daten betreffen:

• E-Mail-Triage und Zusammenfassungen
• Vertragsanalyse und Dokumentenprüfung
• Internes Wissensmanagement (FAQ, Handbücher, SOPs)
• Kundenkommunikation und Angebotsvorlagen
• Protokollerstellung aus Meetings

Schritt 2: Hardware und Modell wählen

Die Hardware-Anforderungen hängen von der Modellgröße ab. Für die meisten KMU-Anwendungen reicht ein Server mit einer oder zwei GPUs:

• Einfache Aufgaben (Zusammenfassungen, E-Mail-Triage): Modelle mit 7 bis 14 Milliarden Parametern, ab ca. 3.000 Euro Hardware
• Komplexe Aufgaben (Vertragsanalyse, technische Dokumentation): Modelle mit 30 bis 70 Milliarden Parametern, ab ca. 8.000 Euro Hardware
• Enterprise-Niveau (Multi-User, hohe Parallelität): Mehrere GPUs, ab ca. 15.000 Euro Hardware

Schritt 3: Pilotprojekt starten

Beginne mit einem klar abgegrenzten Pilotprojekt. Ein Team, ein Anwendungsfall, 2 bis 4 Wochen Laufzeit. So validierst du den Nutzen, bevor du skalierst. Wie du dabei am besten vorgehst, beschreibt unser Leitfaden zur KI-Einführung im Mittelstand.

Schritt 4: RAG und Fine-Tuning

Ein generisches Modell kennt dein Unternehmen nicht. Mit RAG verbindest du das LLM mit deiner eigenen Wissensdatenbank: Verträge, Handbücher, E-Mails, CRM-Daten. Das Modell antwortet dann auf Basis deiner Unternehmensdaten, nicht auf Basis des allgemeinen Internets.

Für spezifische Fachsprache oder Branchenlogik kommt Fine-Tuning dazu. Dabei wird das Modell mit deinen eigenen Beispielen nachtrainiert.

Schritt 5: Ausrollen und Skalieren

Nach einem erfolgreichen Pilotprojekt kannst du das System schrittweise auf weitere Teams und Anwendungsfälle ausweiten. Die Hardware skaliert mit: Mehr Nutzer bedeuten mehr GPU-Leistung, aber die Daten bleiben immer auf deiner Infrastruktur.

Geschäftsgeheimnisse schützen: Warum das Thema gerade jetzt brennt

Das Geschäftsgeheimnisgesetz (GeschGehG) verlangt, dass Unternehmen angemessene Geheimhaltungsmaßnahmen treffen. Wenn du vertrauliche Informationen in eine Cloud-KI eingibst, kann das als unzureichende Schutzmaßnahme gewertet werden. Die Folge: Du verlierst möglicherweise den rechtlichen Schutz deiner Geschäftsgeheimnisse.

Was als Geschäftsgeheimnis zählt

• Kundenlisten und Preiskalkulationen
• Technische Zeichnungen und Rezepturen
• Strategiepapiere und Businesspläne
• Interne Prozessdokumentation
• Vertragskonditionen mit Lieferanten

Warum Cloud-KI den Geheimnisschutz gefährdet

Gibst du diese Informationen in ChatGPT ein, hast du sie einem Dritten zugänglich gemacht. Selbst wenn OpenAI die Daten nicht aktiv nutzt: Du hast keine Kontrolle über die Serverinfrastruktur, die Mitarbeiter des Anbieters oder mögliche Sicherheitslecks. Ein Gericht könnte entscheiden, dass das keine "angemessene Geheimhaltungsmaßnahme" ist.

Corporate LLMs eliminieren dieses Risiko. Deine Geschäftsgeheimnisse bleiben auf deinem Server, unter deiner Kontrolle, mit deinen Zugriffsrechten. Der Schutzstatus bleibt erhalten.

Häufige Einwände und warum sie nicht (mehr) stimmen

"Open-Source-Modelle sind schlechter als ChatGPT"

Das war 2023 noch teilweise richtig. Heute erreichen Modelle wie Llama 3.1 und Mistral Large in vielen Benchmarks vergleichbare Ergebnisse. Für spezifische Unternehmensaufgaben sind sie mit Fine-Tuning oft sogar besser, weil sie auf die konkreten Anforderungen trainiert werden. Einen ausführlichen Vergleich der KI-Modelle findest du in unserem separaten Beitrag.

"Wir haben nicht die IT-Kapazität dafür"

Corporate LLMs müssen nicht intern betrieben werden. Spezialisierte Dienstleister liefern schlüsselfertige Systeme, die auf deiner Hardware laufen. Die Wartung erfolgt remote, ohne dass der Dienstleister Zugriff auf deine Daten benötigt.

"Das ist zu teuer für ein KMU"

Ein Server mit GPU kostet ab 5.000 Euro. ChatGPT Enterprise kostet ab 60 Dollar pro Nutzer und Monat. Bei 20 Nutzern sind das 14.400 Dollar im Jahr. Der Break-even für ein Corporate LLM liegt oft schon nach 12 bis 18 Monaten, und danach fallen nur noch Strom- und Wartungskosten an.

"Unsere Daten reichen nicht für eigenes Training"

Du brauchst kein eigenes Training von Grund auf. RAG (Retrieval Augmented Generation) verbindet ein fertiges Open-Source-Modell mit deiner Wissensdatenbank. Das Modell greift bei jeder Anfrage auf deine Dokumente zu, ohne dass du es aufwendig trainieren musst. Schon ab 50 bis 100 Dokumenten liefert RAG brauchbare Ergebnisse.

Datensouveränität als Wettbewerbsvorteil

Datensouveränität bedeutet: Du entscheidest, was mit deinen Daten passiert. Nicht Google, nicht Microsoft, nicht OpenAI.

Für KMUs wird das zunehmend zum Wettbewerbsvorteil. Kunden und Geschäftspartner fragen immer häufiger nach: "Wie schützt ihr unsere Daten?" Wer darauf antworten kann "Unsere KI läuft lokal, eure Daten verlassen nie unser Unternehmen", hat einen echten Vertrauensvorsprung.

Das gilt besonders für Branchen mit hohen Anforderungen an IT-Sicherheit:

• Fertigung und Industrie: Konstruktionsdaten und Produktionsgeheimnisse
• Versicherungen: Kundendaten und Schadensberichte
• Immobilien: Vertragsdaten und Objektbewertungen
• Großhandel: Einkaufspreise und Lieferantenkonditionen

Berechne dein Einsparpotenzial:

Der richtige Zeitpunkt ist jetzt

Die Technik ist reif. Open-Source-Modelle haben ein Niveau erreicht, das für die meisten Unternehmensanwendungen ausreicht. Die Hardware ist erschwinglich. Und die rechtlichen Risiken bei Cloud-KI werden nicht kleiner, sondern größer.

Wer jetzt ein Corporate LLM einführt, gewinnt dreifach:

1. Rechtssicherheit: DSGVO-Konformität ohne komplizierte Vertragswerke mit US-Anbietern
2. Geschäftsgeheimnis-Schutz: Vertrauliche Daten bleiben unter deiner Kontrolle
3. Kostenvorteil: Planbare Kosten statt steigender Lizenzgebühren

Der erste Schritt: Identifiziere den Prozess in deinem Unternehmen, der am meisten von KI profitieren würde und der gleichzeitig vertrauliche Daten verarbeitet. Genau dort setzt ein Corporate LLM an.