DSGVO-konforme KI für KMU und Mittelstand: So setzt du Corporate LLMs sicher ein, schützt Geschäftsgeheimnisse und vermeidest typische Datenschutz-Fallen.
Jannis Gerlinger
Ein Corporate LLM ist ein unternehmenseigenes Sprachmodell, das ausschließlich auf deiner eigenen Infrastruktur läuft. Alle Daten bleiben im Unternehmen, kein Byte fließt an Cloud-Anbieter, und damit entfällt das größte DSGVO-Risiko beim KI-Einsatz. Corporate LLMs sind eine Form der On-Premise-KI-Bereitstellung, also eine Alternative zu Cloud-KI und Hybrid-Modellen.
Warum das wichtig ist, zeigt der Alltag: Ein Mitarbeiter kopiert eine vertrauliche Kundenliste in ChatGPT, um sie schneller auszuwerten. Ein anderer lässt Slack-Nachrichten zusammenfassen, in denen Gehaltsdaten stehen. Und die Rechtsabteilung nutzt Claude, um Vertragsentwürfe zu prüfen.
Laut dem Cyberhaven Data Security Report (2023) sind 11 % aller Daten, die Mitarbeiter in KI-Tools eingeben, vertrauliche Unternehmensinformationen. Dazu gehören Quellcode, Kundendaten, Finanzberichte und interne Kommunikation. Wer als Geschäftsführer nicht weiß, welche Daten seine Mitarbeiter an US-Cloud-Dienste übermitteln, bewegt sich auf dünnem Eis.
Ein Corporate LLM behält deine Daten dort, wo sie hingehören: in deinem Unternehmen. Wenn du noch dabei bist zu entscheiden, welche KI-Lösungen für deinen Betrieb überhaupt sinnvoll sind, hilft dir der Praxisguide zu KI im Mittelstand beim Überblick.
Dieser Beitrag stammt von Jannis Gerlinger, Geschäftsführer der Jannis Gerlinger GmbH, TÜV-zertifiziert in Verkaufspsychologie und seit knapp 20 Jahren in der Digitalbranche.
Inhalt:
Ein Corporate LLM ist ein großes Sprachmodell (Large Language Model), das ausschließlich auf der eigenen IT-Infrastruktur eines Unternehmens betrieben wird. Es läuft On-Premise, also auf deinen eigenen Servern oder in einem deutschen Rechenzentrum, das du kontrollierst.
Bei Cloud-Diensten wie ChatGPT, Microsoft Copilot oder Google Gemini werden deine Eingaben an Server in den USA übertragen. Das Modell verarbeitet deine Daten dort, und du hast keine Kontrolle darüber, was mit ihnen passiert.
Bei einem Corporate LLM bleiben alle Daten im Unternehmen. Kein Byte verlässt deinen Server. Das bedeutet:
Für Corporate LLMs werden typischerweise Open-Source-Modelle eingesetzt. Die bekanntesten:
Diese Modelle lassen sich mit Fine-Tuning auf deine spezifischen Anforderungen anpassen und mit RAG (Retrieval Augmented Generation) um dein Firmenwissen ergänzen.
Die DSGVO stellt klare Anforderungen an die Verarbeitung personenbezogener Daten. Wer Cloud-KI-Dienste nutzt, muss diese Anforderungen erfüllen, und das ist schwieriger, als die meisten denken.
Sobald ein Mitarbeiter eine E-Mail, eine Kundenliste oder einen Vertrag in ein Cloud-KI-Tool eingibt, verlassen diese Daten dein Unternehmen. Du übergibst sie an einen Dritten, meist an einen US-Anbieter. Das löst eine Kette von DSGVO-Pflichten aus:
Viele KI-Anbieter nutzen deine Eingaben, um ihre Modelle zu verbessern. Auch wenn sie es nicht tun: Du musst nachweisen können, dass sie es nicht tun. Das erfordert eine detaillierte Prüfung der Nutzungsbedingungen und Datenschutzrichtlinien jedes einzelnen Anbieters.
Wenn ein Kunde die Löschung seiner Daten verlangt (Art. 17 DSGVO), musst du sicherstellen, dass auch der Cloud-KI-Anbieter diese Daten löscht. Bei manchen Anbietern ist das technisch kaum nachprüfbar.
Bei DSGVO-Verstößen drohen Bußgelder von bis zu 20 Millionen Euro oder 4 % des weltweiten Jahresumsatzes. Als Geschäftsführer haftest du persönlich.
Das aktuelle Abkommen für den Datentransfer in die USA, das EU-US Data Privacy Framework, steht auf wackeligen Füßen. Die Vorgänger (Privacy Shield, Safe Harbor) wurden beide vom Europäischen Gerichtshof gekippt. Wenn das erneut passiert, stehen alle Unternehmen, die auf US-Cloud-KI setzen, ohne Rechtsgrundlage da.
Mit einem Corporate LLM umgehst du dieses Risiko komplett. Kein Datentransfer, kein Drittland, keine Abhängigkeit von politischen Abkommen.
Für bestimmte Berufsgruppen ist die Nutzung von Cloud-KI nicht nur riskant, sie kann strafbar sein.
Anwälte, Steuerberater, Ärzte, Wirtschaftsprüfer und andere Berufsgeheimnisträger nach Paragraf 203 StGB dürfen Mandanten- und Patientendaten nicht an unbefugte Dritte weitergeben. Die Übermittlung an einen Cloud-KI-Anbieter kann als Offenbarung eines Geheimnisses gewertet werden. Das gilt selbst dann, wenn der Anbieter einen Auftragsverarbeitungsvertrag hat.
Eine Anwaltskanzlei, die Verträge über ChatGPT analysiert, riskiert nicht nur ein DSGVO-Bußgeld, sondern den Verlust der Zulassung. Ein Arzt, der Patientenbefunde in eine Cloud-KI eingibt, verstößt gegen die ärztliche Schweigepflicht.
Corporate LLMs lösen dieses Problem an der Wurzel: Wenn keine Daten das Unternehmen verlassen, gibt es keine Offenbarung an Dritte. Berufsgeheimnisse bleiben geschützt.
Die Grundlagen zu DSGVO-konformer KI-Nutzung haben wir in einem separaten Beitrag zusammengefasst.
Berufsgeheimnisse nach Paragraf 203 StGB sind strafrechtlich geschützt. Cloud-KI-Nutzung mit Mandanten- oder Patientendaten kann als strafbare Offenbarung gewertet werden. Corporate LLMs sind für Berufsgeheimnisträger die einzige rechtssichere KI-Lösung.
Stell dir eine mittelständische Wirtschaftskanzlei mit 8 Anwälten und 4 Fachangestellten vor. Die Mandanten erwarten schnelle Antworten, aber die Vertragsanalyse kostet Stunden. Cloud-KI ist aus berufsrechtlichen Gründen ausgeschlossen.
Eine mögliche Lösung: Ein Corporate LLM auf einem lokalen Server, ergänzt mit RAG für die interne Wissensdatenbank. Wann sich der Schritt zur eigenen Hardware rechnet, vergleicht der Leitfaden Lokale KI im Mittelstand.
Typisches Setup:
Realistisches Potenzial:
Der entscheidende Vorteil: Anwälte können vertrauliche Verträge analysieren lassen, ohne sich um Berufsrechtsverstöße zu sorgen. Das ist mit Cloud-KI schlicht unmöglich.
Du willst wissen, ob ein Corporate LLM für dein Unternehmen sinnvoll ist? In einer kostenlosen Demo zeigen wir dir in 30 Minuten, wie ein lokales KI-System in deiner Branche aussieht.
| Kriterium | Cloud-KI (ChatGPT, Copilot) | Corporate LLM (On-Premise) |
|---|---|---|
| Datenspeicherung | Server des Anbieters (meist USA) | Eigene Server im Unternehmen |
| DSGVO-Konformität | AVV, SCCs und DSFA nötig | Stark vereinfacht, kein Drittlandtransfer |
| Berufsgeheimnisse | Rechtlich problematisch bis strafbar | Vollständig geschützt |
| Datenkontrolle | Eingeschränkt, abhängig vom Anbieter | 100 % unter eigener Kontrolle |
| Anpassbarkeit | Begrenzt, gleiches Modell für alle | Fine-Tuning auf eigene Daten möglich |
| Ausfallsicherheit | Abhängig von Internetverbindung | Läuft auch offline |
| Laufende Kosten | Pro Nutzer und Monat, steigend bei mehr Nutzung | Einmalige Hardware plus Strom, kalkulierbar |
| Vendor Lock-in | Hoch: Abhängigkeit vom Anbieter | Keiner: Open-Source-Modelle frei austauschbar |
Nicht jeder Prozess braucht ein eigenes LLM. Starte mit den Aufgaben, die am meisten Zeit kosten und vertrauliche Daten betreffen:
Die Hardware-Anforderungen hängen von der Modellgröße ab. Für die meisten KMU-Anwendungen reicht ein Server mit einer oder zwei GPUs:
Beginne mit einem klar abgegrenzten Pilotprojekt. Ein Team, ein Anwendungsfall, 2 bis 4 Wochen Laufzeit. So validierst du den Nutzen, bevor du skalierst. Wie du dabei am besten vorgehst, beschreibt unser Leitfaden zur KI-Einführung im Mittelstand.
Ein generisches Modell kennt dein Unternehmen nicht. Mit RAG verbindest du das LLM mit deiner eigenen Wissensdatenbank: Verträge, Handbücher, E-Mails, CRM-Daten. Das Modell antwortet dann auf Basis deiner Unternehmensdaten, nicht auf Basis des allgemeinen Internets.
Für spezifische Fachsprache oder Branchenlogik kommt Fine-Tuning dazu. Dabei wird das Modell mit deinen eigenen Beispielen nachtrainiert.
Nach einem erfolgreichen Pilotprojekt kannst du das System schrittweise auf weitere Teams und Anwendungsfälle ausweiten. Die Hardware skaliert mit: Mehr Nutzer bedeuten mehr GPU-Leistung, aber die Daten bleiben immer auf deiner Infrastruktur.
Das Geschäftsgeheimnisgesetz (GeschGehG) verlangt, dass Unternehmen angemessene Geheimhaltungsmaßnahmen treffen. Wenn du vertrauliche Informationen in eine Cloud-KI eingibst, kann das als unzureichende Schutzmaßnahme gewertet werden. Die Folge: Du verlierst möglicherweise den rechtlichen Schutz deiner Geschäftsgeheimnisse.
Als Geschäftsgeheimnis nach GeschGehG zählen Informationen, die wirtschaftlichen Wert haben und durch angemessene Schutzmaßnahmen gesichert sind. Dazu gehören typischerweise:
Gibst du diese Informationen in ChatGPT ein, hast du sie einem Dritten zugänglich gemacht. Selbst wenn OpenAI die Daten nicht aktiv nutzt, hast du keine Kontrolle. Weder über die Serverinfrastruktur noch über die Mitarbeiter des Anbieters oder mögliche Sicherheitslecks. Ein Gericht könnte entscheiden, dass das keine "angemessene Geheimhaltungsmaßnahme" ist.
Corporate LLMs eliminieren dieses Risiko. Deine Geschäftsgeheimnisse bleiben auf deinem Server, unter deiner Kontrolle, mit deinen Zugriffsrechten. Der Schutzstatus bleibt erhalten.
Das war 2023 noch teilweise richtig. Heute erreichen Modelle wie Llama 3.1 und Mistral Large in vielen Benchmarks vergleichbare Ergebnisse. Für spezifische Unternehmensaufgaben sind sie mit Fine-Tuning oft sogar besser, weil sie auf die konkreten Anforderungen trainiert werden. Einen ausführlichen Vergleich der KI-Modelle findest du in unserem separaten Beitrag.
Corporate LLMs müssen nicht intern betrieben werden. Spezialisierte Dienstleister liefern schlüsselfertige Systeme, die auf deiner Hardware laufen. Die Wartung erfolgt remote, ohne dass der Dienstleister Zugriff auf deine Daten benötigt.
Ein Server mit GPU kostet ab 5.000 Euro. ChatGPT Enterprise kostet ab etwa 60 Dollar pro Nutzer und Monat (Stand: OpenAI-Preisangaben, Mai 2026). Bei 20 Nutzern sind das rund 14.400 Dollar im Jahr. Der Break-even für ein Corporate LLM liegt oft schon nach 12 bis 18 Monaten, und danach fallen nur noch Strom- und Wartungskosten an.
Rechne nicht nur die Lizenzkosten. Zähle die Stunden, die dein Team mit Routineaufgaben verbringt, die ein LLM übernehmen könnte. In den meisten Fällen liegt der größte ROI in der eingesparten Arbeitszeit, nicht in der Softwarelizenz.
Du brauchst kein eigenes Training von Grund auf. RAG (Retrieval Augmented Generation) verbindet ein fertiges Open-Source-Modell mit deiner Wissensdatenbank. Das Modell greift bei jeder Anfrage auf deine Dokumente zu, ohne dass du es aufwendig trainieren musst. Schon ab 50 bis 100 Dokumenten liefert RAG brauchbare Ergebnisse.
Datensouveränität bedeutet: Du entscheidest, was mit deinen Daten passiert. Nicht Google, nicht Microsoft, nicht OpenAI.
Für KMUs wird das zunehmend zum Wettbewerbsvorteil. In Gesprächen mit Unternehmen aus Fertigung und Versicherung ist Datensicherheit oft das meistgenannte Kriterium: "Wie schützt ihr unsere Daten?" Wer darauf antworten kann "Unsere KI läuft lokal, eure Daten verlassen nie unser Unternehmen", hat einen echten Vertrauensvorsprung.
Das gilt besonders für Branchen mit hohen Anforderungen an IT-Sicherheit:
Berechne dein Einsparpotenzial:
Ersparnis / Jahr
93.528 €
Stunden / Jahr
2.080h
ROI erreicht nach
2 Monaten
Ersparnis / Monat
7.794 €
Geschätzte Implementierungskosten: ab 10.000 €
Zum vollständigen ROI-Rechner →Die Technik ist reif. Open-Source-Modelle haben ein Niveau erreicht, das für die meisten Unternehmensanwendungen ausreicht. Die Hardware ist erschwinglich. Und die rechtlichen Risiken bei Cloud-KI werden nicht kleiner, sondern größer.
Wer jetzt ein Corporate LLM einführt, gewinnt dreifach:
Der erste Schritt: Identifiziere den Prozess in deinem Unternehmen, der am meisten von KI profitieren würde und der gleichzeitig vertrauliche Daten verarbeitet. Genau dort setzt ein Corporate LLM an.
Du willst den ersten Schritt machen? In einer kostenlosen Demo zeigen wir dir, wie ein Corporate LLM in deinem Unternehmen aussehen kann, welche Prozesse sich lohnen und wie schnell der ROI kommt.
Jannis Gerlinger ist Geschäftsführer der JANGER GmbH. Seit über 15 Jahren entwickelt er digitale Lösungen, erst im UX/UI Design und E-Commerce, heute mit dem Fokus auf sichere KI-Systeme für den Mittelstand. Mit seiner TÜV-Zertifizierung in Verkaufspsychologie verbindet er technisches Know-how mit einem tiefen Verständnis für Geschäftsprozesse.
Die neuesten Praxis-Tipps zur KI-Einführung direkt in dein Postfach. Kein Spam, jederzeit abbestellbar.
Cloud vs. lokal, Auftragsverarbeitung, EU AI Act: Der komplette DSGVO-Guide für datenschutzkonforme KI-Nutzung im Mittelstand mit 7-Schritte-Checkliste.
Weiterlesen
8 Auswahlkriterien, 4 Anbietertypen, Kosten 2026 und DSGVO-Pflichten: So findest du als KMU den passenden KI-Partner und vermeidest teure Fehlgriffe.
Weiterlesen
KI im Personalwesen für den Mittelstand: 6 DSGVO-konforme Anwendungsfälle, die EU-AI-Act-Pflichten ab 2026 und ein 4-Schritte-Start für HR-Teams.
WeiterlesenIn 15 Minuten findest du heraus, wo KI in deinem Betrieb den größten Hebel hat. Kostenlos, unverbindlich.
