Lokale KI im Mittelstand: Wann Cloud, wann lokal?

Lokale KI lohnt sich im Mittelstand, wenn Daten sensibel sind, das Nutzungsvolumen hoch ist oder Berufsrecht Datensouveränität vorschreibt. Für Recherche und Standard-Texterstellung bleibt Cloud-KI die wirtschaftlichere Wahl. Die meisten Betriebe kombinieren beides in einer Hybrid-Strategie. Wer KI im Unternehmen einführt, steht damit zuerst vor einer Architekturfrage, nicht vor einer Tool-Frage. Diese Entscheidung bestimmt Datenschutzrisiko, Kosten, Einführungsgeschwindigkeit und langfristige Abhängigkeit. Ich bin Jannis Gerlinger, seit 2007 in der Digitalbranche und heute mit Fokus auf KI-Beratung für den Mittelstand. In Gesprächen mit Betrieben zeigt sich regelmäßig, dass diese Architekturfrage am Anfang falsch oder gar nicht gestellt wird.

Inhalt

• Wo der Mittelstand 2026 wirklich steht
• Was lokale KI eigentlich ist
• Wann lokale KI wirklich Sinn ergibt
• Wann Cloud die bessere Wahl bleibt
• Cloud, lokal, hybrid: Kosten und ROI im Direktvergleich
• Drei Hardware-Stufen decken die meisten Mittelstandsszenarien ab
• Der rechtliche Rahmen: Warum die Cloud-Frage 2026 schärfer wird
• Die häufigsten Missverständnisse zu lokaler KI
• Einführung lokaler KI: 10 Schritte ohne Umwege
• Beispiel-Rechnung: Lokale KI amortisiert sich in 15 bis 24 Monaten
• Realistische Stolpersteine, die niemand vorher sagt
• Diese drei Unternehmensprofile profitieren heute von lokaler KI
• Fazit: Lokale KI ist kein Trend, sondern eine Architektur-Entscheidung

Wo der Mittelstand 2026 wirklich steht

Bitkom zeigt eine klare Verschiebung. 57 Prozent der Unternehmen mit mindestens 20 Mitarbeitern nutzen heute KI, im Vorjahr waren es 36 Prozent (Bitkom, Erstmals nutzt die Mehrheit der Unternehmen KI, September 2026). Gleichzeitig nennen 77 Prozent Datenschutzanforderungen als größtes Hindernis bei der Digitalisierung (Bitkom, Digitalisierung der Wirtschaft, März 2026). Bereits in einer früheren Bitkom-Erhebung (Pressemitteilung „Durchbruch bei Künstlicher Intelligenz", September 2025) gaben 93 Prozent an, einen KI-Anbieter aus Deutschland zu bevorzugen.

Das ist der Spagat des Mittelstands: KI-Nutzung wächst rasant, Datenschutz ist gleichzeitig die größte Sorge, und 93 Prozent würden lieber deutsche Anbieter nutzen. Genau hier liegt der strategische Hebel von lokaler KI: Sie löst die Datenschutzfrage technisch und nicht juristisch.

Was lokale KI eigentlich ist

Lokale KI bedeutet, dass Sprachmodelle und KI-Anwendungen auf eigener Hardware im eigenen Netzwerk laufen, statt in der Cloud eines Anbieters. Drei Architektur-Varianten sind zu unterscheiden:

Cloud-KI: Du sendest deine Anfragen an einen externen Anbieter (OpenAI, Anthropic, Google, Microsoft), der das Modell auf seinen Servern betreibt. Deine Daten verlassen dein Netzwerk und werden auf fremder Infrastruktur verarbeitet.

Lokale KI: Du betreibst ein Open-Source-Modell (Large Language Model wie Llama, Qwen oder Mistral) auf deinem eigenen Server. Anfragen und Antworten bleiben komplett in deinem Netzwerk.

Hybride KI: Du kombinierst beides. Eine Routing-Schicht entscheidet pro Anfrage, was wo läuft. Sensible Anfragen lokal, generelle Recherche per Cloud.

Eine vierte Variante existiert noch: Edge-KI auf einzelnen Geräten (z.B. Tablet, Maschine). Für das typische Mittelstandsszenario aber meist nicht relevant, deshalb hier ausgeklammert.

Wann lokale KI wirklich Sinn ergibt

Lokale KI ist kein Selbstzweck. Sie macht in drei Konstellationen wirtschaftlich und rechtlich Sinn:

1. Hohe Datensensibilität. Kanzleien mit Mandantenakten, Bauplaner mit Konstruktionsdaten, Personalabteilungen mit Bewerberprofilen, Steuerberater mit Geschäftsgeheimnissen ihrer Mandanten. Hier ist Cloud kein technisches Problem, sondern ein rechtliches.

2. Hohes Nutzungsvolumen. Cloud-KI ist pro Anfrage günstig, bei großen Mengen aber teuer. Wer im Monat hunderttausende Anfragen verarbeitet (z.B. Belegerkennung im Großbetrieb, Massenmail-Automatisierung, interne Wissensdatenbanken), erreicht oft binnen ein bis zwei Jahren den Break-even gegenüber einer eigenen Hardware.

3. Anforderung an Datensouveränität. Branchen mit Berufsrecht (Steuerberater, Wirtschaftsprüfer, Anwaltskanzleien, Ärzte) oder mit besonderen behördlichen Vorgaben (KRITIS, BAFIN-regulierte Bereiche, Behörden) brauchen oft technisch nachweisbare Datensouveränität. Die kannst du in der Cloud schwer garantieren, lokal ist sie selbstverständlich.

Wer in keinen dieser drei Fälle fällt, sollte bei Cloud-KI bleiben oder sehr genau rechnen, bevor er in eigene Hardware investiert.

Wann Cloud die bessere Wahl bleibt

Cloud-KI ist nicht das Problem, sie ist nur in bestimmten Kontexten das falsche Werkzeug. Sie bleibt die richtige Wahl für:

• Recherche und Wissensarbeit ohne sensible Daten. Wer ChatGPT, Claude oder Gemini für allgemeine Recherche, Textentwürfe oder Übersetzungen nutzt, gibt nichts Sensibles raus.
• Pilotphasen und Experimente. Bevor du in eigene Hardware investierst, willst du wissen, welche Use Cases überhaupt funktionieren. Cloud-KI ist dafür die schnellste und günstigste Testumgebung.
• Einzelne Mitarbeiter mit niedrigem Bedarf. Ein Marketing-Mensch, der zehnmal pro Tag eine Cloud-KI für Texte nutzt, rechtfertigt keine eigene Hardware.
• Schnelle Skalierung nach oben. Wenn dein Bedarf plötzlich steigt, kannst du Cloud-Kontingente in Minuten erhöhen. Hardware-Beschaffung dauert Wochen.

In der Praxis ist die wichtigste Frage daher nicht „Cloud oder lokal?", sondern „Welche Anfrage gehört in welches System?".

Cloud, lokal, hybrid: Kosten und ROI im Direktvergleich

Die Tabelle macht klar: Es gibt keinen pauschalen Sieger. Die richtige Wahl hängt von Nutzungsprofil und Datensensibilität ab. Für die meisten Mittelständler ist die Hybrid-Variante deshalb der Default, nicht die Ausnahme.

Drei Hardware-Stufen decken die meisten Mittelstandsszenarien ab

Hier kursieren viel zu viele Annahmen, die teuer enden. Die Realität für ein typisches Mittelstands-Setup:

Die GPU-Preise haben sich seit Frühjahr 2026 durch die KI-Nachfrage stark verschoben, ein Preisvergleich mit Apple-Hardware lohnt sich deshalb auf jeder Stufe.

Einzelplatz, Single-User

Ein Mac Studio mit M5 Max startet zwar schon ab rund 2.999 Euro (Apple.de), allerdings nur mit 36 GB Unified Memory, das reicht für kleinere 7-13B-Modelle. Für die 70-Milliarden-Parameter-Klasse brauchst du die Konfiguration mit 128 GB Unified Memory, die mit dem passenden Speicher-Upgrade und 1 TB Speicher real rund 5.900 Euro kostet (eigene Hochrechnung aus den Apple.de-Aufpreisen, Marktstart September 2026). Die klassische Alternative über eine eigene GPU ist für diese Modellklasse inzwischen noch teurer.

Eine einzelne RTX 5090 (32 GB VRAM) kostete bei Marktstart Anfang 2025 rund 2.100 Euro. Durch die KI-Nachfrage steht sie in Deutschland im September 2026 bei mindestens 5.200 Euro, einzelne Modelle bei fast 6.000 Euro (PC Games Hardware, Geizhals, September 2026). Ein komplettes RTX-5090-System liegt damit eher bei 7.000 bis 9.000 Euro, deutlich teurer als der vergleichbare Mac Studio.

Kleine Kanzlei oder Mittelstandsabteilung (3-10 Nutzer)

Ein dedizierter GPU-Server mit RTX 6000 Ada (48 GB VRAM, aktuell ab rund 8.000 Euro pro Karte laut Geizhals, September 2026) oder mehreren RTX 5090 zu heutigen Preisen kostet inzwischen eher 25.000 bis 45.000 Euro Anfangsinvestition. Eine günstigere Alternative für diesen Nutzerkreis ist ein Mac Studio M5 Ultra: Die Basis-Konfiguration mit 96 GB Unified Memory kostet ab rund 6.599 Euro (Apple.de). Größere Speicherausbauten bis 512 GB folgen im Laufe des Herbstes 2026 zu entsprechend höheren, zum Redaktionsschluss noch nicht final bepreisten Konditionen.

Größerer Betrieb (10-50 Nutzer)

Eigenes Mini-Cluster mit zwei bis vier GPUs, zu aktuellen Preisen typischerweise 40.000 bis 100.000 Euro Hardware, plus Einrichtung. Kann oft mit lokaler KI nahezu unbegrenzte Anfragen abdecken, ohne dass Cloud-Kosten skalieren.

Der rechtliche Rahmen: Warum die Cloud-Frage 2026 schärfer wird

Bis 2025 war der Datentransfer in die USA ein Graubereich. Mit dem EU-US Data Privacy Framework gab es einen formalen Angemessenheitsbeschluss. 2025 hat sich die Situation verändert, in vier Punkten:

1. PCLOB-Aufsicht beschädigt: Die Trump-Administration hat im Januar 2025 drei demokratische Mitglieder des PCLOB entlassen, des Aufsichtsgremiums, das die US-Seite der Datenschutzvereinbarung überwacht. Im Mai 2025 hat ein Bundesgericht die Entlassung für rechtswidrig erklärt und die Wiedereinsetzung angeordnet, das Gremium war zwischenzeitlich aber ohne Quorum, was die Aufsichtsfunktion über das DPF beeinträchtigt (Risikoanalyse von KPMG).
2. CLOUD Act bleibt in Kraft: Er erlaubt US-Behörden, von US-Unternehmen die Herausgabe von Daten zu verlangen, selbst wenn diese auf EU-Servern liegen. Wenn Microsoft, AWS, Google oder OpenAI Daten verarbeiten, gelten US-Gesetze parallel zur DSGVO.
3. DPF-Berufung läuft: Eine erste DPF-Klage des französischen Abgeordneten Philippe Latombe wurde am 3. September 2025 vom Europäischen Gericht (EuG) abgewiesen, womit das DPF zunächst bestätigt wurde. Latombe hat Ende Oktober 2025 tatsächlich Berufung eingelegt, das Verfahren läuft seitdem beim Europäischen Gerichtshof unter dem Aktenzeichen C-703/25 P. Im Juni 2026 ist Microsoft der EU-Kommission in diesem Verfahren als Streithelferin beigetreten (dsn-group.de, Stand September 2026). Die rechtliche Situation bleibt damit ungeklärt.
4. Bußgelder bleiben hoch: DSGVO-Verstöße kosten bis zu 20 Millionen Euro oder 4 Prozent des Jahresumsatzes, je nachdem was höher ist (Art. 83 DSGVO). Das ist kein theoretisches Risiko mehr, sondern eines, das aktiv durchgesetzt wird.

Lokale KI ist die einzige Architektur, die diese Risiken technisch beseitigt. Wenn Daten dein Netzwerk nicht verlassen, gibt es keinen Drittlandtransfer.

Die häufigsten Missverständnisse zu lokaler KI

„Lokale KI ist teurer"

Stimmt nicht pauschal. Bei niedrigem Volumen ist Cloud günstiger. Bei hohem Volumen kippt die Kostenrechnung oft binnen weniger Jahre. Eine kleine Kanzlei mit zehntausend Anfragen pro Monat zahlt in der Cloud je nach Anbieter und Token-Länge grob geschätzt 500 bis 1.500 Euro monatlich. Die gleiche Last auf eigener Hardware kostet nur Strom (typischerweise unter 50 Euro pro Monat) und gelegentliche Wartung. Über drei Jahre amortisiert sich eine Hardware-Investition oft.

„Lokale KI ist schlechter"

Stimmt teilweise. Closed-Source-Modelle wie GPT-6 oder Claude Opus 5.5 sind in absoluten Benchmarks noch leicht vorne. Für die meisten Routineaufgaben im Mittelstand reichen offene Modelle wie Llama 3.3 70B oder Qwen 3.6 nach meiner Erfahrung vollkommen aus. Der Performance-Unterschied ist meist nicht relevant, der Datenschutz-Unterschied dagegen schon.

„Lokale KI ist nur was für Tech-Unternehmen"

Stimmt nicht mehr. Hardware und Software für lokale KI sind heute durchschnittstauglich. Die Software (ollama, llama.cpp, LM Studio) ist installationsfertig. Was es weiterhin braucht, ist eine klare Architektur-Entscheidung und ein IT-Partner, der die Installation und Wartung übernimmt. Beides ist im Mittelstand machbar.

„Wir brauchen die größten Modelle"

Selten. In den meisten Mittelstandsszenarien reichen 7-13B-Modelle für Routineaufgaben, 32-70B für anspruchsvollere Anwendungen. Wer mit den größten Modellen startet, verbrennt Hardware-Budget für Funktionen, die er nicht nutzt.

Einführung lokaler KI: 10 Schritte ohne Umwege

Diese Reihenfolge orientiert sich an typischen Best Practices für IT-Infrastruktur-Projekte und an BSI-Empfehlungen für sichere KI-Nutzung:

• Use Cases präzise definieren: Welche konkreten Aufgaben sollen lokal laufen?
• Datensensibilität pro Use Case einstufen (intern, vertraulich, streng vertraulich)
• Realistische Modellgröße wählen: 7-13B reicht oft, 70B nur wenn nötig
• Hardware-Budget abstimmen, Mehrnutzer-Last realistisch einschätzen
• Pilotphase mit Mietshardware oder Cloud-GPU, bevor du kaufst
• Daten-Architektur planen: Welche Daten wandern wohin (lokal vs Cloud)?
• IT-Sicherheit nach BSI-Empfehlungen aufsetzen (Netzwerktrennung, Logging, Backups)
• Mitarbeiter schulen, klare Nutzungsregeln dokumentieren
• Monitoring einführen: Antwortzeiten, Auslastung, Ergebnisqualität
• Hybrid-Strategie schriftlich festhalten: Welche Anfrage gehört in welches System?

Wer diese Reihenfolge einhält, vermeidet die häufigsten Fehler: Überdimensionierte Hardware, unklare Hybrid-Architektur, ungeklärte Sicherheitsanforderungen. Eine Vorlage für die Architektur-Entscheidung findest du im verlinkten Kosten-Leitfaden.

Beispiel-Rechnung: Lokale KI amortisiert sich in 15 bis 24 Monaten

Solche Beispiele lassen sich nicht 1:1 übertragen. Wer wissen will, ob es sich für seinen Betrieb lohnt, sollte den KI-Lösungsfinder nutzen oder ein Analysegespräch buchen.

Realistische Stolpersteine, die niemand vorher sagt

Stromkosten unterschätzt. Eine GPU unter Volllast zieht 350-500 Watt. Wer 8 Stunden täglich Anfragen verarbeitet, hat schnell 80-120 Euro Strom pro Monat. Bei mehreren GPUs entsprechend mehr. Das ist kein Showstopper, sollte aber im Budget stehen.

Wartungsaufwand. Treiber-Updates, Modell-Updates, gelegentliche Hardware-Probleme. Ohne IT-Partner oder fitten internen Admin geht das nicht. Eine reine „kauf und vergiss"-Lösung gibt es nicht.

Modell-Updates manuell. Anders als bei Cloud-Anbietern, die ihre Modelle still weiterentwickeln, musst du lokal selbst entscheiden, wann du auf ein neues Modell wechselst. Das ist eine Chance (mehr Kontrolle) und eine Pflicht (mehr Verantwortung).

Performance-Erwartungsmanagement. Lokale Modelle sind in Spezialaufgaben oft hervorragend, aber nicht bei jeder Aufgabe Spitze. Wer ständig die absolut beste Antwort braucht, fährt mit einer Hybrid-Strategie besser.

Diese drei Unternehmensprofile profitieren heute von lokaler KI

Wenn du in mindestens einer dieser drei Lagen bist, ist lokale KI heute die Standardlösung, nicht die Ausnahme:

• Du verarbeitest sensible Daten regelmäßig und musst dich gegenüber Mandanten, Kunden oder Behörden nachweisbar absichern
• Dein Cloud-KI-Budget übersteigt deutlich die monatliche Strom- und Wartungs-Kostenschwelle einer eigenen Lösung
• Du willst Unabhängigkeit von einzelnen Anbietern und Preisveränderungen erreichen

Für alle anderen ist die Hybrid-Strategie der Weg: Cloud für Routine, lokal für sensibel. Eine vollständige Cloud-Strategie ohne lokale Komponente wird in den nächsten Jahren immer schwieriger zu rechtfertigen, vor allem in regulierten Branchen.

Wer das Thema technisch tiefer angehen will, findet im Hub-Artikel KI im Mittelstand den Gesamtkontext und im Artikel zur DSGVO-konformen Corporate-LLM-Architektur die juristische Vertiefung.

Fazit: Lokale KI ist kein Trend, sondern eine Architektur-Entscheidung

KI im Mittelstand ist nicht mehr die Frage, ob, sondern wo sie läuft. Lokale KI ist die saubere Antwort für sensible Daten, hohes Volumen und regulierte Branchen. Cloud bleibt die richtige Wahl für Recherche, schnelle Skalierung und nicht-sensible Aufgaben. Die meisten Mittelständler fahren am besten mit beidem.

Wer heute investiert, baut sich Unabhängigkeit auf, die in zwei bis drei Jahren wichtig wird, wenn der Datenschutz-Rahmen sich weiter verschärft und Cloud-Kosten weiter steigen. Wer dagegen rein auf Cloud-Anbieter setzt, akzeptiert ein Risiko, das mit jedem Jahr schwieriger zu rechtfertigen wird.

Jannis Gerlinger KI-Berater und Geschäftsführer, JANGER GmbH

Jannis Gerlinger berät kleine und mittlere Unternehmen bei der Einführung von Künstlicher Intelligenz und setzt die Lösungen selbst um: KI-Assistenten, Automationen und individuelle Web-Apps. Als Geschäftsführer der JANGER GmbH arbeitet er seit 2007 an digitalen Systemen für Handwerk, Handel und Industrie, von Onlineshops bis zu internen Werkzeugen. Seine vom TÜV Rheinland geprüfte Qualifikation in Verkaufspsychologie verbindet technisches Know-how mit einem tiefen Verständnis für Geschäftsprozesse.