Grafikkarte für lokale KI: Speicher entscheidet

Für lokale KI entscheidet die Größe des Grafikspeichers, nicht die Rechenleistung der Karte. Grafikspeicher heißt im Datenblatt VRAM, gemeint ist dasselbe. Ein Modell muss vollständig in diesen Speicher passen, sonst rechnet ein Teil davon auf dem Prozessor und die Antwort tröpfelt Wort für Wort. Die praktische Zielgröße im Mittelstand liegt bei 12 bis 16 GB. Diese Seite nennt für jede aktuelle Karte den Speicher, liefert die Rechnung dazu und sagt, welches Modell auf welcher Karte läuft.

Die Grafikkarte ist dabei nur eine von drei Formen der KI-Bereitstellung. Lokale KI läuft auf eigener Hardware, Cloud-KI beim Anbieter, Hybrid-KI verteilt die Aufgaben nach Sensibilität der Daten. Dieser Ratgeber behandelt die Hardware-Frage des ersten Wegs.

Der Ratgeber richtet sich an Geschäftsführer und IT-Verantwortliche, die lokale KI einführen und vorher wissen wollen, welche Hardware sie kaufen. Wenn du die Software noch nicht eingerichtet hast, führt dich die Anleitung zur Installation lokaler KI durch die sechs Schritte davor.

23 Min Lokale KI: Was auf deinen Rechner gehört, und was nichtYouTube lädt erst nach dem Klick

Der Grafikspeicher setzt die Grenze, nicht die Rechenleistung

Bei Spielen zählt, wie schnell eine Grafikkarte rechnet. Bei lokaler KI zählt zuerst, wie viel sie behalten kann. Ein Sprachmodell besteht aus Parametern, den Stellschrauben, die beim Training entstanden sind. Alle Parameter müssen gleichzeitig im Speicher liegen, damit das Modell antworten kann.

Passt das Modell nicht hinein, verteilt das Werkzeug es auf Grafikkarte und Arbeitsspeicher. Der ausgelagerte Teil rechnet auf dem Prozessor weiter, also um ein Vielfaches langsamer. Das Ergebnis ist keine Fehlermeldung, sondern eine Antwort, die zäh aus dem Rechner sickert. Genau dieser Effekt lässt Menschen glauben, lokale KI sei generell langsam. Meist ist nur das Modell eine Nummer zu groß gewählt.

Daraus folgt eine unbequeme Kaufregel: Eine ältere Karte mit 16 GB Speicher ist für lokale KI besser als eine neuere mit 8 GB. Die schnellere Karte hilft nichts, wenn das Modell nicht hineinpasst. Speicher schlägt Tempo, solange du unter der Grenze bleibst.

So rechnest du in zehn Sekunden aus, was auf deine Karte passt

Die Formel lautet: Milliarden Parameter mal 0,7, plus 3 GB. Das Ergebnis muss unter deinen Grafikspeicher passen.

Ein Beispiel: Ein Modell mit 12 Milliarden Parametern rechnet sich als 12 mal 0,7 gleich 8,4, plus 3 macht 11,4 GB. Auf einer Karte mit 12 GB geht das auf, auf einer mit 8 GB nicht.

Der Faktor 0,7 ist nicht geschätzt. Modelle werden für den lokalen Betrieb quantisiert, also gröber gespeichert. Der Standard heißt Q4_K_M und braucht rund 4,9 Bit pro Gewicht, also gut 0,6 GB je Milliarde Parameter (llama.cpp, Dokumentation zur Quantisierung, 2026). Der Aufschlag auf 0,7 deckt ab, dass Dateien in der Praxis etwas größer ausfallen. Die 3 GB Puffer stehen für das Kontextfenster und den Bedarf des Betriebssystems.

Zwei Zahlen im Modellnamen: nimm immer die große

Manche Modelle tragen zwei Zahlen, etwa Gemma 4 in der Kennung 26b-a4b. Diese Modelle sind als Mixture-of-Experts gebaut: Von allen Parametern rechnet pro Wort nur ein Teil mit. Google gibt für Gemma 4 mit 26 Milliarden Parametern rund 4 Milliarden aktive an (Google AI for Developers, Gemma 4 Model Overview, 2026).

Für den Speicherbedarf zählt die große Zahl. Welcher Teil des Modells rechnet, entscheidet sich erst während der Antwort, also muss alles geladen sein. Wer mit der kleinen Zahl rechnet, landet bei 4 mal 0,7 gleich 2,8 GB und wundert sich, warum das Modell auf einer 12-GB-Karte nicht läuft. Der echte Bedarf liegt bei rund 18 GB.

Der Vorteil dieser Bauart ist Tempo bei gleicher Größe, nicht ein kleinerer Speicherbedarf. Für die Kaufentscheidung ändert Mixture-of-Experts also nichts: Es zählt die Gesamtzahl der Parameter.

Diese Grafikkarten haben wie viel Speicher

Die aktuelle Generation von NVIDIA heißt GeForce RTX 50. Die Speichergrößen laut Herstellerangaben (NVIDIA, Vergleichstabelle der RTX 50 Serie, abgerufen September 2026):

Bei AMD heißt die aktuelle Reihe Radeon RX 9000. Die RX 9070 XT, die RX 9070 und die RX 9060 XT bringen je 16 GB mit (AMD, ROCm-Dokumentation zu GPU-Spezifikationen, Stand September 2026). Die RX 9060 XT gibt es zusätzlich als 8-GB-Fassung. Ein von AMD angekündigter Nachfolger mit größerem Speicher ist bis September 2026 nicht erschienen, an der Kaufempfehlung ändert sich deshalb nichts.

Nach oben endet die Fahnenstange bei der RTX Pro 6000 von NVIDIA mit 96 GB Speicher, die wegen der Knappheit bei GDDR7-Speicher inzwischen 16.000 Dollar kostet, nach mehreren Preiserhöhungen seit dem Marktstart bei rund 8.500 Dollar (NVIDIA, offizielle Preisliste, und Marktpreise, September 2026). Für Büroarbeit im Mittelstand ist diese Klasse unnötig. Sie lohnt erst, wenn du sehr große Modelle selbst betreiben willst.

Welches Modell auf welcher Karte läuft

Die folgenden Größen sind keine Schätzungen, sondern die tatsächlichen Downloadgrößen aus der Ollama-Modellbibliothek (abgerufen September 2026):

Der Zielbereich für den Mittelstand liegt bei 12 bis 16 GB. Dort läuft die Klasse mit rund 12 Milliarden Parametern, die im Büro die meiste Arbeit erledigt: Besprechungen zusammenfassen, Dokumente auswerten, Namen und Termine in eine Tabelle holen, Entwürfe umformulieren, übersetzen.

Unterhalb von 8 GB wird die Auswahl dünn, aber nicht leer. Ein Modell mit 4 Milliarden Parametern erledigt Textarbeit zuverlässig, es formuliert nur weniger geschliffen und verliert bei langen Vorlagen den Überblick.

Drei Dinge treiben den Speicherbedarf zusätzlich

Das Modell allein bestimmt den Bedarf nicht. Drei Faktoren kommen obendrauf, und alle drei werden beim Kauf gern übersehen.

• Das Kontextfenster. Es beschreibt, wie viel Text das Modell auf einmal überblickt, und belegt zusätzlichen Speicher. Ollama richtet den Standardwert nach dem Grafikspeicher: unter 24 GB sind es 4.000 Token, zwischen 24 und 48 GB dann 32.000, darüber 256.000 (Ollama, Dokumentation zur Kontextlänge, Stand September 2026). Auf einer 12-GB-Karte überblickt das Modell also nur rund sechs Seiten, bis du den Wert selbst anhebst. Rechne bei 32.000 Token mit etwa 2 bis 4 GB zusätzlich, je nach Modell.
• Die Quantisierungsstufe. Q4_K_M ist der Standard und trifft die Mitte zwischen Größe und Qualität. Eine feinere Stufe wie Q5 oder Q8 liefert bessere Antworten und belegt mehr Speicher. Wer eine 16-GB-Karte hat, geht bei einem 12B-Modell besser auf eine feinere Stufe, statt ein größeres Modell zu quetschen.
• Mehrere Nutzer gleichzeitig. Arbeiten drei Mitarbeiter parallel mit derselben lokalen KI, liegt das Modell nur einmal im Speicher. Jede Anfrage braucht aber eigenen Platz für ihr Kontextfenster. Für ein Team ist deshalb eine Karte mit 24 oder 32 GB sinnvoll, auch wenn das Modell selbst auf 16 GB passt.

Drei typische Fehlkäufe

Ich bin Jannis Gerlinger, arbeite seit 2007 in der Digitalbranche und berate heute mittelständische Betriebe bei KI-Systemen. Aus dieser Praxis sehe ich immer wieder dieselben drei Muster. Alle drei kosten Geld, ohne die lokale KI besser zu machen.

• Die schnelle Karte mit zu wenig Speicher. Eine RTX 5060 mit 8 GB ist beim Spielen flott und für die Büro-Modellklasse zu klein. Wer die 12 GB der RTX 5070 nimmt, hat für lokale KI mehr davon, obwohl die Karte im Spiele-Vergleich schwächer aussieht.
• Die Profi-Karte für Standardaufgaben. Eine Karte mit 96 GB löst ein Problem, das im Büroalltag nicht auftritt. Zusammenfassen, umformulieren und Dokumente auswerten leisten Modelle mit 9 bis 12 Milliarden Parametern, und die passen in 12 bis 16 GB.
• Der eigene Server, bevor das Volumen da ist. Eigene Hardware rechnet sich erst ab einem hohen Verbrauch. Ein Richtwert aus der Praxis liegt bei 50 bis 100 Millionen Token im Monat, darunter ist gemietete Rechenzeit häufig günstiger (Einordnung aus dem YouTube-Kanal Everlast AI, Juni 2026, nicht unabhängig gegengerechnet). Für das erste Jahr genügt in vielen Betrieben eine gute Arbeitsplatz-Karte.

Drei Profile und die passende Karte

Das dritte Profil hat einen rechtlichen Hintergrund, der die Hardware-Frage verschiebt. Für Ärzte, Anwälte, Steuerberater und Psychotherapeuten gilt § 203 StGB: Wer Mandantendaten an einen Dienstleister weitergibt, muss diesen vorher zur Verschwiegenheit verpflichten. Die Einbindung solcher Dienstleister regelt § 203 Abs. 3 StGB, die Strafandrohung von bis zu einem Jahr Freiheitsstrafe oder Geldstrafe steht in Absatz 1. Wer die Verarbeitung im eigenen Haus behält, umgeht diese Kette vollständig. Für diese Berufe ist die größere Karte deshalb keine Bequemlichkeit, sondern der einfachere Weg zur Rechtssicherheit.

Der Mac rechnet anders: Unified Memory statt VRAM

Apple-Rechner haben keinen eigenen Grafikspeicher. Prozessor und Grafik teilen sich denselben Arbeitsspeicher, Apple nennt das Unified Memory (Apple, MLX-Dokumentation zu Unified Memory, 2026). Für lokale KI ist das ein Vorteil: Ein Mac mit viel Arbeitsspeicher stellt Modellen mehr Platz bereit als jede Consumer-Grafikkarte unterhalb der RTX 5090.

Die Grenze setzt das Betriebssystem. Metal meldet Anwendungen, wie viel sie belegen dürfen (Apple, Metal-Dokumentation zu recommendedMaxWorkingSetSize), und Werkzeuge wie Ollama und llama.cpp behandeln diesen Wert als Obergrenze. macOS reserviert dabei ein Drittel des Arbeitsspeichers für das System, bei Geräten über 32 GB nur ein Viertel (llama.cpp, Diskussion zur Speicheraufteilung auf Apple Silicon, 2026). Bei 32 GB im Gerät stehen so etwa 21 GB für das Modell bereit, bei 64 GB rund 48 GB.

Wer einen Mac neu bestellt und lokale KI plant, entscheidet die Speichergröße beim Kauf und danach nie wieder. Auf Apple-Chips liefert das Framework MLX zudem mehr Tempo als der Standardweg. Wie weit das trägt, zeigt der Beitrag zum Apple M5 für lokale KI.

NVIDIA läuft, bei AMD und Intel kommt Bastelei dazu

Der Hersteller entscheidet über den Aufwand bei der Einrichtung. Auf NVIDIA-Karten läuft lokale KI ohne Zusatzarbeit, weil alle gängigen Werkzeuge dafür gebaut sind. Ollama unterstützt auch AMD- und Intel-Karten, dokumentiert dazu aber Einschränkungen, und im Projekt liegen dutzende offene Fehlermeldungen zu diesen Karten (Ollama, GPU-Dokumentation und offene Issues, Stand September 2026).

Für die Praxis heißt das: Wer eine Radeon im Rechner hat, kommt in der Regel zum Ziel und plant einen Abend für Treiber und Versionen ein. Wer neu kauft und keine Fehlersuche mag, nimmt NVIDIA. Diese Empfehlung ist keine Aussage über die Qualität der Karten, sondern über die Reife der Software rundherum.

Was du vor dem Kauf prüfst

Vier Prüfungen genügen, um die richtige Karte auszuwählen:

• Grafikspeicher passt zur ModellklasseRechnung durchgeführt, Ergebnis liegt unter dem VRAM der Karte
• Reserve für das Kontextfenster eingeplantMindestens 3 GB, bei langen Dokumenten mehr
• Fassung der Karte geprüft16 GB statt 8 GB bei Modellen, die es doppelt gibt
• Hersteller bewusst gewähltNVIDIA ohne Zusatzaufwand, AMD mit Zeit für Treiber
• Netzteil und Gehäuse geprüftLeistungsaufnahme und Kartenlänge passen zum vorhandenen Rechner

So prüfst du vor dem Kauf, ob deine Karte schon reicht

Bevor du Geld ausgibst, findest du in zehn Minuten heraus, was der vorhandene Rechner leistet. Der Ablauf besteht aus drei Prüfungen.

• Speicher der verbauten Karte auslesen. Unter Windows zeigt der Task-Manager im Reiter Leistung den dedizierten Grafikspeicher. Genauer geht es bei NVIDIA über den Befehl nvidia-smi im Terminal, der die belegte und die freie Menge nennt. Am Mac steht der gesamte Arbeitsspeicher unter „Über diesen Mac", davon rechnest du mit zwei Dritteln.
• Ein Modell laden und beobachten, wo es rechnet. Nach dem Start eines Modells zeigt der Befehl ollama ps die Spalte PROCESSOR. Steht dort 100 Prozent GPU, liegt das Modell vollständig auf der Karte. Erscheint ein Anteil CPU, wurde ausgelagert, und das Tempo bricht ein. Diese eine Zeile ist die verlässlichste Auskunft, ob deine Hardware zum Modell passt.
• Mit dem echten Dokument gegenprüfen, nicht mit „Hallo". Ein kurzer Testprompt füllt das Kontextfenster nicht und verrät deshalb nichts über den späteren Bedarf. Gib eine echte Vorlage aus deinem Alltag hinein, ein Angebot oder ein Protokoll, und schau während der Antwort erneut auf ollama ps. Erst dieser Test zeigt, ob die Karte im Arbeitsalltag trägt.

Wenn eigene Hardware nicht die Antwort ist

Nicht jeder Anwendungsfall verlangt eine eigene Karte. Zwei Alternativen sind ehrlich zu nennen.

Offene Modelle bei einem Anbieter betreiben lassen. Groq, Together AI und Nebius hosten genau die Modelle, die du lokal installieren würdest. Entscheidend ist dabei der Firmensitz, nicht der Standort des Rechenzentrums: Der US CLOUD Act von 2018 verpflichtet Unternehmen unter US-Recht zur Herausgabe von Daten, auch wenn die Server in Europa stehen. Groq betreibt ein Rechenzentrum in Helsinki (Groq Newsroom, Juli 2025) und bleibt trotzdem US-Unternehmen. Nebius sitzt in Amsterdam.

Bei der Cloud bleiben, wo Daten unkritisch sind. Für allgemeine Recherche und Standardtexte ohne Personenbezug bleibt Cloud-KI bequemer und oft günstiger. Die saubere Trennung übernimmt eine Hybrid-KI: lokal, wo Namen oder Betriebswissen im Spiel sind, Cloud beim Rest. Die Abwägung im Detail steht im Leitfaden zu lokaler KI im Mittelstand.

Es gibt auch die harte Obergrenze. Die größten offenen Modelle sprengen jede Bürohardware: Für ein Modell wie Kimi K3 nennt die Dokumentation der Anbieter 610 GB Arbeitsspeicher, das entspricht 20 bis 40 gut ausgestatteten Bürorechnern. Solche Modelle bleiben ein Fall für gemietete Rechenzeit, nicht für den Schrank im Büro.

Fazit: Speicher kaufen, nicht Tempo

Die Wahl der Grafikkarte für lokale KI hat eine einzige zentrale Größe: den Grafikspeicher. Rechne dein Zielmodell mit dem Faktor 0,7 plus 3 GB Puffer durch. Bei zwei Zahlen im Namen zählt die große. Kaufe dann die Karte mit dem meisten Speicher in deinem Budget.

Für den Mittelstand heißt das konkret: 12 GB sind der Einstieg, 16 GB die Empfehlung mit Reserve, 32 GB der Weg, wenn mehrere Mitarbeiter gleichzeitig arbeiten oder Dokumente sehr lang werden. Am Mac entscheidet die Speichergröße beim Kauf, weil sie sich später nicht ändern lässt.

Und die vielleicht wichtigste Erkenntnis: Der Sprung von 8 auf 16 GB verändert mehr als jeder Generationswechsel bei gleicher Speichergröße. Wer heute eine Karte für lokale KI aussucht, kauft Kapazität, nicht Bildrate.

Jannis Gerlinger KI-Berater und Geschäftsführer, JANGER GmbH

Jannis Gerlinger berät kleine und mittlere Unternehmen bei der Einführung von Künstlicher Intelligenz und setzt die Lösungen selbst um: KI-Assistenten, Automationen und individuelle Web-Apps. Als Geschäftsführer der JANGER GmbH arbeitet er seit 2007 an digitalen Systemen für Handwerk, Handel und Industrie, von Onlineshops bis zu internen Werkzeugen. Seine vom TÜV Rheinland geprüfte Qualifikation in Verkaufspsychologie verbindet technisches Know-how mit einem tiefen Verständnis für Geschäftsprozesse.