TÜV-zertifiziert in Verkaufspsychologie
KI-Ready-Check buchen

Start / KI-Lexikon / Fine-Tuning

Fine-Tuning

Definition

Nachtraining eines KI-Modells mit eigenen, spezifischen Daten.

Was Fine-Tuning genau ist

Fine-Tuning ist der Prozess, bei dem ein vortrainiertes KI-Modell mit zusätzlichen, aufgabenspezifischen Daten nachtrainiert wird. So wird das Modell für einen bestimmten Anwendungsfall optimiert, zum Beispiel für eine Fachsprache, Branchenspezifika oder Unternehmenstonalität. Im Gegensatz zum Training von Grund auf (Pretraining) nutzt Fine-Tuning das vorhandene Weltwissen des Basismodells und spezialisiert es nur auf den gewünschten Bereich. Es gibt verschiedene Techniken, von vollem Fine-Tuning bis zu parametereffizienten Methoden wie LoRA, die deutlich weniger Rechenleistung benötigen.

So funktioniert es

Beim Fine-Tuning werden die Gewichte eines vortrainierten Modells mit neuen Trainingsdaten angepasst. Du stellst typischerweise hunderte bis tausende Beispiele im Format Eingabe/gewünschte Ausgabe bereit. Das Modell durchläuft diese Beispiele mehrfach und passt seine internen Parameter an, um die gewünschten Antworten besser zu erzeugen. Moderne Techniken wie LoRA (Low-Rank Adaptation) verändern nur einen kleinen Teil der Parameter, was den Rechenaufwand um über 90 % senkt. Das Ergebnis ist ein spezialisiertes Modell, das die allgemeinen Fähigkeiten behält, aber auf deinem Fachgebiet deutlich besser performt.

Was das für dein Unternehmen bedeutet

Fine-Tuning lohnt sich, wenn generelle Modelle nicht die nötige Fachexpertise mitbringen. Für den Mittelstand oft weniger relevant als RAG, da RAG schneller und günstiger zum Ziel führt. Fine-Tuning ist sinnvoll bei Fachsprache (Medizin, Recht) oder sehr spezifischen Aufgaben. Die Kosten liegen typischerweise zwischen 50 und 500 EUR pro Trainingslauf in der Cloud. Bevor du Fine-Tuning startest, prüfe immer, ob RAG oder besseres Prompting nicht ausreichen, das spart oft 90 % der Kosten bei vergleichbarem Ergebnis.

Beispiele aus der Praxis

  • Modell auf juristische Fachsprache nachtrainieren
  • KI an Unternehmenstonalität anpassen
  • Branchenspezifische Klassifizierung optimieren
  • Medizinisches Modell für radiologische Befundtexte spezialisieren
  • Chatbot auf unternehmensinterne Kommunikationsrichtlinien trainieren

Vorteile und Grenzen

Das spricht dafür

  • Deutlich bessere Ergebnisse bei spezifischen Fachgebieten und Terminologie
  • Das Modell verinnerlicht gewünschten Stil und Tonalität dauerhaft
  • Geringere Prompt-Kosten im Betrieb, da weniger Kontext mitgegeben werden muss
  • Mit LoRA auch auf Consumer-Hardware durchführbar

Das solltest du einplanen

  • Benötigt hochwertige Trainingsdaten, deren Erstellung aufwändig sein kann
  • Risiko des Catastrophic Forgetting: Das Modell verliert allgemeine Fähigkeiten
  • Muss bei neuen Modelversionen wiederholt werden
  • Für die meisten Mittelstands-Anwendungen ist RAG die einfachere und günstigere Alternative

Quellen

Verwandte Begriffe.

Diese Einträge gehören technisch zum selben Thema und erklären die Bausteine dahinter.

Grundlagen

Machine Learning

Algorithmen, die aus Daten lernen und sich selbst verbessern.

Definition lesen Grundlagen

Large Language Model (LLM)

Große Sprachmodelle, die menschliche Sprache verstehen und generieren.

Definition lesen Technik

RAG (Retrieval-Augmented Generation)

KI-Technik, die eigene Unternehmensdaten in die Antwort einbezieht.

Definition lesen

Alle 91 Begriffe ansehen

Häufige Fragen zu Fine-Tuning.

Deine Frage fehlt? Schreib uns, wir antworten innerhalb eines Werktags.

Was ist der Unterschied zwischen Fine-Tuning und RAG?

Fine-Tuning verändert das Modell selbst durch Nachtraining. RAG lässt das Modell unverändert und stellt ihm zur Laufzeit relevante Dokumente bereit. RAG ist schneller aufgesetzt und aktueller, Fine-Tuning ist besser für konsistenten Stil und Fachsprache. In der Praxis ergänzen sich beide Ansätze oft.

Wie viele Trainingsdaten brauche ich für Fine-Tuning?

Für ein gutes Fine-Tuning brauchst du mindestens 100 bis 500 hochwertige Beispiele. Mehr Daten verbessern die Ergebnisse, aber Qualität ist wichtiger als Quantität. 200 perfekte Beispiele schlagen 10.000 mittelmäßige. Die Erstellung guter Trainingsdaten ist oft der aufwändigste Teil.

Kann ich Fine-Tuning bei OpenAI oder anderen Cloud-Anbietern durchführen?

Ja, OpenAI, Google und andere bieten Fine-Tuning als Service an. Bei OpenAI kostet das Fine-Tuning von GPT-4o-mini etwa 3 USD pro Million Trainings-Tokens. Bedenke dabei, dass du deine Trainingsdaten an den Anbieter übermittelst. Für sensible Daten ist lokales Fine-Tuning mit Open-Source-Modellen die bessere Wahl.

Was ist LoRA und warum ist es für den Mittelstand relevant?

LoRA (Low-Rank Adaptation) ist eine Fine-Tuning-Technik, die nur einen kleinen Teil der Modellparameter anpasst. Das reduziert den Speicher- und Rechenbedarf drastisch. Ein 7B-Modell lässt sich mit LoRA auf einer einzelnen Consumer-GPU (ab 16 GB VRAM) fine-tunen, statt auf teurer Server-Hardware.

Wie lange dauert ein Fine-Tuning-Durchlauf?

Ein Fine-Tuning mit LoRA auf einem 7B-Modell dauert mit einer modernen GPU etwa 1 bis 4 Stunden bei 500 Beispielen. In der Cloud geht es noch schneller. Das eigentliche Training ist selten der Flaschenhals. Die Erstellung und Kuratierung der Trainingsdaten dauert typischerweise Tage bis Wochen.

Wie relevant ist Fine-Tuning für dich?

Im KI-Ready-Check schauen wir gemeinsam auf deine Abläufe und finden heraus, wo KI bei dir wirklich Zeit spart. 45 Minuten, kostenlos, ohne Folien.

KI-Ready-Check buchen