Die kleinste Verarbeitungseinheit eines Sprachmodells.
Tokens sind die Bausteine, in die ein Sprachmodell Text zerlegt. Ein Token entspricht ungefähr einem Wort oder Wortteil (im Deutschen ca. 0,75 Wörter pro Token, da zusammengesetzte Wörter oft in mehrere Tokens aufgeteilt werden). Die Menge der verarbeiteten Tokens bestimmt Kosten und Geschwindigkeit bei Cloud-KI-Diensten. Jedes Sprachmodell hat ein maximales Kontextfenster, das in Tokens gemessen wird, z. B. 128.000 Tokens bei GPT-4 Turbo. Sowohl die Eingabe (Prompt) als auch die Ausgabe (Antwort) verbrauchen Tokens, wobei Output-Tokens in der Regel teurer sind als Input-Tokens.
Ein Tokenizer zerlegt den Eingabetext in kleine Einheiten nach einem erlernten Vokabular. Häufige Wörter wie 'der' oder 'und' werden zu einem einzelnen Token, seltene oder lange Wörter in mehrere Teile zerlegt. Das Wort 'Geschäftsführer' könnte z. B. in 'Geschäfts' und 'führer' aufgeteilt werden. Dieses Verfahren heißt Subword-Tokenization und basiert meist auf dem Byte Pair Encoding (BPE) Algorithmus. Das Sprachmodell verarbeitet dann diese Token-Sequenz und erzeugt die Antwort Token für Token, wobei jedes neue Token auf allen vorherigen basiert.
Bei Cloud-KI wird nach Token-Verbrauch abgerechnet. Lange Dokumente bedeuten viele Tokens und damit höhere Kosten. Die Preisunterschiede sind erheblich: GPT-4 kostet etwa 30-mal so viel pro Token wie GPT-3.5. Lokale KI-Systeme haben keine Token-Kosten, du zahlst nur für Hardware und Strom. Das macht lokale KI besonders wirtschaftlich bei hohem Datenvolumen. Durch Prompt-Optimierung und geschickte Systemgestaltung lassen sich Token-Kosten um 30-50 % reduzieren, ohne die Qualität zu beeinträchtigen.
Jannis Gerlinger ist Geschäftsführer der JANGER GmbH. Seit über 15 Jahren entwickelt er digitale Lösungen, erst im UX/UI Design und E-Commerce, heute mit dem Fokus auf sichere KI-Systeme für den Mittelstand. Mit seiner TÜV-Zertifizierung in Verkaufspsychologie verbindet er technisches Know-how mit einem tiefen Verständnis für Geschäftsprozesse.
Die neuesten Praxis-Tipps zur KI-Einführung direkt in dein Postfach. Kein Spam, jederzeit abbestellbar.
