Wissen · Praktiker
Große Sprachmodelle einfach erklärt
Auf dieser Seite
Ein Sprachmodell kann Aufsätze schreiben, Code erklären und Fragen beantworten. Das wirkt nach echtem Denken. Im Kern aber löst es immer dieselbe, verblüffend einfache Aufgabe.
Was ein Sprachmodell ist
Ein großes Sprachmodell ist ein besonders großes neuronales Netz. Es wurde mit gewaltigen Mengen an Text aus Büchern, Webseiten und Code trainiert.
Aus diesem Training hat es ein feines Gespür für Sprache entwickelt. Es kennt typische Wortfolgen, Stil und Zusammenhänge, ohne dass ihm jemand Grammatikregeln eingegeben hätte.
Die Idee: das nächste Wort
Der Kern ist überraschend simpel. Das Modell bekommt einen Text und sagt voraus, welches Wort am wahrscheinlichsten als nächstes kommt.
Dann hängt es dieses Wort an und wiederholt den Schritt. Wort für Wort entsteht so ein ganzer Text. Aus dieser einfachen Schleife wachsen Antworten, Geschichten und Übersetzungen.
Der Transformer und die Aufmerksamkeit
Möglich wurde das durch den Transformer, vorgestellt 2017. Seine Stärke ist die sogenannte Aufmerksamkeit. Das Modell entscheidet bei jedem Wort, auf welche Teile des bisherigen Textes es besonders achtet.
So behält es auch über lange Passagen den Zusammenhang. Diese Technik steckt heute hinter fast allen großen Sprachmodellen.
Training und Feinschliff
Zuerst lernt das Modell nur das Vorhersagen von Wörtern an riesigen Textmengen. Danach folgt ein Feinschliff, bei dem Menschen gute von schlechten Antworten unterscheiden.
So lernt das Modell, hilfreich und höflich zu antworten statt nur irgendeinen Text fortzusetzen. Dieser zweite Schritt macht aus einem Textgenerator einen nützlichen Assistenten.
Was sie gut können und wo sie scheitern
Sprachmodelle sind stark bei Sprache, Zusammenfassungen und ersten Entwürfen. Sie sparen Zeit und überbrücken Sprachgrenzen.
Doch sie können selbstbewusst Unsinn erzeugen, sogenannte Halluzinationen. Sie haben kein echtes Verständnis und kein Wissen über die Welt im menschlichen Sinn. Warum das auch ein Sicherheitsthema ist, zeigt der Spoke zu KI-Risiken und Alignment.
Häufige Fragen
Versteht ein Sprachmodell, was es schreibt?
Nein, nicht wie ein Mensch. Es berechnet, welches Wort am wahrscheinlichsten folgt. Das wirkt oft klug, beruht aber auf Mustern aus den Trainingsdaten, nicht auf echtem Verständnis.
Warum erfinden Sprachmodelle manchmal Dinge?
Weil sie immer eine plausible Fortsetzung erzeugen, auch wenn sie etwas nicht wissen. Diese erfundenen, aber überzeugend klingenden Antworten nennt man Halluzinationen.
Was bedeutet das Wort „groß“ bei großen Sprachmodellen?
Es bezieht sich auf die schiere Größe des Netzes und der Trainingsdaten. Moderne Modelle haben oft Hunderte Milliarden Parameter und wurden mit Billionen von Wörtern trainiert.
Was ist der Unterschied zwischen einem Sprachmodell und einer Suchmaschine?
Eine Suchmaschine findet bestehende Texte und verweist auf Quellen. Ein Sprachmodell sucht nicht, sondern erzeugt jede Antwort neu Wort für Wort und nennt deshalb von sich aus keine verlässlichen Quellen.
Was ist ein Token bei einem Sprachmodell?
Ein Token ist die kleinste Texteinheit, mit der das Modell rechnet, oft ein Wort oder ein Wortteil. Das Modell verarbeitet und erzeugt Text immer Token für Token, nicht Buchstabe für Buchstabe.
Kann ein Sprachmodell rechnen oder logisch denken?
Nur eingeschränkt. Es ahmt Rechen- und Denkschritte aus den Trainingsdaten nach, statt sie wirklich auszuführen. Bei mehrstufigen Aufgaben macht es deshalb leicht Fehler, auch wenn die Antwort souverän klingt.
Quellen und weiterführende Informationen
- Large Language Models — IBM
- Attention Is All You Need — arXiv
Update-Hinweis (Stand: 05.06.2026)
Erstveröffentlichung des Spokes zu großen Sprachmodellen.
Der Kosmos im Posteingang
Einmal pro Woche: das Beste aus dem Universum, einfach erklärt.