KI: Training vs. Inferenz, was sich wirklich ändert
Lernen, im Fachjargon Training, heißt: Das Modell verändert sich. Inferenz heißt: Das Modell arbeitet. Beim Training werden die internen Gewichte immer wieder gegen einen Datensatz angepasst, bis die Fehler kleiner werden. Bei der Inferenz sind genau diese Gewichte eingefroren: Eine Eingabe geht rein, läuft einmal durch das Netz, eine Ausgabe kommt raus. Fast jeder weitere Unterschied, Kosten, Hardware, Latenz, Speicherbedarf, folgt aus dieser einen Frage: Werden die Gewichte gerade beschrieben oder nur gelesen?
Der Unterschied in einer Tabelle
| Training (Lernen) | Inferenz | |
|---|---|---|
| Was sich ändert | Die Gewichte des Modells | Nichts im Modell |
| Eingabe | Ein großer, fester Datensatz | Eine Anfrage nach der anderen |
| Rechenschritte | Vorwärtslauf, Rückwärtslauf, Gewichtsupdate | Nur Vorwärtslauf |
| Typische Hardware | Cluster aus GPUs oder TPUs | Ein Beschleuniger, manchmal Laptop oder Handy |
| Zeitskala | Stunden bis Monate | Millisekunden bis Sekunden |
| Wie oft es läuft | Einmal, plus gelegentliche Updates | Bei jeder einzelnen Nutzung |
| Wie Scheitern aussieht | Der Loss sinkt nicht mehr, der Lauf divergiert | Falsche Antwort, langsame Antwort, Speicher voll |
Was beim Training passiert
Beim Training läuft ein Stapel Beispiele durch das Netz. Das System misst, wie falsch die Ausgabe im Vergleich zum Zielwert war, und schickt diesen Fehler rückwärts durch jede Schicht, um zu bestimmen, welchen Anteil jedes einzelne Gewicht daran hatte. Danach wird jedes Gewicht ein winziges Stück in die Richtung verschoben, die den Fehler verkleinert hätte. Das ist Backpropagation, beschrieben von Rumelhart, Hinton und Williams in ihrem Nature-Aufsatz von 1986, "Learning representations by back-propagating errors", und es ist bis heute der Mechanismus hinter praktisch jedem großen Modell im Einsatz.
Zwei Folgen sind für den Vergleich wichtig. Erstens braucht Training deutlich mehr Speicher als nur die Gewichte: Es hält zusätzlich die Aktivierungen aus dem Vorwärtslauf, die Gradienten und den Zustand des Optimierers für jeden einzelnen Parameter. Zweitens bringt ein einzelner Schritt dem Modell so gut wie nichts bei. Brauchbares Verhalten entsteht erst, wenn dieser Schritt unfassbar oft wiederholt wird. Genau deshalb misst man Training in Cluster-Wochen und Inferenz in Millisekunden.
Was bei der Inferenz passiert
Inferenz ist der Vorwärtslauf allein. Bei einem Sprachmodell wird dein Text in Tokens zerlegt, durch die Schichten geschoben, und das Modell gibt eine Wahrscheinlichkeitsverteilung über das nächste Token aus. Ein Token wird ausgewählt, angehängt, und das Ganze wiederholt sich, bis Schluss ist. Damit nicht für jedes neue Token alles neu gerechnet werden muss, speichert das Modell die Zwischenergebnisse der bisherigen Tokens in einem Cache. Deshalb dauert das erste Token einer Antwort meist länger als der Rest.
Der entscheidende Punkt: Nichts davon wird zurückgeschrieben. Das Modell ist während der Inferenz reine Lesesache. Wenn du es korrigierst, mit ihm diskutierst oder ihm deinen Namen beibringst, sind die Gewichte nach dem Gespräch exakt dieselben wie davor.
Warum beides ständig verwechselt wird
Modelle verhalten sich bei der Inferenz so, als würden sie lernen. Zeig einem Modell im Prompt drei Beispiele für einen bestimmten Formatierungsstil, und die vierte Antwort folgt diesem Stil. Brown und Kolleginnen und Kollegen haben das 2020 im GPT-3-Aufsatz "Language Models are Few-Shot Learners" systematisch dokumentiert: Ein Modell mit 175 Milliarden Parametern konnte neue Aufgaben allein aus Beispielen im Prompt übernehmen, ganz ohne Gewichtsupdate. Sie nennen das In-Context-Learning, und das Wort "Learning" darin führt viele in die Irre. Es sieht aus wie Lernen, ist aber Mustervervollständigung innerhalb eines einzigen Vorwärtslaufs.
Der praktische Test heißt Beständigkeit. In-Context-Learning lebt vollständig im Kontextfenster. Sitzung zu, weg ist es. Wenn sich ein Chat-Produkt sitzungsübergreifend an dich erinnert, ist das fast immer eine Datenbank mit Notizen, die still und leise wieder in deinen Prompt geschoben werden, und kein Modell, das sich verändert hat.
Kosten, Hardware und wo Inferenz tatsächlich läuft
Training ist eine Investition: Du mietest einen großen Cluster, lässt ihn eine feste Zeit laufen und bekommst am Ende einen Checkpoint. Inferenz ist ein laufender Betriebskostenposten: Sie fällt jedes Mal an, wenn jemand auf einen Knopf tippt, dauerhaft. Bei einem Produkt mit echtem Traffic kann die Summe für das Beantworten von Anfragen am Ende größer sein als die einmalige Trainingsrechnung, einfach weil der Multiplikator die Zahl der Nutzenden ist und nicht die Zahl der Trainingsläufe.
Dieser Druck ist der Grund, warum Inferenz so aggressiv optimiert wird: Gewichte werden auf niedrigere Genauigkeit quantisiert, große Modelle werden in kleinere destilliert, Anfragen werden gebündelt. Weit genug getrieben, braucht Inferenz kein Rechenzentrum mehr. Moderne Handys führen Texterkennung und Spracherkennung lokal aus. In Qora zum Beispiel passieren das Lesen einer abfotografierten Seite und das Transkribieren einer aufgenommenen Vorlesung beide auf dem Gerät, weil das reine Inferenz-Aufgaben sind, klein genug fürs Handy. Ein Modell dieser Qualität auf einem Handy zu trainieren wäre unmöglich. Es laufen zu lassen ist Alltag.
Wo die saubere Trennung bröckelt
Die Linie zwischen Training und Inferenz ist ein gutes Denkmodell, aber kein Naturgesetz. An vier Stellen ist sie undicht.
Fine-Tuning ist Training. Fine-Tuning, auch die günstigen Varianten wie LoRA, die nur einen kleinen Satz zusätzlicher Parameter anpassen, ist ein Trainingslauf, der von einem bestehenden Checkpoint startet statt bei null. Es ist kein Sondermodus der Inferenz.
Deine Daten können trotzdem in ein künftiges Modell wandern. "Das Modell lernt nicht von dir" stimmt für das ausgelieferte Modell, mit dem du gerade redest. Für die nächste Version gilt das nicht automatisch, denn Anbieter können Gespräche sammeln und in einem späteren Trainingslauf verwenden. Ob sie das tun, ist eine Frage der Richtlinien, nicht der Architektur. Lies also die Nutzungsbedingungen, statt es aus dem Mechanismus abzuleiten.
Inferenz ist nicht mehr verlässlich billig pro Anfrage. Reasoning-Modelle verbrauchen bei der Inferenz deutlich mehr Rechenzeit, weil sie vor der Antwort lange interne Gedankenketten erzeugen. Eine einzelne schwere Anfrage kann heute spürbar mehr kosten als eine einfache, was die alte Faustregel aufweicht, Training sei teuer und Inferenz vernachlässigbar.
Der Vergleich mit dem Menschen hinkt. Es ist verlockend zu sagen, Menschen hätten auch einen Lernmodus und einen Anwendungsmodus. So scheinen Gehirne nicht zu funktionieren, und keine ernsthafte Aussage sollte auf dieser Metapher aufbauen.
Wenn du das für Klausur oder Vorstellungsgespräch lernst
Abgefragt wird meist eine schmale Version: was sich ändert (die Gewichte), in welche Richtung die Daten fließen (einen Rückwärtslauf gibt es nur beim Training) und wohin die Rechenleistung geht. Das ist ein kleiner Satz Fakten, also ein guter Kandidat fürs Selbstabfragen statt fürs Nochmal-Lesen. In den Experimenten von Roediger und Karpicke aus dem Jahr 2006 schnitten Studierende, die zum Stoff abgefragt wurden, in einem späteren Test besser ab als jene, die den Stoff einfach noch einmal durchgelesen hatten, obwohl sich die Wiederholungsgruppe sicherer fühlte. Drei Fragen zu dieser Seite aufzuschreiben und sie morgen zu beantworten bringt dir mehr als Markieren, und wie du solche Karten zügig baust, steht in Lernkarten selbst machen. Wenn du dich breiter mit Machine Learning beschäftigst, statt eine Definition für die Klausur zu pauken, sind die von der Community zusammengetragenen Lernwege ein besserer Startpunkt als ein Glossar.
Häufige Fragen
Ist Inferenz dasselbe wie Vorhersage?
Praktisch ja. "Inferenz" ist der technische Begriff dafür, ein trainiertes Modell auf neue Eingaben anzuwenden und eine Ausgabe zu bekommen, und im klassischen Machine Learning war diese Ausgabe wörtlich eine Vorhersage. Das Wort ist auch bei generativen Modellen geblieben, obwohl dort Text oder ein Bild herauskommt und keine Prognose.
Lernt ein KI-Modell aus meinen Gesprächen?
Das Modell, mit dem du redest, nicht. Seine Gewichte sind während deiner Sitzung fest, und alles, woran es sich zu erinnern scheint, kommt aus deinem Prompt oder aus gespeicherten Notizen, die wieder in den Prompt eingefügt werden. Ob deine Gespräche später zum Training eines künftigen Modells verwendet werden, hängt von der Datenrichtlinie des Anbieters ab, und das ist eine andere Frage.
Ist Fine-Tuning nun Training oder Inferenz?
Training. Fine-Tuning aktualisiert Gewichte mit derselben Backpropagation-Maschinerie wie das Vortraining, nur ausgehend von einem Modell, das schon funktioniert, und mit einem viel kleineren Datensatz. Alles, was dauerhaft verändert, was das Modell kann, ist per Definition Training.
Wenn Training der schwere Teil ist, warum sorgen sich Firmen um Inferenzkosten?
Weil Training eine Handvoll Mal stattfindet und Inferenz bei jeder einzelnen Anfrage. Eine einzelne Inferenz ist billig, aber multipliziert mit Millionen täglicher Nutzungen wird sie zum dominierenden laufenden Kostenblock. Deshalb steckt so viel Entwicklungsarbeit in Quantisierung, Caching und Batching.
Der ganze Vergleich lässt sich auf eine Frage eindampfen, die du jedem KI-System stellen kannst: Werden die Gewichte gerade beschrieben oder nur gelesen? Training schreibt, und es ist langsam, teuer und selten. Inferenz liest, und sie ist schnell, pro Einheit billig und ständig. Wenn du es dir merken willst, nimm irgendeine KI-Funktion, die du heute benutzt hast, und überleg dir, wofür von beidem du bezahlt hast und was passieren müsste, damit sich das System tatsächlich an dich erinnert.