KI: Lernen vs. Training, wo der Unterschied zählt

Training ist ein Verfahren: ein Datensatz, eine Verlustfunktion, ein Optimierer und ein Lauf, der die Gewichte eines Modells anpasst, bis er endet. Lernen ist das Ergebnis, das dieses Verfahren hoffentlich hervorbringt: Verhalten, das auf Daten besser wird, die das Modell nie gesehen hat. Jeder Trainingslauf ist ein Versuch zu lernen. Aber ein Lauf kann wochenlang trainieren und nichts Brauchbares lernen, und manches Lernen passiert ganz ohne Trainingslauf.

Im lockeren Sprachgebrauch werden die Begriffe durcheinandergeworfen, und meistens geht dabei nichts kaputt. Austauschbar sind sie in dem Moment nicht mehr, in dem du ein Modell debuggst, Rechenzeit budgetierst oder ein Paper genau liest.

Lernen und Training im Überblick

Frage	Lernen	Training
Was das Wort benennt	Das Ergebnis: Verhalten verbessert sich durch Erfahrung	Das Verfahren: ein Optimierer verändert Gewichte
Wann es passiert	Über den gesamten Lebenszyklus, auch zur Prompt-Zeit	In einem abgegrenzten Job mit Anfang, Ende und Rechnung
Was du misst	Leistung auf zurückgehaltenen, ungesehenen Daten	Loss-Kurven, Durchsatz, Schritte pro Sekunde, Kosten
Wer das Wort benutzt	Forschung, Papers, alle, die Fähigkeiten beschreiben	Engineering, Infrastruktur, alle, die GPUs bezahlen
Geht auch ohne das andere	Ja: In-Context-Learning braucht keinen Trainingslauf	Ja: ein überangepasster Lauf trainiert hart und verallgemeinert nichts
Was dabei herauskommt	Eine Fähigkeit	Ein Checkpoint, eine Datei voller Zahlen

Das Vokabular ist alt, und die Trennung war von Anfang an eingebaut. Das Nature-Paper von 1986, mit dem Rumelhart, Hinton und Williams Backpropagation bekannt machten, hieß "Learning representations by back-propagating errors": Lernen als Ziel, das Verfahren als Mechanismus.

Was Training tatsächlich ist

Ein Trainingslauf ist mechanisch und langweilig auf eine Art, die das Wort "Lernen" verdeckt. Du schickst einen Batch Beispiele vorwärts durch das Modell, vergleichst die Ausgabe über eine Verlustfunktion mit dem Zielwert, berechnest die Gradienten dieses Verlusts bezüglich jedes Parameters und schiebst die Parameter ein Stück in die Richtung, die den Verlust senkt. Dann wieder. Millionen Mal.

Daran ist alles zählbar. Batchgröße, Lernrate, Anzahl der Schritte, GPU-Stunden, Euro. Wenn jemand im Engineering-Meeting "Training" sagt, meint er meistens genau diesen Lauf und sein Budget, nicht die abstrakte Idee, dass eine Maschine schlauer wird.

Training hat außerdem klar benannte Phasen:

1. Pretraining: der lange, teure Lauf auf einem großen allgemeinen Korpus, der das Basismodell erzeugt.
2. Fine-Tuning: ein kürzerer Lauf, der einen fertigen Checkpoint an eine engere Aufgabe oder einen Stil anpasst.
3. Preference-Tuning: weiteres Training auf menschlichem oder maschinellem Feedback, das die Art der Antworten formt.

Alle drei sind Training. Alle drei verändern Gewichte. Sie unterscheiden sich im Umfang und in den Daten.

Was Lernen abdeckt und Training nicht

Hier wird die Unterscheidung nützlich. Ein Modell kann sein Verhalten ändern, ohne dass ein einziges Gewicht angefasst wird.

Gib einem Sprachmodell drei durchgerechnete Beispiele im Prompt, und es übernimmt das Muster oft und wendet es auf den vierten Fall an. Gespeichert wurde nichts. Schließ die Sitzung, und das Modell ist Byte für Byte dieselbe Datei wie vorher. Das ist In-Context-Learning, und es wurde mit dem GPT-3-Paper von Brown und Kolleginnen und Kollegen aus dem Jahr 2020 zur Schlagzeile, das wörtlich "Language Models are Few-Shot Learners" heißt. Im Sinne des Verhaltens ist das Lernen echt, im Sinne der Speicherung findet es gar nicht statt.

Retrieval-Systeme machen etwas Ähnliches von der anderen Seite. Häng ein Modell an eine Dokumentenablage, und es beantwortet Fragen zu Material, auf dem es nie trainiert wurde. Das System ist besser geworden. Das Modell hat sich nicht verändert. Wenn du sagst "wir haben es auf unseren Dokumenten trainiert", obwohl du in Wahrheit Retrieval darübergelegt hast, verwirrst du jeden, der das später warten muss.

Es gibt auch den umgekehrten Fall: Training ohne Lernen. Ein Lauf, bei dem der Trainingsverlust sinkt, während der Validierungsverlust steigt, hat den Trainingssatz auswendig gelernt. Er hat trainiert. Gelernt hat er nicht, jedenfalls nicht in dem einzigen Sinn, der zählt, nämlich Leistung auf ungesehenen Daten.

Wenn dich die verwandte Trennung zwischen dem Lauf, der ein Modell baut, und dem Moment, in dem es antwortet, interessiert: was sich zwischen Training und Inferenz wirklich ändert zeigt, wo die Gewichte eingefroren sind und wo nicht.

Welches Wort passt wann

• Nimm Training, wenn du einen konkreten Lauf meinst: seine Daten, seine Kosten, seine Dauer, seine Ausgabedatei. Wenn jemand fragen könnte "wann ist das fertig?" und eine Antwort erwarten darf, heißt es Training.
• Nimm Lernen, wenn du Fähigkeit meinst: was das System jetzt kann und vorher nicht konnte, gemessen an etwas Zurückgehaltenem. Wenn jemand fragen könnte "woher weißt du das?", heißt es Lernen.
• Nimm keins von beiden, wenn du Retrieval, Prompting oder Konfiguration meinst. Genau dort richtet das falsche Wort echten Schaden an, weil unklar wird, was man ändern müsste.

Die andere Frage hinter dieser Suche

Viele, die "KI lernen vs Training" eintippen, fragen nicht nach Optimierern. Sie überlegen, ob sie sich KI selbst beibringen oder eine strukturierte KI-Schulung buchen sollen. Der Vergleich ist berechtigt, und die ehrliche Antwort lautet: beide scheitern auf unterschiedliche Weise.

Ein Kurs gibt dir Reihenfolge und einen Termin, zu dem du erscheinen musst. Das ist viel wert, wenn du das Fach noch nie angefasst hast und nicht einschätzen kannst, was worauf aufbaut. Selbststudium ist schneller und bleibt an dem dran, was du gerade wirklich baust, driftet aber leicht dahin ab, dass du Material konsumierst statt es zu üben.

Was den Unterschied beim Behalten macht, ist nicht das Format. Es ist, ob du Antworten aus dem Gedächtnis produzieren musst oder dir denselben Stoff nur noch einmal ansiehst. In den Experimenten von Roediger und Karpicke aus dem Jahr 2006 behielten Studierende, die einen Teil ihrer Lernzeit mit Selbsttests verbrachten, eine Woche später deutlich mehr als jene, die dieselben Texte wieder und wieder lasen, obwohl sich die Wiederholer im Moment sicherer fühlten. Mit Kurs oder ohne: Der Stoff bleibt nur hängen, wenn dich irgendetwas zwingt, ihn abzurufen.

Das ist eine praktische Einschränkung, keine Frage der Einstellung. Wenn dein Material ein Kurs-PDF, eine Vorlesungsaufzeichnung oder deine eigenen Mitschriften sind, macht Qora daraus eine kurze Lektion plus Fragen, die aus genau diesem Material geschrieben sind, wobei Foto- und Audioverarbeitung auf deinem Handy passieren. Wenn du die Übung lieber selbst baust, funktioniert Notizen in eine Übungsklausur verwandeln nach demselben Prinzip ganz ohne Tool. Und wenn du beim Thema selbst bei null anfängst, ist ein Schritt-für-Schritt-Weg für Anfänger die bessere erste Station als beides.

Wo der Unterschied aufhört zu helfen

Meistens ist das Beharren auf der Trennung Erbsenzählerei. "Wir haben ein Modell trainiert, das X kann" ist ein völlig brauchbarer Satz, und ihn zu "wir haben ein Trainingsverfahren laufen lassen, das ein Modell hervorgebracht hat, welches X gelernt hat" zu korrigieren, hilft niemandem. In Papers, Blogtexten und Produkttexten sind die beiden Wörter nahezu Synonyme, und Leserinnen und Leser kommen damit gut klar.

Seinen Wert hat der Unterschied in genau drei Situationen: wenn du diagnostizierst, warum ein Modell nicht funktioniert, weil "das Training lief sauber" und "gelernt hat es nichts" bei einem überangepassten Lauf beide stimmen; wenn du Kosten schätzt, weil Training eine Rechnungsposition ist und Lernen keine; und wenn du entscheidest, was du ändern willst, weil ein Problem, das nach Wissenslücke aussieht, oft durch Retrieval oder einen besseren Prompt gelöst wird statt durch einen teuren Lauf. Außerhalb dieser Fälle nimm das Wort, das deine Leser verstehen.

Häufige Fragen

Ist Training dasselbe wie maschinelles Lernen?

Nein. Maschinelles Lernen ist das Fachgebiet und der grundsätzliche Ansatz: Systeme bauen, die sich aus Daten verbessern statt aus handgeschriebenen Regeln. Training ist eine bestimmte Tätigkeit darin, nämlich der Lauf, in dem die Parameter eines Modells angepasst werden. Zum maschinellen Lernen gehören außerdem Datenarbeit, Evaluation, Deployment und Monitoring, und nichts davon ist Training.

Lernt eine KI nach dem Training weiter?

Bei den meisten Systemen, die du heute benutzt, nicht im Sinne der Gewichte. Sobald ein Trainingslauf endet, ist die Modelldatei eingefroren, und jedes Gespräch startet mit denselben Parametern. Was sich zwischen Sitzungen ändert, ist der Kontext: was du in den Prompt schreibst, was ein Retrieval-System dazuholt, was das Produkt über deine Vorlieben speichert. Anbieter veröffentlichen zwar aktualisierte Modelle, aber das ist ein neuer Trainingslauf und nicht das alte Modell, das weiterlernt.

Was ist der Unterschied zwischen Training und Fine-Tuning?

Fine-Tuning ist Training. Der Unterschied liegt im Umfang: Pretraining baut aus einem großen Korpus zu hohen Kosten ein allgemeines Modell, Fine-Tuning startet bei diesem fertigen Checkpoint und passt ihn für einen Bruchteil davon auf einem kleineren, engeren Datensatz an. Beide verändern Gewichte, beide erzeugen einen neuen Checkpoint. Wenn jemand "Training" gegen "Fine-Tuning" stellt, meint er mit Training fast immer Pretraining.

Ist In-Context-Learning echtes Lernen?

Das hängt davon ab, welche Definition du benutzt, und genau deshalb lohnt es sich, die Begriffe zu trennen. Vom Verhalten her zählt es: Das Modell löst eine Aufgabe besser, nachdem es Beispiele gesehen hat, als ohne sie. Strukturell zählt es nicht: Es wird nichts gespeichert, und der Effekt verschwindet mit dem Kontextfenster. Beide Aussagen stimmen gleichzeitig, und wer dazusagt, welche er meint, räumt die meiste Verwirrung ab.

Kurzfassung fürs Praktische: Training ist ein Job, den du laufen lässt, Lernen ist ein Ergebnis, das du misst, und in der Lücke dazwischen findet das meiste Modell-Debugging statt. Wenn du das nächste Mal sagen willst, ein System "braucht mehr Training", prüf zuerst, ob das gewünschte Verhalten in den Gewichten fehlt oder nur im Kontext. Das zweite Problem ist um mehrere Größenordnungen billiger zu beheben, und es ist das häufigere.