Apprentissage vs entraînement en IA : la différence

L'entraînement est une procédure : un jeu de données, une fonction de perte, un optimiseur, et une exécution qui met à jour les poids d'un modèle jusqu'à ce qu'elle s'arrête. L'apprentissage est le résultat qu'on espère obtenir de cette procédure : un comportement qui s'améliore sur des données que le modèle n'a jamais vues. Chaque entraînement est une tentative d'apprentissage, mais une exécution peut tourner des semaines sans rien apprendre d'utile, et certains apprentissages se produisent sans aucun entraînement.

Dans l'écriture courante, les deux mots s'échangent sans dommage. Ils cessent d'être interchangeables au moment précis où tu débogues un modèle, où tu chiffres un budget de calcul, ou où tu lis un article de recherche de près.

Apprentissage et entraînement : le tableau

Question	Apprentissage	Entraînement
Ce que le mot désigne	Le résultat : le comportement s'améliore avec l'expérience	La procédure : un optimiseur met à jour les poids
Quand ça arrive	Sur tout le cycle de vie du modèle, y compris au moment du prompt	Dans un job délimité, avec un début, une fin et une facture
Ce qu'on mesure	La performance sur des données mises de côté	Les courbes de perte, le débit, les pas par seconde, le coût
Qui emploie le mot	Les chercheurs, les articles, quiconque décrit une capacité	Les ingénieurs, les équipes infra, quiconque paie les GPU
Peut exister sans l'autre	Oui : l'apprentissage en contexte ne demande aucun entraînement	ID Oui : une exécution en surapprentissage entraîne beaucoup et ne généralise rien
Ce que ça produit	Une capacité	Un checkpoint, un fichier de nombres

Le vocabulaire est ancien et la distinction était là dès le début. L'article de 1986 publié dans Nature par Rumelhart, Hinton et Williams, celui qui a installé la rétropropagation, s'intitulait « Learning representations by back-propagating errors » : l'apprentissage comme objectif, la propagation comme mécanisme.

Ce qu'est vraiment l'entraînement

Une exécution d'entraînement est mécanique et ennuyeuse d'une façon que le mot « apprentissage » masque. Tu fais passer un lot d'exemples dans le modèle, tu compares la sortie à la cible avec une fonction de perte, tu calcules les gradients de cette perte par rapport à chaque paramètre, et tu pousses les paramètres dans la direction qui réduit la perte. Puis tu recommences, des millions de fois.

Tout là-dedans se compte. Taille du lot, taux d'apprentissage, nombre de pas, heures de GPU, euros. Quand quelqu'un dit « entraînement » en réunion technique, il parle presque toujours de cette exécution et de son budget, pas de l'idée abstraite d'une machine qui devient plus intelligente.

L'entraînement se découpe aussi en phases qui ont chacune leur nom :

1. Le pré-entraînement : la longue exécution coûteuse sur un grand corpus général, qui produit le modèle de base.
2. Le fine-tuning : une exécution plus courte qui adapte un checkpoint existant à une tâche ou à un style plus étroits.
3. L'alignement sur les préférences : un entraînement supplémentaire à partir de retours humains ou de retours de modèle, pour façonner la manière de répondre.

Les trois sont de l'entraînement. Les trois mettent à jour des poids. Ils diffèrent par l'échelle et par les données utilisées.

Ce que couvre l'apprentissage et pas l'entraînement

C'est ici que la distinction devient payante. Un modèle peut changer de comportement sans la moindre mise à jour de poids.

Donne à un modèle de langue trois exemples résolus dans le prompt et il va souvent saisir le motif et l'appliquer à un quatrième cas. Rien n'a été enregistré. Tu fermes la session et le modèle est octet pour octet le même fichier qu'avant. C'est l'apprentissage en contexte, devenu une capacité vedette avec l'article GPT-3 de 2020 de Brown et ses collègues, littéralement intitulé « Language Models are Few-Shot Learners ». L'apprentissage est réel au sens du comportement et totalement absent au sens du stockage.

Les systèmes de recherche documentaire font quelque chose d'analogue dans l'autre sens. Branche un modèle sur une base de documents et il répondra à des questions sur un matériau sur lequel il n'a jamais été entraîné. Le système s'est amélioré. Le modèle n'a pas bougé. Si tu dis « on l'a entraîné sur nos documents » alors que tu as en fait construit une recherche documentaire par-dessus, tu vas embrouiller tous ceux qui devront maintenir le système.

L'image inverse existe aussi : de l'entraînement sans apprentissage. Une exécution dont la perte d'entraînement baisse pendant que la perte de validation grimpe a mémorisé le jeu d'entraînement. Elle s'est entraînée. Elle n'a pas appris, au seul sens qui compte, celui de la performance sur des données qu'elle n'a pas vues.

Si tu veux la distinction voisine, entre l'exécution qui fabrique un modèle et le moment où il répond à ta question, apprentissage vs inférence en IA couvre où les poids sont gelés et où ils ne le sont pas : /fr/blog/apprentissage-vs-inference-ia

Quel mot employer

• Entraînement quand tu parles d'une exécution concrète : ses données, son coût, sa durée, son fichier de sortie. Si quelqu'un peut demander « ça finit quand ? » et attendre une réponse, le mot est entraînement.
• Apprentissage quand tu parles d'une capacité : ce que le système sait faire maintenant et ne savait pas faire avant, mesuré sur quelque chose de mis de côté. Si quelqu'un peut demander « comment tu le sais ? », le mot est apprentissage.
• Ni l'un ni l'autre quand tu parles de recherche documentaire, de prompt ou de configuration. Ce sont les cas où le mauvais mot crée une vraie confusion sur ce qu'il faudrait faire pour changer le comportement.

L'autre question derrière cette recherche

Beaucoup de gens qui tapent « apprentissage vs entraînement IA » ne pensent pas du tout aux optimiseurs. Ils hésitent entre apprendre l'IA seuls et s'inscrire à une formation structurée. La comparaison est légitime, et la réponse honnête est que les deux échouent de manières différentes.

Une formation te donne un ordre et une raison d'être là à heure fixe, ce qui vaut beaucoup quand tu n'as jamais étudié le sujet et que tu ne sais pas dans quel ordre les choses viennent. L'auto-apprentissage va plus vite et reste collé à ce que tu construis vraiment, mais il glisse facilement vers le visionnage de contenu plutôt que la pratique.

Ce qui prédit la rétention n'est pas le format. C'est de savoir si on te demande de produire des réponses de mémoire, ou si on te réexpose simplement au contenu. Dans les expériences de Roediger et Karpicke en 2006, les étudiants qui consacraient une partie de leur temps de travail à s'interroger eux-mêmes retenaient nettement plus une semaine plus tard que ceux qui relisaient les mêmes passages, alors même que les relecteurs se sentaient plus sûrs d'eux sur le moment. Formation ou pas, le contenu ne tient que si quelque chose t'oblige à le récupérer.

C'est une contrainte pratique, pas un état d'esprit. Si ton point de départ est un PDF de formation, un enregistrement de cours ou tes propres notes, Qora transforme ce matériau en une courte leçon accompagnée de questions écrites à partir de lui, avec le traitement des photos et de l'audio qui se fait sur ton téléphone. Si tu préfères construire l'exercice toi-même, transformer tes notes en examen blanc fonctionne pareil sans aucun outil. Et si tu pars de zéro sur le sujet lui-même, une méthode pas à pas pour débutants est un meilleur premier arrêt que l'un ou l'autre.

Là où la distinction ne sert plus à rien

La plupart du temps, insister sur la différence est du pédantisme. « On a entraîné un modèle à faire X » est une phrase parfaitement correcte, et la corriger en « on a lancé une procédure d'entraînement qui a produit un modèle ayant appris à faire X » n'aide personne. Dans les articles, les billets de blog et les textes produit, les deux mots sont quasi synonymes et les lecteurs s'en accommodent très bien.

La distinction gagne son salaire dans exactement trois situations : quand tu cherches pourquoi un modèle ne marche pas, parce que « l'entraînement s'est bien passé » et « il n'a rien appris » sont tous les deux vrais d'une exécution en surapprentissage ; quand tu estimes un coût, parce que l'entraînement est une ligne budgétaire et l'apprentissage non ; et quand tu décides quoi changer, parce qu'un problème qui ressemble à un manque de connaissances se règle souvent par de la recherche documentaire ou un meilleur prompt plutôt que par une exécution coûteuse. En dehors de ces cas, prends le mot que ton lecteur comprendra.

Questions fréquentes

L'entraînement, c'est la même chose que le machine learning ?

Non. Le machine learning est le domaine et l'approche générale : construire des systèmes qui s'améliorent à partir de données plutôt qu'à partir de règles écrites à la main. L'entraînement est une activité précise à l'intérieur de ce domaine, l'exécution pendant laquelle les paramètres d'un modèle sont ajustés. Le machine learning inclut aussi le travail sur les données, l'évaluation, le déploiement et la surveillance, dont aucun n'est de l'entraînement.

Est-ce qu'une IA continue d'apprendre après son entraînement ?

Pas au sens des poids, pour la plupart des systèmes que tu utilises aujourd'hui. Une fois l'entraînement terminé, le fichier du modèle est figé, et chaque conversation repart des mêmes paramètres. Ce qui change d'une session à l'autre, c'est le contexte : ce que tu mets dans le prompt, ce qu'un système de recherche documentaire ramène, ce que le produit retient de tes préférences. Les fournisseurs publient bien des modèles mis à jour, mais c'est un nouvel entraînement, pas l'ancien modèle qui continuerait d'apprendre.

Quelle est la différence entre entraînement et fine-tuning ?

Le fine-tuning est de l'entraînement. La différence tient à la portée : le pré-entraînement construit un modèle général à partir d'un grand corpus, à coût élevé, tandis que le fine-tuning part de ce checkpoint terminé et l'ajuste sur un jeu de données plus petit et plus étroit, pour beaucoup moins cher. Les deux mettent à jour des poids et les deux produisent un nouveau checkpoint. Quand quelqu'un oppose « entraînement » et « fine-tuning », il veut presque toujours dire pré-entraînement par « entraînement ».

L'apprentissage en contexte, est-ce du vrai apprentissage ?

Ça dépend de la définition que tu emploies, et c'est exactement pour ça que les deux termes méritent d'être séparés. Sur le plan du comportement, ça compte : le modèle réussit mieux la tâche après avoir vu des exemples que sans eux. Sur le plan de la structure, non : rien n'est enregistré, et l'effet disparaît en même temps que la fenêtre de contexte. Les deux affirmations sont vraies en même temps, et préciser laquelle tu vises évite l'essentiel de la confusion.

Le résumé pratique : l'entraînement est un job qu'on lance, l'apprentissage est un résultat qu'on mesure, et c'est dans l'écart entre les deux que se joue l'essentiel du débogage de modèles. La prochaine fois que tu es sur le point de dire qu'un système « a besoin de plus d'entraînement », vérifie d'abord si le comportement que tu veux manque à ses poids ou manque simplement à son contexte. Le second problème coûte plusieurs ordres de grandeur de moins à régler, et c'est le plus fréquent des deux.