Imaginez un instrument doté d’un milliard de chevilles d’accord. Impossible de l’accorder à l’oreille, cheville par cheville : personne ne dispose d’autant de vies. On joue donc une note, on mesure de combien elle était fausse, et l’on tourne chaque cheville d’une fraction de tour dans le sens qui l’aurait rendue un peu moins fausse. Puis on recommence. Et encore, quelques billions de fois. Voilà l’entraînement. La note jouée est une hypothèse sur le mot suivant d’un texte ; la mesure de l’erreur est ce que les ingénieurs appellent la perte ; l’ajustement simultané de toutes les chevilles, c’est la descente de gradient.
Le mot « entraînement » fait un certain tort, car il suppose un maître et un élève, alors qu’il n’y a ni l’un ni l’autre. Personne ne choisit les leçons ni n’explique la matière. Le modèle absorbe les régularités statistiques de tout ce qu’on lui a montré — le raisonnement et la belle prose, mais aussi les erreurs, les omissions et les présupposés que personne, dans les textes sources, n’a songé à formuler. Il peut mémoriser là où il aurait dû généraliser : c’est l’échec qu’on appelle surapprentissage. Et l’entraînement a une limite nette : il se termine. Le modèle est figé à une date précise et n’apprend rien de la personne qui l’utilise. Corriger un chatbot ne lui apprend rien. La correction dure le temps de la conversation, pas une seconde de plus.
Cela fait de l’entraînement une forme d’ingénierie singulièrement impitoyable. Il est concentré en amont, gigantesque et, dans les faits, irréversible : des mois de calcul sur des dizaines de milliers de puces spécialisées, pour un coût qui se chiffre désormais en centaines de millions. Presque toutes les décisions — quelles données, quelle taille, quel objectif — sont prises avant le lancement, et l’on découvre à la fin si l’on avait raison. Les étapes ultérieures sont moins coûteuses et plus étroites. L’ajustement fin oriente un modèle déjà entraîné vers un usage particulier ; l’apprentissage par renforcement à partir de retours humains façonne sa manière de se comporter plutôt que ce qu’il sait. Mais l’essentiel de ce qu’est un modèle a été fixé pendant ce premier long entraînement, et ne peut être renégocié ensuite.
La transposition humaine, c’est tout ce que vous saviez avant d’entrer dans la pièce. Votre éducation a pris des années, coûté cher, puisé dans des matériaux que vous n’avez pas choisis, et ne peut être refaite — et rien de tout cela n’est ce que les autres voient. Ce qu’ils voient, c’est ce que vous faites dans la pièce, ce qui est tout autre chose, et que le secteur appelle l’inférence. L’entraînement est le lieu des records et des gros titres. Ce n’est pas là que se fait l’essentiel du travail.
