Les lois d’échelle sont ce que la recherche en IA a de plus proche d’une courbe d’ingénieur. Portez sur un graphique l’erreur d’un modèle en fonction du calcul consacré à son entraînement, avec des axes logarithmiques des deux côtés, et vous n’obtenez pas un nuage de points : vous obtenez presque une droite. L’erreur diminue selon une puissance des ressources investies : plus de calcul, plus de données, plus de paramètres, et le modèle s’améliore de façon prévisible. Le mot « loi » en fait un peu trop. Il s’agit de régularités empiriques observées sur de nombreux entraînements, non de physique. Mais elles se sont vérifiées sur plusieurs ordres de grandeur, ce que peu de choses dans le logiciel peuvent revendiquer.
Deux choses se perdent quand on raconte cette histoire. La première, c’est qu’une droite qui paraît douce sur un axe logarithmique est brutale sur un axe linéaire : chaque gain de qualité supplémentaire coûte plusieurs fois ce qu’a coûté le précédent, et c’est ainsi que les budgets d’entraînement des modèles de pointe sont passés de millions à des centaines de millions, et continuent de grimper. La seconde, c’est qu’une loi d’échelle prédit la perte — la qualité avec laquelle le modèle prédit le token suivant — et non ce qui intéresse vraiment qui que ce soit. Les capacités arrivent de façon inégale, semblant parfois faire des bonds, et une courbe parfaitement lisse de la perte peut cacher une courbe très accidentée de ce que le modèle sait faire.
Ce qui rend les lois d’échelle réellement utiles, c’est qu’elles permettent à un laboratoire de dépenser son argent à dessein. Avant de s’engager dans un entraînement sur lequel on ne pourra pas revenir, on ajuste la courbe sur de petits modèles et l’on extrapole : ce budget, réparti de telle façon entre données et paramètres, devrait atterrir à peu près ici. La découverte la plus lourde de conséquences fut que le domaine construisait des modèles trop grands et les nourrissait trop peu — qu’à budget fixe, un modèle plus petit entraîné sur bien plus de données s’en sort mieux. Presque tout ce qui a été construit depuis a été façonné par cette arithmétique. Les lois fixent aussi les limites : si la qualité dépend des données et que les bonnes données s’épuisent, la courbe finit par rencontrer un problème que l’argent ne peut pas résoudre.
La transposition humaine, c’est une prévision sur laquelle on peut agir, mais dont il ne faut pas tomber amoureux. Les lois d’échelle expliquent pourquoi ces dernières années ont paru inévitables à ceux qui les vivaient de l’intérieur : la courbe tenait toujours, si bien que le résultat suivant n’était jamais tout à fait une surprise. Elles expliquent aussi pourquoi tant de prédictions assurées que vous lisez portent sur le calcul plutôt que sur les conséquences. Une droite qui tient depuis dix ans est un indice réellement solide. Ce n’est pas une promesse, et elle n’a jamais dit à personne ce que le modèle se révélerait réellement capable de faire.
