Le préentraînement (pre-training) est le premier acte, long et sans consigne — le P de GPT. On montre à un modèle une quantité énorme de texte : une part significative de l’internet écrit, plus des livres, du code et des transcriptions. On lui fixe une tâche unique, d’une simplicité presque absurde : compte tenu de tout ce qui précède, prédire ce qui vient ensuite. Pas d’étiquettes, pas de leçons, personne pour corriger la copie. Cela tient davantage de l’apprentissage par immersion que du cours : personne ne vous explique le métier, vous passez simplement des années à l’atelier jusqu’à ce que les gestes soient dans vos mains. Le « pré » signifie avant toute chose précise — avant que le modèle ait été orienté vers un usage, une tâche ou un public.
Comme personne ne trie ce qui entre dans l’immersion, le modèle acquiert tout ce que contient le corpus : le raisonnement soigné et le raisonnement bâclé, le consensus et le préjugé, l’affirmation bien sourcée et l’ineptie assurée qui voisine avec elle sur la même page. Et il n’acquiert aucun sens de ce qui est quoi. Un modèle qui sort tout juste d’un préentraînement n’est pas un assistant serviable : c’est quelque chose de plus étrange et de nettement moins utile, une machine qui prolongera une phrase dans le registre où on l’a commencée, y compris des registres dont personne ne voulait. Tout ce qui donne à un modèle l’air patient, réticent ou sûr a été ajouté ensuite, lors d’étapes bien moins coûteuses.
C’est là que passe presque tout l’argent, et c’est l’étape qu’on ne peut pas recommencer à la légère. Elle dure des mois sur des dizaines de milliers de puces et consomme la quasi-totalité du texte que l’on a pu rassembler — ce qui devient en soi la contrainte, car la réserve d’écrits humains de qualité est finie et en grande partie déjà épuisée. Les décisions qui comptent sont toutes prises avant le départ : combien de données, quelle taille de modèle, comment répartir entre les deux un budget de calcul fixe. Trouver la bonne répartition n’est pas affaire de devinette. C’est à cela que servent les lois d’échelle.
La transposition humaine, c’est la part de votre éducation que personne n’a conçue. Pas le programme : les lectures que vous avez faites de toute façon, les débats entendus au passage, les années passées à absorber la façon dont parlent les gens de votre domaine avant d’avoir quoi que ce soit à dire vous-même. C’est peu glorieux, largement invisible et impossible à reconstituer après coup. C’est aussi, pour un modèle comme pour une personne, l’origine de presque tout.
