Un modèle de fondation est un grand modèle unique, entraîné sur un corpus vaste et varié, conçu pour servir de point de départ généraliste plutôt que d’outil fini. Le nom est délibéré : il doit être la fondation sur laquelle on bâtit de nombreuses applications plus spécifiques. Un même modèle sous-jacent peut faire tourner un chatbot, un assistant de programmation et un outil de résumé, chacun étant un étage spécialisé élevé sur la même large base.
Ce qui fait la force de l’idée, c’est la généralité. Parce que le modèle a absorbé tant de choses lors de son entraînement initial, il arrive avec un large éventail de capacités latentes qui n’ont jamais été programmées explicitement, et que l’on peut ensuite faire émerger et affûter par l’ajustement fin ou par des prompts soigneusement conçus. C’est une véritable rupture avec les logiciels d’autrefois, qu’il fallait construire délibérément pour chaque tâche. Un modèle de fondation ressemble davantage à un diplômé à la culture étendue qu’à une machine construite pour un usage précis.
Cette même étendue est aussi ce qui inquiète. Tout ce qu’un modèle de fondation absorbe, y compris les lacunes, les biais et les erreurs de ses données d’entraînement, devient la fondation héritée de tout ce qui est construit dessus. Un défaut à la base peut se propager sans bruit dans des centaines d’applications en aval, et comme tant de choses reposent désormais sur une poignée de ces modèles, un petit nombre de choix de conception finit par façonner une grande part de ce que les gens rencontrent. Concentrer autant de capacités en si peu d’endroits est l’un des débats vifs sur la direction que prend cette technologie.
Si l’on cherche l’analogie humaine, on peut se représenter un modèle de fondation comme une large culture générale plutôt que comme une compétence unique. Des années d’apprentissage étendu et peu ciblé donnent à une personne une base qu’elle pourra ensuite spécialiser dans d’innombrables directions : médecin, enseignante, bâtisseur. La force, c’est l’éventail de ce qui devient possible à partir d’un même point de départ. La vulnérabilité, c’est que tout ce qui manquait ou était erroné dans cette fondation précoce tend à vous suivre, discrètement, dans tout ce que vous bâtissez dessus.
