Une distribution de probabilité est une manière de représenter non seulement ce qui pourrait arriver, mais aussi la vraisemblance de chaque issue possible. On peut se la représenter comme un paysage de possibilités : certains sommets sont élevés (très probables), d’autres bas (possibles mais peu probables), et l’ensemble compose une image complète de l’espace des possibles.

Dans le cas d’un modèle de langage, la distribution porte sur le vocabulaire : chaque mot ou fragment de mot que le modèle connaît reçoit un score qui exprime sa plausibilité comme token suivant, compte tenu de tout ce qui précède. Le modèle ne tire pas à pile ou face entre deux options. À chaque étape, il travaille avec une distribution de probabilité complète sur des dizaines de milliers de candidats, et il y effectue un tirage.

C’est pourquoi les modèles de langage ne sont pas des tables de correspondance. Le même prompt, soumis deux fois, peut produire des réponses différentes — parce que le modèle tire dans une distribution au lieu de récupérer une réponse fixe. La distribution elle-même est déterministe pour des entrées identiques ; c’est le tirage qui introduit la variation. Un réglage appelé « température » détermine à quel point la distribution est pointue : une température élevée l’aplatit (plus de hasard), une température basse l’affûte (plus de prévisibilité).

La notion compte au-delà de l’IA. La distribution de probabilité est la manière dont les statisticiens décrivent tout système incertain : la météo, les marchés financiers, les résultats d’une élection. Le monde offre rarement des certitudes ; il offre des distributions. Apprendre à penser en distributions plutôt qu’en prédictions fixes est l’un des changements les plus utiles en pratique pour quiconque raisonne sur des choses complexes.