La température d'un LLM n'est pas un bouton de créativité
C’est un poil plus complexe que simplement contrôler la « créativité » du modèle.
Cet hyperparamètre agit sur la distribution de probabilité des tokens produite par le softmax, et influence ainsi l’échantillonnage utilisé pour choisir le prochain token.
#machinelearning #deeplearning #llm #ai
La température d'un LLM ne modifie pas la créativité du modèle, mais la manière dont ses préférences internes sont converties en probabilités. Avant le tirage au sort du prochain mot, le modèle génère des scores bruts appelés logits. La température agit en divisant ces scores par une valeur T avant l'application du softmax. Ce simple changement mathématique redistribue les probabilités sans altérer l'ordre de préférence du modèle.
Si T est inférieur à 1, les écarts entre les scores s'amplifient. La distribution devient « piquée » : le mot le plus probable domine presque totalement. Si T est supérieur à 1, les écarts s'aplatissent. La distribution devient plus plate, offrant une chance plus équitable aux mots moins probables. À l'extrême, T proche de 0 rend la réponse déterministe (toujours le même mot), tandis qu'un T très élevé rend le choix quasi aléatoire.
Exemple : Imaginez que le modèle hésite entre « chat » (score 5) et « souris » (score 3). Avec T=1, « chat » a environ 88 % de chances d'être choisi. Avec T=0.5 (division par 0.5), les scores deviennent 10 et 6, ce qui pousse la probabilité de « chat » vers 98 %. Avec T=2 (division par 2), les scores deviennent 2.5 et 1.5, ce qui réduit la probabilité de « chat » à environ 73 %, laissant plus de place à « souris ». La température contrôle donc la variabilité des résultats, pas la qualité ou la créativité intrinsèque du modèle.