Comment la température, le TOP-K et le TOP-P contrôlent la créativité d'un LLM en pratique

Cette vidéo explique comment les paramètres de température, Top-K et Top-P contrôlent la créativité d'un modèle de langage (LLM) en modifiant la distribution des probabilités des mots suivants.

La température ajuste l'écart entre les probabilités. Une valeur basse (ex: 0.2) favorise fortement le mot le plus probable, rendant la réponse prévisible. Une valeur haute (ex: 5) aplatit la distribution, donnant plus de chances aux mots moins probables, ce qui augmente la diversité mais risque de produire des incohérences.

Pour éviter les mots absurdes tout en gardant de la créativité, on utilise Top-K ou Top-P pour restreindre le choix à un sous-ensemble de candidats avant d'appliquer la température.

• Top-K : Ne garde que les K mots les plus probables.
• Top-P : Ne garde que les mots dont la somme des probabilités atteint un seuil (P) donné.

Exemple :
Si le modèle propose : "matelas" (60%), "tapis" (30%), "table" (8%), "1" (2%).
Avec Top-K = 2, on ne garde que "matelas" et "tapis". On ignore "table" et "1".
Avec Top-P = 90%, on cumule les probabilités : 60% (matelas) + 30% (tapis) = 90%. On s'arrête là. Le résultat est identique : seuls "matelas" et "tapis" restent en lice.

En résumé, Top-K et Top-P filtrent les options, tandis que la température détermine à quel point le modèle ose choisir parmi les options restantes.