Comprendre la fonction de perte et la perplexité dans les LLM

Cette vidéo explique comment les grands modèles de langage (LLM) mesurent leurs erreurs via la fonction de perte et la perplexité. Pour prédire le mot suivant, le modèle attribue une probabilité à chaque option. La fonction de perte standard, l'entropie croisée, se calcule par la formule -log(p), où p est la probabilité du bon mot. Plus la probabilité est faible, plus la perte est élevée, ce qui pousse le modèle à s'améliorer. La perplexité est une version plus intuitive de cette perte : c'est l'exponentielle de la perte (e^perte). Elle représente le nombre moyen de choix entre lesquels le modèle hésite. Une perplexité de 1 signifie une certitude totale, tandis qu'une valeur plus élevée indique une plus grande incertitude.

Exemple : Si le modèle prédit « Paris » avec une probabilité de 0,9, la perte est -log(0,9) ≈ 0,105. La perplexité est e^0,105 ≈ 1,11. Cela signifie que le modèle hésite légèrement, comme s'il choisissait entre 1,11 options. En revanche, si la probabilité était de 0,08, la perte serait -log(0,08) ≈ 2,53, et la perplexité e^2,53 ≈ 12,5. Le modèle serait alors très incertain, hésitant entre environ 12,5 mots possibles. On cherche donc une perplexité proche de 1 pour une prédiction fiable.