En machine learning, comment les courbes de perte révèlent l'underfitting et l'overfitting

Cette vidéo explique comment utiliser les ensembles d'entraînement et de validation pour évaluer la performance d'un modèle de machine learning. L'ensemble d'entraînement sert à ajuster les poids du modèle, tandis que l'ensemble de validation permet de vérifier si le modèle généralise bien à des données inédites. En observant l'évolution de la perte (erreur) sur ces deux ensembles au fil des époques, on peut détecter trois situations clés. D'abord, l'underfitting, où les pertes restent élevées sur les deux ensembles, indiquant que le modèle est trop simple ou insuffisamment entraîné. Ensuite, l'overfitting, caractérisé par une baisse de la perte d'entraînement mais une hausse de la perte de validation : le modèle mémorise les données d'entraînement sans réussir à prédire de nouvelles données. Enfin, l'optimum se situe au point où la perte de validation est minimale, garantissant un bon équilibre entre performance sur les données connues et capacité de généralisation.

Exemple : Imaginez un étudiant qui prépare un examen en refaisant uniquement les exercices du cours (entraînement). S'il obtient 100% sur ces exercices mais échoue à l'examen final (validation), c'est qu'il a sur-apprendu (overfitting) sans comprendre les concepts. L'objectif est de trouver le moment où il maîtrise les exercices tout en étant capable de résoudre des problèmes nouveaux.