Comprendre le rôle de la loss pour mesurer l'erreur d'un réseau de neurones

Pour apprendre, un réseau de neurones doit d'abord savoir à quel point il se trompe. C'est exactement le rôle de la loss. Le réseau produit une prédiction. On en compare cette prédiction à la vraie réponse. Et on transforme cet écart en une valeur qui mesure à quel point la prédiction est mauvaise. Plus cette valeur est grande, plus le réseau est loin de l'objectif. Plus elle est petite, plus il s'en rapproche. Mais une loss ce n'est pas une fonction mathématique unique. C'est un concept, une manière de mesurer l'erreur du modèle. La fonction utilisée dépend énormément du problème. Même en régression, on peut choisir différentes losses selon ce qu'on veut pénaliser. La loss ne dit donc pas directement comment corriger le réseau. Elle définit simplement ce qu'on cherche à minimiser.