La descente de gradient expliquée simplement
On part des paramètres du modèle, souvent initialisés aléatoirement. On calcule ses prédictions, puis la loss, qui mesure l’erreur sur les données utilisées.
On calcule ensuite la dérivée partielle de cette loss par rapport à chaque paramètre : elle indique comment la loss varie localement lorsqu’on fait varier ce paramètre. Le gradient est simplement le vecteur qui rassemble toutes ces dérivées.
Pour mettre à jour chaque paramètre, on lui soustrait sa dérivée multipliée par le learning rate α. On avance ainsi dans la direction opposée au gradient, avec un pas dont la taille dépend de α. Avec un pas suffisamment petit, ce déplacement fait diminuer la loss.
Puis on recommence : prédictions, loss, gradient, mise à jour des paramètres.
On représente souvent ce mécanisme par une bille qui descend une montagne. C’est une bonne image, à condition de garder en tête qu’on ne dispose pas d’une carte complète du relief : à chaque étape, on évalue la hauteur et la pente à notre position.
On n’a donc pas besoin de dessiner toute la montagne pour chercher à descendre !
#machinelearning #ia #machinelearningengineer #optimisation #mathematics
La descente de gradient est la méthode qui permet à un modèle d'apprentissage automatique d'optimiser ses paramètres pour réduire son erreur (la loss). L'idée centrale est simple : on ajuste chaque paramètre dans la direction qui diminue la perte, en utilisant la dérivée pour connaître cette direction.
Concrètement, la loss est vue comme une surface où chaque point correspond à une combinaison de paramètres. Pour savoir comment bouger, on calcule la dérivée de la loss par rapport à chaque paramètre. Cette dérivée indique la pente locale : si elle est positive, la loss augmente quand on augmente le paramètre, donc on doit le diminuer. Si elle est négative, on l'augmente. L'ensemble de ces dérivées forme le gradient.
Le déplacement effectif est contrôlé par le learning rate (noté alpha), qui détermine la taille du pas. Un alpha trop grand peut faire dépasser le minimum, un trop petit ralentit l'apprentissage. Après chaque mise à jour, on recalcule la loss et les dérivées, puis on répète le processus.
Exemple :
Supposons une fonction simple loss = P1² + P2². Si P1 = 2 et P2 = 3, la loss est 4 + 9 = 13.
La dérivée par rapport à P1 est 2P1 = 4. Celle par rapport à P2 est 2P2 = 6.
Avec un learning rate alpha = 0.1, les nouveaux paramètres sont :
P1_new = 2 - 0.14 = 1.6
P2_new = 3 - 0.16 = 2.4
La nouvelle loss est 1.6² + 2.4² = 2.56 + 5.76 = 8.32. La perte a bien diminué.