Stop gradient et EMA : la course-poursuite qui évite le collapse

Cette technique, le stop gradient, empêche un modèle (le target encodeur) de copier directement les erreurs d'un autre modèle (le context encodeur) pour minimiser sa perte. Au lieu de mettre à jour les poids du target immédiatement, on utilise une moyenne mobile exponentielle (EMA) des poids du contexte. Cela crée un décalage permanent entre les deux modèles.

Le principe repose sur la dynamique d'une course-poursuite : le target encodeur suit toujours le contexte, mais avec un retard. Comme ils ne reçoivent pas les mêmes signaux au même moment, ils ne peuvent pas se coordonner pour s'effondrer simultanément sur une solution triviale (comme prédire une constante). Cette instabilité est évitée par la différence de rythme d'apprentissage.

Exemple : Imaginez deux danseurs. Le premier (contexte) danse librement. Le second (target) essaie de le copier, mais il ne voit ses mouvements qu'avec un léger décalage temporel. Il ne peut donc jamais se synchroniser parfaitement pour faire un mouvement erroné identique au même instant. Ce décalage force le second à apprendre la structure du mouvement plutôt que de simplement reproduire les erreurs instantanées du premier.