Pourquoi le décodeur de pixels limite l'apprentissage de la dynamique

Cette vidéo explique pourquoi les modèles génératifs actuels peinent à capturer la dynamique globale des images et vidéos. Le problème principal réside dans l'objectif d'apprentissage : les réseaux sont souvent entraînés à reconstruire des pixels masqués ou à minimiser l'erreur entre pixels prédits et réels (via une fonction comme la MSE). Cette approche force le modèle à dépenser une grande partie de sa capacité computationnelle à apprendre des détails fins et une reconstruction précise, au détriment de la compréhension des structures globales et de la cohérence temporelle. En d'autres termes, le modèle optimise la fidélité locale plutôt que la logique dynamique de haut niveau. Exemple : Imaginez un étudiant qui passe tout son temps à mémoriser chaque mot d'un texte pour le recopier parfaitement, mais qui ne comprend pas l'histoire globale ni les liens de cause à effet. Il excelle dans la copie exacte (reconstruction fine) mais échoue à résumer ou prédire la suite (dynamique de haut niveau). C'est ce biais que les architectures actuelles présentent : elles maîtrisent le détail pixel par pixel, mais manquent de fluidité dans la logique globale du mouvement ou de la scène.