Comment les réseaux de neurones modélisent le monde au-delà des pixels

Cette approche explique comment les réseaux de neurones, via l'architecture JEPA, modélisent le monde sans se limiter à la reconstruction pixel par pixel. Contrairement aux méthodes classiques qui tentent de prédire l'image exacte (comme la position précise d'une voiture cachée par un arbre), JEPA opère dans un espace abstrait. L'objectif n'est pas de générer une image réaliste, mais de comprendre la structure et la dynamique des objets. En travaillant sur des représentations internes plutôt que sur les pixels bruts, le modèle apprend les relations causales et spatiales. Cela permet une compréhension plus robuste et efficace des phénomènes physiques, car il capture l'essence de la situation (la voiture passe derrière) plutôt que le détail visuel (la couleur de la carrosserie).

Exemple : Imaginez une voiture qui disparaît derrière un arbre. Une approche par pixels essaierait de deviner chaque pixel de la voiture cachée, ce qui est complexe et inutile pour la compréhension. JEPA, lui, encode l'état « voiture en mouvement » et « obstacle présent ». Il prédit l'état suivant dans cet espace abstrait : « voiture visible à gauche ». Il ne génère pas l'image, mais il sait que la voiture est là, ce qui suffit pour la décision ou la compréhension.