Forcer un modèle à ne prédire que ce qui est prédictible
Mini extrait de la vidéo youtube « Intro JEPA - Ignorer l’insignifiant pour prédire le monde » (lien en bio et en story à la une)
Le concept central ici est le pari du GEPA (Global Error Prediction Architecture, ou architecture de prédiction d'erreur globale), qui propose de supprimer le décodeur intermédiaire traditionnel. L'objectif est de forcer le modèle à effectuer une liaison sémantique directe entre l'espace latent du passé et celui du futur, en éliminant la étape de reconstruction explicite.
L'idée principale repose sur la notion de prédictibilité sélective. Plutôt que de tenter de prédire chaque détail du signal (ce qui inclut souvent du bruit ou des éléments aléatoires non corrélés), le modèle doit apprendre à ne prédire que les composantes qui sont réellement prévisibles à partir du contexte antérieur. Cela réduit l'erreur globale en évitant de gaspiller de la capacité de calcul sur des éléments imprévisibles.
Exemple : Imaginez la prédiction de la météo. Un modèle classique tente de prédire la position exacte de chaque nuage, ce qui est presque impossible à long terme. Avec l'approche GEPA, le modèle ne prédit pas la forme des nuages, mais uniquement la tendance de pression atmosphérique et la température moyenne, qui sont les éléments réellement corrélés au passé et prévisibles. Il ignore le « bruit » visuel pour se concentrer sur la signal utile.