Le representation collapse : quand une IA réussit sans rien apprendre
Le réseau peut alors trouver une solution triviale : prédire exactement la même représentation, peu importe l’input. Tous les points se retrouvent au même endroit, la loss devient minimale… mais l’espace latent ne représente plus rien d’utile.
J’ai fait une vidéo YouTube complète au sujet des embeddibgs et des espaces latents « La géométrie des embeddings » — lien en bio et en story à la une.
#embedding #deeplearning #machinelearning
Le representation collapse est un phénomène où une IA apprend à produire une réponse unique et constante pour toutes les entrées, annulant ainsi sa capacité à distinguer les informations. Ce problème survient souvent en auto-supervision : le modèle minimise son erreur en trouvant une solution triviale (comme mapper tout en un seul point) plutôt qu'en apprenant une structure utile. C'est comparable à un étudiant qui obtient 20/20 à un QCM en choisissant toujours la même réponse, sans rien comprendre. Pour éviter ce piège, les méthodes modernes imposent une diversité aux représentations. Elles utilisent soit des exemples négatifs (approche contrastive), soit une asymétrie entre l'encodeur qui apprend et celui qui génère la cible (comme dans les architectures IGPA ou VGPA). L'objectif est de forcer le modèle à encoder des différences réelles entre les données, garantissant qu'il acquiert une connaissance exploitable et non une simple habitude de prédiction.