Invariance des représentations : sensible à l'essentiel, insensible au reste
L’invariance désigne la capacité d’un modèle à conserver des représentations proches malgré certaines transformations de l’entrée : crop, flip, changements de colorimétrie…
Mais un bon espace latent n’est pas invariant à toutes les transformations. L’enjeu est justement d’apprendre à quoi il doit être invariant… et à quoi il ne doit pas l’être.
Extrait de ma vidéo YouTube « La géométrie cachée des embeddings » — lien en bio et en story à la une.
#embeddings #latentspace #deeplearning #machinelearning
Une représentation est dite invariante si elle reste stable face à des variations qui ne comptent pas pour la tâche. L'idée centrale est que l'invariance n'est jamais absolue : un bon modèle apprend à ignorer les détails inutiles (comme le bruit ou la couleur) tout en restant sensible aux éléments essentiels. C'est cette sélectivité qui rend la représentation utile.
Exemple : Imaginez une image de votre visage. Si on applique un léger flou ou un changement de luminosité (une augmentation), une représentation robuste traitera ces deux images comme presque identiques. L'embedding (la signature mathématique de l'image) bougera très peu dans l'espace vectoriel. En revanche, si on change l'identité de la personne, l'embedding doit bouger beaucoup. Le modèle a donc appris que la couleur est « invariante » (peu importante) tandis que les traits du visage sont « sensibles » (importants).