La recherche de voisins : interroger un espace latent sans projection 2D
On prend une image requête, on cherche les représentations les plus proches dans l’espace latent, puis on regarde ce que le modèle considère réellement comme similaire.
Une méthode toute simple, mais particulièrement utile pour commencer à comprendre ce qu’un modèle a appris à représenter.
Extrait de ma dernière vidéo YouTube « La géométrie cachée des embeddings » — lien en bio et en story à la une.
#deeplearning #cosinesimilarity #embeddings #machinelearningengineer
L'interrogation d'un espace latent ne nécessite pas de projection visuelle en 2D. La méthode la plus simple et puissante consiste à calculer la similarité entre une image requête et toutes les autres représentations, puis à identifier les plus proches. Cette approche permet d'inspecter la structure dans sa vraie dimension, sans simplification ni outil de réduction de dimensionnalité comme le t-SNE.
Le contraste avant et après l'entraînement d'un réseau de neurones est révélateur. Avant l'entraînement, une architecture initialisée aléatoirement possède déjà une légère structure due à ses biais inductifs, mais elle reste floue. Après l'entraînement, la géométrie devient nette : les images sémantiquement proches deviennent plus souvent voisines. Ce résultat ne vient pas de l'apprentissage des étiquettes spécifiques (comme CIFAR), mais de la découverte d'une géométrie où les régularités du monde visuel sont exploitables. Une représentation peut ainsi faire émerger une structure utile sans qu'on lui fournisse explicitement le découpage final souhaité.