Au-delà de l'embedding : comprendre la géométrie de l'espace latent

Pour comprendre un embedding, il ne faut pas analyser un vecteur isolé, mais observer la géométrie de l'espace latent global. L'objectif de l'encodeur est d'organiser l'information pour simplifier les tâches ultérieures, comme la classification ou la recherche. Cette organisation se manifeste par la proximité des points : les exemples similaires se regroupent, tandis que les distinctions importantes sont accentuées. En examinant l'ensemble des représentations, on identifie quelles directions portent de l'information utile et quelles transformations sont écrasées, ce qui rend certaines décisions plus faciles à prendre.

Exemple : Imaginez un espace 2D où chaque point est un mot. Si l'encodeur est bien conçu, les mots « chat » et « chien » seront proches l'un de l'autre, tandis que « voiture » sera éloigné. La direction qui sépare les animaux des objets porte alors une information sémantique clé. En regardant cette structure globale, on comprend que le modèle a appris à regrouper les concepts par similarité, ce qui facilite ensuite la tâche de prédire le mot suivant ou de classer un texte.