Dimension nominale vs effective : comprendre la vraie géométrie
La dimension nominale correspond simplement au nombre de dimensions de nos vecteurs. La dimension effective, elle, nous renseigne sur le nombre de dimensions réellement utilisées par le modèle pour répartir la variance.
L’un des outils permettant d’inspecter cette différence est le spectre des valeurs singulières.
Extrait de ma vidéo « La géométrie cachée des embeddings » sur YouTube — lien en bio et en story à la une.
#latentspace #embeddings #machinelearning
On apprend à distinguer la dimension nominale d'un espace de représentation (le nombre total de dimensions, par exemple 512) de sa dimension effective, qui reflète la répartition réelle de la variation des données. Un modèle peut posséder 512 dimensions, mais si la variation est concentrée sur quelques directions dominantes, l'espace est dit dégénéré. Pour mesurer cela, on utilise le spectre des valeurs singulières ou l'effectif rank. Un effectif rank faible indique une concentration forte, tandis qu'un rank élevé après entraînement montre que la variation s'étale sur davantage de directions. Cela signifie que la représentation est moins dégénérée, même si cela ne prouve pas à lui seul l'utilité de chaque direction. Pour vérifier l'exploitabilité de cette géométrie, on recourt ensuite à des méthodes comme le KNN ou les linear probes. Apprendre une représentation consiste donc non seulement à déplacer des points, mais aussi à reconfigurer la distribution de la variation dans l'espace.
Exemple : Imaginez un nuage de points en 3D. Si tous les points s'alignent presque parfaitement sur une ligne, la dimension nominale est 3, mais la dimension effective est proche de 1. Après un traitement qui étale les points sur un plan, la dimension effective augmente. Le spectre des valeurs singulières passera alors d'une forte concentration sur une seule valeur à une répartition plus équilibrée, signalant une meilleure utilisation de l'espace.