Pourquoi un joli t-SNE ne prouve rien sur la géométrie de vos données
Pour faire rentrer un espace à N dimensions sur un écran en 2D, chaque méthode doit faire des choix : quelles relations préserver, et au prix de quelle perte d’information ?
PCA cherche à conserver au maximum la variance, t-SNE privilégie les voisinages locaux, tandis qu’UMAP cherche à préserver la structure locale de l’espace.
Ces projections sont d’excellents outils d’exploration, mais elles restent des représentations partielles : un joli scatter plot ne constitue pas, à lui seul, une preuve de bonne santé d’un espace latent.
Extrait de ma vidéo YouTube « La géométrie cachée des embeddings » — lien en bio et en story à la une.
#embeddings #PCA #tSNE #UMAP #machinelearning
Les visualisations 2D comme PCA, t-SNE ou UMAP sont des outils d'exploration, non des preuves absolues de la structure des données. Chaque méthode fait des compromis différents : la PCA privilégie les directions de forte variance globale, tandis que t-SNE et UMAP se concentrent sur les voisinages locaux. Par conséquent, changer de méthode ou d'hyperparamètres peut radicalement modifier l'apparence de la carte, même si les données sous-jacentes restent identiques. Il ne faut donc jamais interpréter un graphique 2D comme la « vraie forme » de l'espace latent, mais comme une lentille qui met en avant certains aspects au détriment d'autres. Pour valider une observation, il est essentiel de croiser les informations avec des diagnostics dans l'espace d'origine, tels que la séparabilité ou les spectres.
Exemple : Imaginez deux clusters de points qui semblent séparés sur un graphique t-SNE. Si vous appliquez la PCA aux mêmes données, ces clusters peuvent se chevaucher complètement car la PCA ignore les structures locales fines. Si vous affirmez que les données sont séparées uniquement sur la base du t-SNE, votre conclusion est fragile. Il faut vérifier cette séparation par une métrique de distance dans l'espace d'origine pour confirmer que la structure est réelle et non un artefact de la projection.