Pourquoi un beau t-SNE peut te mentir
Mais cette projection n’est pas une représentation fidèle de toute la géométrie de l’espace original : t-SNE cherche surtout à préserver les relations locales entre les points. La forme des clusters, leurs distances ou même leur organisation peuvent notamment varier avec la perplexité ou l’initialisation.
Un t-SNE est donc un excellent outil d’exploration, mais pas une preuve à lui seul. La vraie question est : qu’est-ce que la projection a conservé… et qu’est-ce qu’elle a perdu ?
#dataviz #tsne #datascientist #machinelearningalgorithms #datavisualization
Le TSNE est un outil de visualisation puissant mais trompeur : il ne prouve pas que des concepts sont distincts, il montre seulement une projection 2D d'un espace complexe.
Le problème fondamental est la perte d'information. Le TSNE prend des données à très haute dimension (centaines de variables) et les force dans un plan 2D. Pour y arriver, il privilégie les relations locales (qui est proche de qui) au détriment de la géométrie globale. Conséquence : la taille des groupes, la distance entre eux et la netteté des frontières sont souvent des artefacts mathématiques, pas des réalités intrinsèques. De plus, le résultat varie selon des paramètres comme la perplexité ou l'initialisation aléatoire.
Exemple : Imaginez deux clusters qui apparaissent très éloignés sur votre graphique TSNE. Cela ne signifie pas qu'ils sont fondamentalement différents dans l'espace original ; cela signifie simplement que l'algorithme a choisi de les séparer pour préserver les voisinages locaux. Si vous changez légèrement la perplexité, ils pourraient se rapprocher ou fusionner. La « beauté » du graphe est donc subjective et dépendante du réglage, pas une vérité absolue.
L'essentiel à retenir : un TSNE est un outil d'exploration, pas une preuve. Avant de conclure à une séparation nette, demandez-vous ce que la projection a conservé (les voisinages) et ce qu'elle a détruit (les distances globales, les volumes).