PCA : de 512 dimensions à 2, la variance ne suffit pas
Elle est très utile pour explorer et visualiser des données, notamment en 2D ou en 3D. Mais comme pour toute projection, il faut rester prudent.
La PCA cherche à conserver un maximum de variance. Une information importante portée par une direction de faible variance peut donc disparaître lors de la projection.
#dataviz #machinelearning #statistics
La PCA (Analyse en Composantes Principales) est une méthode de réduction de dimensionnalité qui projette des données de haute dimension (comme 512) sur un espace 2D en conservant l'essentiel de l'information statistique.
Le principe repose sur la variance. L'algorithme identifie la direction dans laquelle les données varient le plus : c'est la première composante principale. Il cherche ensuite une deuxième direction, perpendiculaire (orthogonale) à la première, qui capture le maximum de variance restante. En ne gardant que ces deux axes, on obtient une représentation 2D qui maximise l'étalement des points.
Cependant, cette approche a une limite majeure : la variance maximale ne correspond pas toujours à l'information la plus utile. La PCA ignore la structure sémantique des données, comme les classes ou les groupes.
Exemple : Imaginez deux nuages de points (rouge et bleu) parfaitement séparés dans un espace 3D, mais très proches l'un de l'autre dans la direction de la plus grande variance. La PCA va choisir les axes de plus grand étalement. Si la séparation entre les classes se fait sur un axe de faible variance, la projection 2D va « écraser » cette différence. Les points rouges et bleus se superposeront alors, rendant les classes indiscernables, alors qu'elles étaient parfaitement séparables dans l'espace original. La PCA conserve la forme globale du nuage, pas sa signification.