La régression linéaire vue comme une projection géométrique
Avec la méthode des moindres carrés ordinaires (OLS), on cherche les paramètres \beta_0 et \beta_1 qui minimisent l’erreur entre nos observations et nos prédictions.
Mais on peut regarder le problème autrement.
Chaque observation peut être utilisée comme un axe dans un espace de dimension n. Dans cet espace, faire varier \beta_0 et \beta_1 génère l’ensemble des prédictions accessibles au modèle.
Ces deux paramètres deviennent alors les coordonnées qui permettent de se déplacer sur un plan de prédictions possibles.
L’OLS consiste finalement à chercher, sur ce plan, le point le plus proche du vecteur de nos observations y : la projection orthogonale de y sur l’espace engendré par les colonnes de X.
Une autre manière de voir pourquoi la régression linéaire… est littéralement une projection.
#MachineLearning #LinearRegression #OLS #LinearAlgebra #DataScience
La régression linéaire par moindres carrés peut se comprendre géométriquement comme une projection orthogonale. Plutôt que de voir chaque donnée comme un point sur un graphique, on représente chaque observation comme une dimension dans un espace vectoriel. Dans cet espace, les colonnes de la matrice des données deviennent des vecteurs. Le vecteur des valeurs cibles (y) et le vecteur des prédictions possibles forment des directions spécifiques. Le modèle ne peut produire que des combinaisons linéaires de ces directions, ce qui définit un sous-espace (un plan ou un hyperplan). L'objectif des moindres carrés est de trouver la prédiction la plus proche de y. Géométriquement, c'est la projection de y sur cet espace des prédictions. Le résidu, c'est-à-dire l'erreur, est alors le vecteur perpendiculaire reliant y à sa projection. Cette perpendiculaire garantit que la distance est minimale. Exemple : Avec 3 observations, l'espace des prédictions est un plan défini par le vecteur des x et le vecteur (1,1,1) pour l'intercepte. Si y ne touche pas ce plan, la meilleure prédiction est le point du plan le plus proche de y. Le vecteur reliant y à ce point est perpendiculaire au plan, ce qui minimise l'erreur quadratique.