Changer d’unité peut changer les directions choisies par la PCA. Prenons les mêmes données, mais exprimons une variable en millimètres plutôt qu’en mètres : ses valeurs sont multipliées par 1 000… et sa variance par 1…
Un même nuage de points et 2 axes. Dans la largeur, les projections sont regroupées. Dans la longueur, elles sont davantage étalées : leur variance est plus grande. En faisant tourner l’axe, on cherche la direction qui…
Pour apprendre, un réseau de neurones doit d'abord savoir à quel point il se trompe. C'est exactement le rôle de la loss. Le réseau produit une prédiction. On en compare cette prédiction à la vraie réponse. Et on…
Pourquoi quand on parle de PCA on entend parler de vecteur propre et de valeur propre ? Un vecteur propre est un vecteur qui, lorsqu’on le multiplie par la matrice de covariance, conserve sa direction. Il est simplement…
Pourquoi un réseau de neurones a-t-il besoin de plusieurs couches ? Chaque couche transforme la représentation produite par la couche précédente. Les premières couches peuvent apprendre des représentations relativement…
Pourquoi les couches intermédiaires d'un réseau sont-elles appelées couches cachées
Pourquoi les RNN ont du mal avec les dépendances à long terme
Un RNN (Recurrent Neural Network) corrige ce problème en maintenant un état caché au fil de la séquence. À chaque instant t, il combine l’entrée actuelle avec l’état caché construit à l’instant t-1, après transformation…
On part des paramètres du modèle, souvent initialisés aléatoirement. On calcule ses prédictions, puis la loss, qui mesure l’erreur sur les données utilisées. On calcule ensuite la dérivée partielle de cette loss par…
Chaque neurone reçoit le même vecteur d’entrée, mais utilise ses propres poids et son propre biais. En regroupant tous ces poids dans une matrice (W), et tous les biais dans un vecteur (b), l’ensemble des calculs…
Si (f(z)=z), chaque couche applique simplement une transformation affine. La couche suivante prend sa sortie et applique à son tour une transformation affine. Mais composer deux transformations affines (ou 100) revient…
Pour une fonction à plusieurs variables, le gradient est un vecteur construit à partir de ses dérivées partielles. Sa direction indique où la fonction augmente le plus rapidement, tandis que sa norme indique l’intensité…
Avec la méthode des moindres carrés ordinaires (OLS), on cherche les paramètres \beta_0 et \beta_1 qui minimisent l’erreur entre nos observations et nos prédictions. Mais on peut regarder le problème autrement. Chaque…
y = f(wᵀx + b) Mais il joue un rôle important. Sans biais, pour une entrée x = 0, modifier les poids ne change absolument rien : wᵀ0 = 0 Géométriquement, cela impose également à la frontière définie par wᵀx = 0 de…
Son fonctionnement est pourtant relativement simple : il reçoit plusieurs entrées, associe à chacune un poids appris pendant l’entraînement, ajoute un biais puis applique une fonction d’activation. Mathématiquement, on…
C’est un poil plus complexe que simplement contrôler la « créativité » du modèle. Cet hyperparamètre agit sur la distribution de probabilité des tokens produite par le softmax, et influence ainsi l’échantillonnage…
Elle permet de transformer des scores arbitraires en une distribution dont les valeurs sont comprises entre 0 et 1 et dont la somme est égale à 1. Une formule toute simple, mais au cœur de mécanismes comme l’attention…
Elle est très utile pour explorer et visualiser des données, notamment en 2D ou en 3D. Mais comme pour toute projection, il faut rester prudent. La PCA cherche à conserver un maximum de variance. Une information…
Pour faire rentrer un espace à N dimensions sur un écran en 2D, chaque méthode doit faire des choix : quelles relations préserver, et au prix de quelle perte d’information ? PCA cherche à conserver au maximum la…
Il existe plusieurs façons de mesurer la distance — ou la similarité — entre deux vecteurs. Et selon la géométrie de l’espace, la façon dont les représentations sont construites et ce qu’on cherche à mesurer, elles ne…
Un excellent score pris isolément peut être trompeur : si toutes les représentations sont proches de toutes les autres, obtenir une forte similarité entre deux images ne nous apprend finalement pas grand-chose. Plus…
La dimension nominale correspond simplement au nombre de dimensions de nos vecteurs. La dimension effective, elle, nous renseigne sur le nombre de dimensions réellement utilisées par le modèle pour répartir la variance…
On prend une image requête, on cherche les représentations les plus proches dans l’espace latent, puis on regarde ce que le modèle considère réellement comme similaire. Une méthode toute simple, mais particulièrement…
Bien le comprendre est donc essentiel et surtout, ce n’est pas aussi compliqué que la formule peut le laisser penser au premier abord. Alors plutôt que de partir des maths, partons de l’intuition visuelle : dans ce…
L’invariance désigne la capacité d’un modèle à conserver des représentations proches malgré certaines transformations de l’entrée : crop, flip, changements de colorimétrie… Mais un bon espace latent n’est pas invariant…
Le réseau peut alors trouver une solution triviale : prédire exactement la même représentation, peu importe l’input. Tous les points se retrouvent au même endroit, la loss devient minimale… mais l’espace latent ne…
Mais comparer des vecteurs isolé n’a aucun sens. Ce qui compte c’est la géométrie des espaces latent. C’est ce qu’on étudies dans la dernière vidéo youtube « La géométrie caché des embeddings » (lien en bio et en story…
Or dans beaucoup d’architecture moderne il y a en réalité plusieurs espaces latents, chacun avec sa propre géométrie et son propre rôle. Dans la dernière video youtube on entraine un ResNet sur CIFAR-10 afin d’inspecter…
Court extrait de ma vidéo « La géométrie cachée des embeddings », disponible ce soir sur YouTube. 🔗 Lien en bio et dans les stories à la une. #embeddings #machinelearning #deeplearning #datavisualization
Un vecteur tout seul ne sert quasiment à rien : ce qui compte vraiment, c’est la géométrie de l’espace dans lequel vivent les embeddings. C’est cette géométrie qui permet aux modèles d’organiser, comparer et exploiter…
Mais cette projection n’est pas une représentation fidèle de toute la géométrie de l’espace original : t-SNE cherche surtout à préserver les relations locales entre les points. La forme des clusters, leurs distances ou…
#machinelearning #machinelearningengineer #deeplearning
L’idée est de permettre à une IA de ne pas seulement reconnaître ce qu’elle observe, mais aussi d’anticiper ce qui pourrait arriver ensuite. Ces prédictions peuvent se faire directement dans l’espace observable (par…
Extrait de la video youtube « Intro JEPA - ignorer l’insignifiant pour prédire le monde » (lien en bio et dans la story à la une) #deeplearning #machinelearning #machinelearningengineer
Mini extrait de la vidéo youtube « Intro JEPA - Ignorer l’insignifiant pour prédire le monde » (lien en bio et en story à la une)
Extrait de la video youtube « Intro JEPA - Ignorer l’insignifiant pour prédire le monde » (lien en bio et en story à la une)
Extrait de la video youtube « Intro JEPA - Ignorer l’insignifiant pour prédire le monde » (lien dans la bio) #machinelearning #mathématiques #deeplearning
#deeplearning #jepa #machinelearning
Extrait de la vidéo « Intro JEPA - Ignorer l’insignifiant pour prédire le monde » (Lien en bio) #ai #generativeai #mae #machinelearning #computervision
Et si les Chain of Thought était insuffisantes pour que l’IA réfléchisse correctement ? #llm #ai #chainofthought
📹 Extrait de la video « Intro JEPA - prédire le monde en ignorant l’insignifiant » => lien en bio #computervision #machinelearning #generativeai
C’est le sujet de la video youtube « Intro JEPA - Ignorer le future pour prédire l’insignifiant » Lien en bio #machinelearningengineer #generativeai #artificialinteligence
Vous pouvez retrouver la video entière sur ma chaine youtube (lien en bio) #machinelearningengineer #jepa #machinelearning #ai #computervision