Comment fonctionne un Transformer dans GPT : attention, feed forward et raccourcis

Un Transformer est le bloc de base des modèles de langage comme GPT. Il transforme des représentations vectorielles de texte (embeddings) en prédictions grâce à trois mécanismes clés. D'abord, l'attention multi-têtes analyse les relations entre les mots d'une phrase, en ne regardant que le passé pour éviter de « tricher » avec l'avenir. Ensuite, une couche de normalisation stabilise les valeurs pour éviter que les gradients n'explosent pendant l'apprentissage. Enfin, le feed-forward network, composé de couches linéaires et d'une fonction d'activation non-linéaire (comme GELU), permet au modèle d'apprendre des relations complexes. Cette couche élargit temporairement la dimension des données (par exemple de 768 à 3072) pour mieux exprimer l'information avant de la recompresser. Des connexions de raccourci (shortcut connections) sont ajoutées pour faciliter la propagation de l'information à travers les couches empilées, évitant ainsi le problème des gradients qui s'évanouissent.

Exemple : Pour la phrase « Le chat est grand », le mécanisme d'attention relie « grand » à « chat » pour comprendre qu'il décrit l'animal. La couche feed-forward prend cette relation, l'élargit en une représentation plus riche pour capturer des nuances sémantiques, puis la renvoie sous forme de vecteur stable, prêt à être utilisé pour prédire le mot suivant.