Comment fonctionnent les LLM : tokens, embeddings et mécanisme d'attention

Un LLM fonctionne en estimant la probabilité du mot suivant à partir du contexte. Il ne traite pas les mots directement, mais les convertit en tokens (unités de texte) puis en embeddings : des vecteurs mathématiques longs qui représentent le sens. La proximité de ces vecteurs dans un espace multidimensionnel reflète la similarité de signification (par exemple, « bonjour » et « hello » seront proches). Ces vecteurs traversent ensuite des blocs Transformers, où le mécanisme d'attention permet au modèle de relier des éléments distants dans une phrase (comme comprendre que « il » dans « Le chat est grand, il a dû manger » fait référence au chat). Enfin, le modèle sort les probabilités des tokens suivants, choisissant les plus probables pour générer la réponse. L'entraînement consiste à ajuster des milliards de paramètres (poids) pour améliorer cette prédiction.

Exemple : Pour la phrase « La capitale de la France est », le modèle calcule une probabilité de 80% pour le token « Paris », car les vecteurs des mots précédents sont proches de celui de « Paris » dans l'espace sémantique, contrairement à un mot sans lien comme « table ».