Comprendre le mécanisme d'attention des LLM : Q, K, V et le softmax étape par étape

Ce mécanisme permet aux modèles de langage de comprendre le contexte, comme identifier à qui fait référence un pronom. L'attention fonctionne via trois vecteurs : la requête (Q), la clé (K) et la valeur (V). Pour chaque mot, le modèle calcule une similarité entre sa requête et les clés des autres mots. Ce score est ensuite normalisé par une fonction softmax pour obtenir des probabilités. Enfin, le résultat est une combinaison pondérée des valeurs des autres mots, où les mots les plus similaires contribuent davantage. C'est ce qui permet au modèle de « mélanger » l'information pertinente.

Exemple : Dans la phrase « Il a vu Paul », la requête de « Il » est comparée aux clés de « Paul » et d'autres mots. Si la similarité avec « Paul » est forte (60%) et faible avec le reste (40%), la valeur finale de « Il » sera majoritairement composée de l'information de « Paul ». Le modèle retient ainsi que « Il » fait référence à Paul, tout en gardant une trace faible des autres éléments.