Comment un RNN mémorise le passé grâce à son état caché
Un RNN (Recurrent Neural Network) corrige ce problème en maintenant un état caché au fil de la séquence.
À chaque instant t, il combine l’entrée actuelle avec l’état caché construit à l’instant t-1, après transformation par des poids appris, pour produire un nouvel état h_t.
Cette représentation évolue donc progressivement à mesure que le réseau parcourt la séquence.
Ce mécanisme possède toutefois certaines limites lorsque les dépendances s’étendent sur de nombreux pas de temps, et c’est justement ce que nous verrons dans la prochaine vidéo.
#deeplearning #machinelearning #rnn #recurrentneuralnetwork #recurrentneuralnetworks
Un Réseau de Neurones Récurrents (RNN) permet à un modèle de traiter des séquences en conservant une mémoire des éléments précédents. Contrairement aux réseaux classiques où l'information ne circule que dans un sens, le RNN introduit une boucle : l'état interne du réseau, appelé état caché (H), est mis à jour à chaque étape en combinant la nouvelle entrée et l'état précédent. Cela permet au réseau de prendre en compte le contexte accumulé.
Exemple : Pour traiter la phrase "le chat mange", le réseau ne se contente pas d'analyser "mange" isolément. Il utilise l'état caché produit après "chat" pour enrichir sa compréhension. L'état caché évolue donc au fil des mots, portant l'information du début de la phrase jusqu'à la fin.
Le calcul mathématique à chaque pas de temps t est défini par la formule : Ht = f(Wx * Xt + Wh * Ht-1 + b). Ici, Wx et Wh sont des matrices de poids apprises par le réseau, Xt est l'entrée actuelle, Ht-1 l'état précédent, b le biais, et f la fonction d'activation. Cette structure permet au RNN d'apprendre à la fois comment transformer l'entrée instantanée et comment pondérer l'information passée pour produire un état pertinent pour la suite de la séquence.