Sans fonction d'activation, un réseau de neurones reste linéaire
Si (f(z)=z), chaque couche applique simplement une transformation affine. La couche suivante prend sa sortie et applique à son tour une transformation affine.
Mais composer deux transformations affines (ou 100) revient toujours à une seule transformation affine.
Les fonctions d’activation introduisent donc une non-linéarité entre les couches. C’est ce qui empêche le réseau entier de se réduire à une seule transformation affine et permet à la profondeur d’augmenter son expressivité.
#neuralnetworks #machinelearning
Cette notion explique pourquoi les fonctions d'activation sont indispensables dans les réseaux de neurones. Sans elles, un réseau profond ne serait qu'une simple transformation linéaire, quelle que soit sa taille. En effet, multiplier plusieurs matrices (les poids des couches successives) revient mathématiquement à une seule multiplication. Le réseau perd ainsi sa capacité à modéliser des relations complexes.
La fonction d'activation introduit une non-linéarité entre les couches. Elle permet à chaque couche de déformer l'espace des données de manière progressive. Cette déformation rend les frontières entre les classes de plus en plus simples, jusqu'à ce qu'une séparation linéaire finale soit possible.
Exemple : Imaginez deux groupes de points entremêlés en forme d'anneau. Une simple ligne droite (transformation linéaire) ne peut pas les séparer correctement. La fonction d'activation permet au réseau de « plier » l'espace, transformant cet anneau complexe en deux groupes distincts et séparables par une ligne droite.