Pourquoi le biais est indispensable dans un neurone
y = f(wᵀx + b)
Mais il joue un rôle important.
Sans biais, pour une entrée x = 0, modifier les poids ne change absolument rien :
wᵀ0 = 0
Géométriquement, cela impose également à la frontière définie par wᵀx = 0 de toujours passer par l’origine. Les poids peuvent modifier son orientation, mais pas la déplacer.
L’ajout du biais transforme cette frontière en wᵀx + b = 0 et ajoute ainsi un degré de liberté au neurone.
Autrement dit : le biais libère le neurone de l’origine.
#MachineLearning #DeepLearning #NeuralNetwork #IA
Le biais dans un réseau de neurones permet au modèle de produire une sortie non nulle même lorsque toutes les entrées sont nulles. Sans ce terme, un neurone dont les entrées sont toutes à zéro renverrait systématiquement zéro, quelle que soit la valeur des poids appris. Le biais agit comme une constante ajoutée avant l'activation, offrant ainsi un degré de liberté supplémentaire. Géométriquement, cela signifie que la frontière de décision n'est plus contrainte de passer par l'origine du système de coordonnées. Elle peut se déplacer librement pour mieux s'adapter aux données réelles. Exemple : Imaginez une ligne qui sépare deux groupes de points. Sans biais, cette ligne doit obligatoirement traverser le point (0,0). Avec un biais, la ligne peut être décalée pour mieux séparer les points, même si aucun d'eux n'est proche de l'origine. C'est ce décalage qui permet au modèle d'apprendre des patterns plus complexes.