Redresseur (réseaux neuronaux)
En mathématiques, la fonction Unité Linéaire Rectifiée (ou ReLU pour Rectified Linear Unit) est définie par :
pour tout réel
Elle est fréquemment utilisée comme fonction d'activation dans le contexte du réseau de neurones artificiels pour sa simplicité de calcul, en particulier de sa dérivée.
Variations[modifier | modifier le code]
Un désavantage de la fonction ReLU est que sa dérivée devient nulle lorsque l'entrée est négative ce qui peut empêcher la rétropropagation du gradient[1]. On peut alors introduire une version appelée Leaky ReLU définie par :
pour tout réel
Le paramètre est un réel strictement positif et inférieur à 1 La dérivée est alors égale à lorsque x est strictement négatif, ce qui permet de conserver la mise à jour des poids d'un perceptron utilisant cette fonction d'activation.
Notes et références[modifier | modifier le code]
- « Activation Functions | Fundamentals Of Deep Learning », sur Analytics Vidhya, (consulté le )