Pourquoi utiliser softmax au lieu de la normalisation standard?

Question

Dans la couche de sortie d'un réseau de neurones, il est typique d'utiliser la fonction softmax pour approximer une distribution de probabilité :

C'est coûteux à calculer en raison des exposants. Pourquoi ne pas simplement effectuer une transformation Z afin que toutes les sorties soient positives, puis normaliser en divisant simplement toutes les sorties par la somme de toutes les sorties ?

Answer 1

Le choix de la fonction softmax semble quelque peu arbitraire car il existe de nombreuses autres fonctions de normalisation possibles. Il n'est donc pas clair pourquoi la perte de log-softmax donnerait de meilleurs résultats que d'autres alternatives de pertes.

De "Une exploration des alternatives softmax appartenant à la famille de pertes sphériques" https://arxiv.org/abs/1511.05042

Les auteurs ont exploré d'autres fonctions parmi lesquelles figurent le développement en série de Taylor de exp et le softmax sphérique appelé ainsi et ont découvert que parfois elles pourraient mieux fonctionner que le softmax habituel.

Answer 2

Je pense qu'une des raisons peut être de traiter les nombres négatifs et la division par zéro, puisque exp(x) sera toujours positif et supérieur à zéro.

Par exemple pour a = [-2, -1, 1, 2] la somme sera de 0, nous pouvons utiliser softmax pour éviter la division par zéro.

Answer 3

Ajoutant à la réponse de Piotr Czapla, plus les valeurs d'entrée sont grandes, plus la probabilité pour l'entrée maximale est grande, pour la même proportion et par rapport aux autres entrées :

Answer 4

Supposons que nous modifions la fonction softmax de telle sorte que les activations de sortie soient données par

où c est une constante positive. Remarquez que c=1 correspond à la fonction softmax standard. Mais si nous utilisons une valeur différente de c, nous obtenons une fonction différente, qui est néanmoins qualitativement assez similaire à la fonction softmax. En particulier, montrez que les activations de sortie forment une distribution de probabilité, tout comme pour la softmax habituelle. Supposons que nous permettions à c de devenir grand, c'est-à-dire, c→∞. Quelle est la valeur limite des activations de sortie a^L_j? Après avoir résolu ce problème, il devrait vous être clair pourquoi nous considérons que la fonction c=1 est une version "adoucie" de la fonction maximum. C'est l'origine du terme "softmax". Vous pouvez suivre les détails depuis cette source (équation 83).

Answer 5

Alors qu'il est en effet quelque peu arbitraire, le softmax présente des propriétés souhaitables telles que :

• étant facilement différentiable (df/dx = f*(1-f))
• lorsqu'il est utilisé comme couche de sortie pour une tâche de classification, les scores alimentés sont interprétables comme des logarithmes de cotes