TensorFlow cross-entropy sur tutoriel

Question

Je passais juste par le TensorFlow tutoriel ( https://www.tensorflow.org/versions/r0.8/tutorials/mnist/pros/index.html#deep-mnist-for-experts ).

J'ai deux questions à ce sujet :

1. Pourquoi utilise-t-il le cost function with y_ * log(y) ? Cela ne devrait-il pas être y_ * log(y) + (1-y_) * log(1-y) ?

2. Comment TensorFlow savoir comment calculer le gradient de la cost function J'utilise ? Ne devrions-nous pas avoir un endroit quelque part pour dire TensorFlow comment calculer le gradient ?

Merci !

Answer 1

1. Lorsque y = 1 ou 0, on peut utiliser y_ * log(y) + (1-y_) * log(1-y), mais lorsque y est un codage à un coup, y=[0 1] ou [1 0], on utilise y_ * log(y). En fait, ce sont les mêmes.

2. Tout est un graphique dans TensorFlow, y compris votre fonction de coût.

Ainsi, chaque nœud connaît son fonctionnement et son gradient local. Tensorflow utilise la rétropropagation (règle de la chaîne) pour calculer le gradient en utilisant le graphe.