Keras: la différence entre les abandons LSTM et les abandons récurrents LSTM

Question

À partir de la Keras de la documentation:

décrochage: Flotter entre 0 et 1. La Fraction des parts à la baisse pour le transformation linéaire des entrées.

recurrent_dropout: Flotter entre 0 et 1. La Fraction des parts de baisse pour la transformation linéaire récurrents de l'état.

Quelqu'un peut-il point à l'endroit où sur l'image ci-dessous chacun de décrochage qui se passe?

Answer 1

Je suggère de jeter un oeil à (la première partie du présent document. Régulière de décrochage est appliqué sur les entrées et/ou sorties, sens des flèches verticales de x_t et h_t. Dans votre cas, si vous ajouter, comme un argument de votre couche, il va masquer les entrées; vous pouvez ajouter un Décrochage de la couche après votre récurrente de la couche de masque sorties. Récurrent d'abandon des masques (ou "gouttes") les connexions entre des unités récurrentes, ce qui serait le flèches horizontales dans votre image.

Cette photo est prise de l'étude ci-dessus. Sur la gauche, régulières d'abandon sur les entrées et les sorties. Sur la droite, régulière d'abandon les PLUS récurrentes d'abandon:

(Ignorer la couleur des flèches dans ce cas; dans le papier, ils font un autre point de garder le même abandon des masques à chaque timestep)