Différences entre numpy.random.rand et numpy.random.randn en Python

Question

Quelles sont les différences entre numpy.random.rand et numpy.random.randn ?

D'après la documentation, je sais que la seule différence entre eux provient de la distribution probabiliste dont chaque nombre est tiré, mais la structure globale (dimension) et le type de données utilisé (float) sont les mêmes. J'ai du mal à déboguer un réseau neuronal parce que je crois cela.

Plus précisément, j'essaie de réimplémenter le réseau de neurones fourni dans le module de gestion de l'information. Réseau neuronal et apprentissage profond, livre de Michael Nielson . Le code original peut être trouvé ici . Mon implémentation était la même que celle d'origine, sauf que j'ai défini et initialisé les poids et les biais avec numpy.random.rand sur init plutôt que numpy.random.randn comme dans l'original.

Cependant, mon code qui utilise random.rand pour initialiser weights and biases ne fonctionne pas car le réseau n'apprend pas et les poids et les biais ne changent pas.

Quelle(s) différence(s) entre deux fonctions aléatoires provoque(nt) cette bizarrerie ?

Answer 1

D'abord, comme vous le voyez dans la documentation numpy.random.randn génère des échantillons de la distribution normale, tandis que numpy.random.rand à partir d'une distribution uniforme (dans l'intervalle [0,1]).

Deuxièmement, pourquoi la distribution uniforme n'a pas fonctionné ? La raison principale est la fonction d'activation, en particulier dans votre cas où vous utilisez la fonction sigmoïde. Le tracé de la fonction sigmoïde ressemble à ce qui suit :

Vous pouvez donc voir que si votre entrée est éloignée de 0, la pente de la fonction diminue assez rapidement et, par conséquent, vous obtenez un gradient minuscule et une mise à jour minuscule du poids. Et si vous avez beaucoup de couches - ces gradients sont multipliés plusieurs fois dans le passage arrière, donc même les gradients "corrects" après multiplications deviennent petits et cessent d'avoir une influence. Donc si vous avez beaucoup de poids qui amènent votre entrée dans ces régions, votre réseau est difficilement entraînable. C'est pourquoi il est d'usage d'initialiser les variables du réseau autour de la valeur zéro. Ceci est fait pour s'assurer que vous obtenez des gradients raisonnables (proches de 1) pour entraîner votre réseau.

Cependant, la distribution uniforme n'est pas quelque chose de complètement indésirable, il suffit de rendre la plage plus petite et plus proche de zéro. L'une des bonnes pratiques consiste à utiliser l'initialisation de Xavier. Dans cette approche, vous pouvez initialiser vos poids avec :

1. Distribution normale. Où la moyenne est 0 et var = sqrt(2. / (in + out)) où in - est le nombre d'entrées des neurones et out - le nombre de sorties.

2. Distribution uniforme dans l'intervalle [-sqrt(6. / (in + out)), +sqrt(6. / (in + out))]

Answer 2

• np.random.rand est pour une distribution uniforme (dans l'intervalle semi-ouvert [0.0, 1.0) )
• np.random.randn est pour la distribution normale standard (alias gaussienne) (moyenne 0 et variance 1).

Vous pouvez très facilement explorer visuellement les différences entre les deux :

import numpy as np
import matplotlib.pyplot as plt

sample_size = 100000
uniform = np.random.rand(sample_size)
normal = np.random.randn(sample_size)

pdf, bins, patches = plt.hist(uniform, bins=20, range=(0, 1), density=True)
plt.title('rand: uniform')
plt.show()

pdf, bins, patches = plt.hist(normal, bins=20, range=(-4, 4), density=True)
plt.title('randn: normal')
plt.show()

Qui produisent :

et

Answer 3

1) numpy.random.rand de uniforme (dans l'intervalle [0,1])

2) numpy.random.randn génère des échantillons de la distribution normale