NumPy : calculer les moyennes avec les NaNs enlevés

Question

Comment puis-je calculer les valeurs moyennes d'une matrice le long d'une matrice, mais pour enlever nan valeurs du calcul ? (Pour les utilisateurs de R, pensez à na.rm = TRUE ).

Voici mon exemple qui ne fonctionne pas :

import numpy as np
dat = np.array([[1, 2, 3],
                [4, 5, np.nan],
                [np.nan, 6, np.nan],
                [np.nan, np.nan, np.nan]])
print(dat)
print(dat.mean(1))  # [  2.  nan  nan  nan]

En supprimant les NaN, le résultat attendu serait le suivant :

array([ 2.,  4.5,  6.,  nan])

Answer 1

Je pense que ce que vous voulez est un tableau masqué :

dat = np.array([[1,2,3], [4,5,nan], [nan,6,nan], [nan,nan,nan]])
mdat = np.ma.masked_array(dat,np.isnan(dat))
mm = np.mean(mdat,axis=1)
print mm.filled(np.nan) # the desired answer

Edit : En combinant toutes les données de synchronisation

   from timeit import Timer

    setupstr="""
import numpy as np
from scipy.stats.stats import nanmean    
dat = np.random.normal(size=(1000,1000))
ii = np.ix_(np.random.randint(0,99,size=50),np.random.randint(0,99,size=50))
dat[ii] = np.nan
"""  

    method1="""
mdat = np.ma.masked_array(dat,np.isnan(dat))
mm = np.mean(mdat,axis=1)
mm.filled(np.nan)    
"""

    N = 2
    t1 = Timer(method1, setupstr).timeit(N)
    t2 = Timer("[np.mean([l for l in d if not np.isnan(l)]) for d in dat]", setupstr).timeit(N)
    t3 = Timer("np.array([r[np.isfinite(r)].mean() for r in dat])", setupstr).timeit(N)
    t4 = Timer("np.ma.masked_invalid(dat).mean(axis=1)", setupstr).timeit(N)
    t5 = Timer("nanmean(dat,axis=1)", setupstr).timeit(N)

    print 'Time: %f\tRatio: %f' % (t1,t1/t1 )
    print 'Time: %f\tRatio: %f' % (t2,t2/t1 )
    print 'Time: %f\tRatio: %f' % (t3,t3/t1 )
    print 'Time: %f\tRatio: %f' % (t4,t4/t1 )
    print 'Time: %f\tRatio: %f' % (t5,t5/t1 )

Les retours :

Time: 0.045454  Ratio: 1.000000
Time: 8.179479  Ratio: 179.950595
Time: 0.060988  Ratio: 1.341755
Time: 0.070955  Ratio: 1.561029
Time: 0.065152  Ratio: 1.433364

Answer 2

Si les performances sont importantes, vous devriez utiliser bottleneck.nanmean() à la place :

http://pypi.python.org/pypi/Bottleneck

Answer 3

En supposant que vous avez également installé SciPy :

http://www.scipy.org/doc/api_docs/SciPy.stats.stats.html#nanmean

Answer 4

Vous pouvez toujours trouver une solution de contournement dans quelque chose comme :

numpy.nansum(dat, axis=1) / numpy.sum(numpy.isfinite(dat), axis=1)

Numpy 2.0 numpy.mean a un skipna qui devrait s'en charger.

Answer 5

Un tableau masqué avec les nans filtrés peut également être créé à la volée :

print np.ma.masked_invalid(dat).mean(1)