Comment supprimer les lignes d'un DataFrame Pandas dont la valeur d'une certaine colonne est NaN ?

Question

J'ai ceci DataFrame et ne veulent que les enregistrements dont EPS La colonne n'est pas NaN :

>>> df
                 STK_ID  EPS  cash
STK_ID RPT_Date                   
601166 20111231  601166  NaN   NaN
600036 20111231  600036  NaN    12
600016 20111231  600016  4.3   NaN
601009 20111231  601009  NaN   NaN
601939 20111231  601939  2.5   NaN
000001 20111231  000001  NaN   NaN

...c'est-à-dire quelque chose comme df.drop(....) pour obtenir ce cadre de données résultant :

                  STK_ID  EPS  cash
STK_ID RPT_Date                   
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Comment je fais ça ?

Answer 1

Cette question est déjà résolue, mais...

...envisagez également la solution proposée par Wouter dans son commentaire original . La capacité de traiter les données manquantes, notamment dropna() est intégré explicitement à pandas. Outre l'amélioration potentielle des performances par rapport à une exécution manuelle, ces fonctions sont également dotées de diverses options qui peuvent s'avérer utiles.

In [24]: df = pd.DataFrame(np.random.randn(10,3))

In [25]: df.iloc[::2,0] = np.nan; df.iloc[::4,1] = np.nan; df.iloc[::3,2] = np.nan;

In [26]: df
Out[26]:
          0         1         2
0       NaN       NaN       NaN
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

---

In [27]: df.dropna()     #drop all rows that have any NaN values
Out[27]:
          0         1         2
1  2.677677 -1.466923 -0.750366
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295

---

In [28]: df.dropna(how='all')     #drop only if ALL columns are NaN
Out[28]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

---

In [29]: df.dropna(thresh=2)   #Drop row if it does not have at least two values that are **not** NaN
Out[29]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

---

In [30]: df.dropna(subset=[1])   #Drop only if NaN in specific column (as asked in the question)
Out[30]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

Il existe également d'autres options (voir la documentation à l'adresse suivante http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html ), y compris l'élimination des colonnes au lieu des lignes.

Très pratique !

Answer 2

Ne laissez pas tomber, prenez juste les rangs où EPS n'est pas NA :

df = df[df['EPS'].notna()]

Answer 3

Je sais qu'on a déjà répondu à cette question, mais juste pour avoir une solution purement pandas à cette question spécifique, par opposition à la description générale d'Aman (qui était merveilleuse) et au cas où quelqu'un d'autre tomberait dessus :

import pandas as pd
df = df[pd.notnull(df['EPS'])]

Answer 4

Vous pouvez utiliser ceci :

df.dropna(subset=['EPS'], how='all', inplace=True)

Answer 5

La plus simple de toutes les solutions :

filtered_df = df[df['EPS'].notnull()]

La solution ci-dessus est bien meilleure que l'utilisation de np.isfinite().