36 votes

PySpark: Comment fillna valeurs dans dataframe pour des colonnes spécifiques?

J'ai l'exemple suivant DataFrame:

a    | b    | c   | 

1    | 2    | 4   |
0    | null | null| 
null | 3    | 4   |

Et je veux remplacer les valeurs nulles uniquement dans les 2 premières colonnes de la Colonne "a" et "b":

a    | b    | c   | 

1    | 2    | 4   |
0    | 0    | null| 
0    | 3    | 4   |

Voici le code pour créer un échantillon de dataframe:

rdd = sc.parallelize([(1,2,4), (0,None,None), (None,3,4)])
df2 = sqlContext.createDataFrame(rdd, ["a", "b", "c"])

Je sais comment remplacer toutes les valeurs null à l'aide de:

df2 = df2.fillna(0)

Et quand j'ai essayer cela, je perds la troisième colonne:

df2 = df2.select(df2.columns[0:1]).fillna(0)

70voto

Zhang Tong Points 1958
df.fillna(0, subset=['a', 'b'])

Il y a un paramètre nommé subset pour choisir les colonnes à moins que votre spark version est inférieure à 1.3.1

30voto

scottlittle Points 4898

Utiliser un dictionnaire pour remplir les valeurs de certaines colonnes:

df.fillna( { 'a':0, 'b':0 } )

Prograide.com

Prograide est une communauté de développeurs qui cherche à élargir la connaissance de la programmation au-delà de l'anglais.
Pour cela nous avons les plus grands doutes résolus en français et vous pouvez aussi poser vos propres questions ou résoudre celles des autres.

Powered by:

X