Pyspark - Groupby and collect list over multiple columns and create multiple columns

Question

J'ai le dataframe ci-dessous sur lequel j'essaie de regrouper et d'agrégér des données.

Column_1 Column_2 Column_3
A        N1       P1
A        N2       P2
A        N3       P3
B        N1       P1
C        N1       P1
C        N2       P2

Sortie requise :

Column_1 Column_2 Column_3
A        N1,N2,N3 P1,P2,P3
B        N1       P1
C        N1,N2    P1,P2

Je suis capable de le faire sur une colonne en créant une fenêtre en utilisant la partition et groupby. Ensuite j'utilise collect list et group by sur la fenêtre et agrège pour obtenir une colonne. Cela fonctionne pour une colonne.

Comment réaliser la même chose sur 2 colonnes. Veuillez aider.

Answer 1

La fonction agg du group by peut prendre plus d'une fonction d'agrégation. Vous pouvez ajouter collect_list deux fois :

df.groupby('Colonne_1').agg(F.collect_list('Colonne_2'), F.collect_list('Colonne_3')).orderBy('Colonne_1').show()

affiche

+--------+----------------------+----------------------+
|Colonne_1|collect_list(Colonne_2)|collect_list(Colonne_3)|
+--------+----------------------+----------------------+
|       A|          [N1, N2, N3]|          [P1, P2, P3]|
|       B|                  [N1]|                  [P1]|
|       C|              [N1, N2]|              [P1, P2]|
+--------+----------------------+----------------------+

Pour un regroupement simple, il n'est pas nécessaire d'utiliser une Window.