Afficher des valeurs de colonne distinctes dans un dataframe Pyspark

Question

Avec le dataframe pyspark, comment faire l'équivalent de df['col'].unique() dans Pandas.

Je veux répertorier toutes les valeurs uniques dans une colonne d'un dataframe pyspark.

Je ne veux pas faire la méthode SQL (registertemplate puis requête SQL pour les valeurs distinctes).

Je ne veux pas non plus utiliser groupby puis countDistinct, je préfère vérifier les VALEURS distinctes dans cette colonne.

Answer 1

Cela devrait aider à obtenir des valeurs distinctes d'une colonne :

df.select('column1').distinct().collect()

Notez que .collect() n'a pas de limite intégrée sur le nombre de valeurs qu'il peut renvoyer, donc cela pourrait être lent - utilisez plutôt .show() ou ajoutez .limit(20) avant .collect() pour gérer cela.

Answer 2

Supposons que nous travaillons avec la représentation suivante des données (deux colonnes, k et v, où k contient trois entrées, deux uniques:

+---+---+
|  k|  v|
+---+---+
|foo|  1|
|bar|  2|
|foo|  3|
+---+---+

Avec un dataframe Pandas:

import pandas as pd
p_df = pd.DataFrame([("foo", 1), ("bar", 2), ("foo", 3)], columns=("k", "v"))
p_df['k'].unique()

Cela renvoie un ndarray, c'est-à-dire array(['foo', 'bar'], dtype=object)

Vous avez demandé une "alternative de dataframe pyspark pour pandas df['col'].unique()". Maintenant, étant donné le dataframe Spark suivant:

s_df = sqlContext.createDataFrame([("foo", 1), ("bar", 2), ("foo", 3)], ('k', 'v'))

Si vous voulez le même résultat avec Spark, c'est-à-dire un ndarray, utilisez toPandas():

s_df.toPandas()['k'].unique()

Alternativement, si vous n'avez pas besoin d'un ndarray spécifiquement et que vous voulez juste une liste des valeurs uniques de la colonne k:

s_df.select('k').distinct().rdd.map(lambda r: r[0]).collect()

Enfin, vous pouvez également utiliser une compréhension de liste comme suit:

[i.k for i in s_df.select('k').distinct().collect()]

Answer 3

Vous pouvez utiliser df.dropDuplicates(['col1','col2']) pour obtenir uniquement des lignes distinctes en fonction de colX dans le tableau.

Answer 4

Si vous voulez voir les valeurs distinctes d'une colonne spécifique dans votre dataframe, il vous suffit d'écrire le code suivant. Il affichera les 100 valeurs distinctes (si 100 valeurs sont disponibles) pour la colonne colname dans le dataframe df.

df.select('colname').distinct().show(100, False)

Si vous souhaitez effectuer une opération spéciale sur les valeurs distinctes, vous pouvez sauvegarder les valeurs distinctes dans un vecteur :

a = df.select('colname').distinct()

Answer 5

collect_set peut aider à obtenir des valeurs uniques à partir d'une colonne donnée de pyspark.sql.DataFrame:

df.select(F.collect_set("column").alias("column")).first()["column"]