Afficher des valeurs de colonne distinctes dans un dataframe Pyspark

Question

Avec le dataframe pyspark, comment faire l'équivalent de df['col'].unique() dans Pandas.

Je veux répertorier toutes les valeurs uniques dans une colonne d'un dataframe pyspark.

Je ne veux pas faire la méthode SQL (registertemplate puis requête SQL pour les valeurs distinctes).

Je ne veux pas non plus utiliser groupby puis countDistinct, je préfère vérifier les VALEURS distinctes dans cette colonne.

Answer 1

Vous pourriez faire

distinct_column = 'somecol' 

distinct_column_vals = df.select(distinct_column).distinct().collect()
distinct_column_vals = [v[distinct_column] for v in distinct_column_vals]

Answer 2

En plus de l'option dropDuplicates, il y a la méthode nommée comme on le sait dans pandas drop_duplicates :

drop_duplicates() est un alias pour dropDuplicates().

Exemple

s_df = sqlContext.createDataFrame([("foo", 1),
                                   ("foo", 1),
                                   ("bar", 2),
                                   ("foo", 3)], ('k', 'v'))
s_df.show()

+---+---+
|  k|  v|
+---+---+
|foo|  1|
|foo|  1|
|bar|  2|
|foo|  3|
+---+---+

---

Supprimer selon un sous-ensemble

s_df.drop_duplicates(subset = ['k']).show()

+---+---+
|  k|  v|
+---+---+
|bar|  2|
|foo|  1|
+---+---+
s_df.drop_duplicates().show()

+---+---+
|  k|  v|
+---+---+
|bar|  2|
|foo|  3|
|foo|  1|
+---+---+

Answer 3

Si vous voulez sélectionner TOUTES les données (colonnes) comme distinctes d'un DataFrame (df), alors

df.select('*').distinct().show(10,truncate=False)

Answer 4

Exécutez ceci d'abord

df.createOrReplaceTempView('df')

Ensuite, exécutez

spark.sql("""
    SELECT distinct
        nom de colonne
    FROM
        df
    """).show()

Answer 5

Supposons que votre DataFrame original s'appelle df. Ensuite, vous pouvez utiliser :

df1 = df.groupBy('column_1').agg(F.count('column_1').alias('trip_count'))
df2 = df1.sort(df1.trip_count.desc()).show()