Supprimer les dictées en double dans une liste en Python

Question

J'ai une liste de dicts, et je voudrais enlever les dicts avec des paires de clés et de valeurs identiques.

Pour cette liste : [{'a': 123}, {'b': 123}, {'a': 123}]

J'aimerais rendre ça : [{'a': 123}, {'b': 123}]

Un autre exemple :

Pour cette liste : [{'a': 123, 'b': 1234}, {'a': 3222, 'b': 1234}, {'a': 123, 'b': 1234}]

J'aimerais rendre ça : [{'a': 123, 'b': 1234}, {'a': 3222, 'b': 1234}]

Answer 1

Si vous utilisez Pandas dans votre flux de travail, une option consiste à fournir une liste de dictionnaires directement à la fonction pd.DataFrame le constructeur. Utilisez ensuite drop_duplicates y to_dict pour obtenir le résultat souhaité.

import pandas as pd

d = [{'a': 123, 'b': 1234}, {'a': 3222, 'b': 1234}, {'a': 123, 'b': 1234}]

d_unique = pd.DataFrame(d).drop_duplicates().to_dict('records')

print(d_unique)

[{'a': 123, 'b': 1234}, {'a': 3222, 'b': 1234}]

Answer 2

Si vous voulez préserver l'ordre, vous pouvez faire ce qui suit

from collections import OrderedDict
print OrderedDict((frozenset(item.items()),item) for item in data).values()
# [{'a': 123, 'b': 1234}, {'a': 3222, 'b': 1234}]

Si l'ordre n'a pas d'importance, alors vous pouvez faire

print {frozenset(item.items()):item for item in data}.values()
# [{'a': 3222, 'b': 1234}, {'a': 123, 'b': 1234}]

Answer 3

Pas une réponse universelle mais si votre liste est trié par une certaine clé, comme ceci :

l=[{'a': {'b': 31}, 't': 1},
   {'a': {'b': 31}, 't': 1},
 {'a': {'b': 145}, 't': 2},
 {'a': {'b': 25231}, 't': 2},
 {'a': {'b': 25231}, 't': 2}, 
 {'a': {'b': 25231}, 't': 2}, 
 {'a': {'b': 112}, 't': 3}]

alors la solution est aussi simple que :

import itertools
result = [a[0] for a in itertools.groupby(l)]

Résultat :

[{'a': {'b': 31}, 't': 1},
{'a': {'b': 145}, 't': 2},
{'a': {'b': 25231}, 't': 2},
{'a': {'b': 112}, 't': 3}]

Fonctionne avec des dictionnaires imbriqués et préserve (évidemment) l'ordre.

Answer 4

Vous pouvez utiliser un ensemble, mais vous devez transformer les dicts en un type hachable.

seq = [{'a': 123, 'b': 1234}, {'a': 3222, 'b': 1234}, {'a': 123, 'b': 1234}]
unique = set()
for d in seq:
    t = tuple(d.iteritems())
    unique.add(t)

Unique est maintenant égal à

set([(('a', 3222), ('b', 1234)), (('a', 123), ('b', 1234))])

Pour récupérer les dicts :

[dict(x) for x in unique]

Answer 5

La méthode la plus simple consiste à convertir chaque élément de la liste en chaîne de caractères, puisque le dictionnaire n'est pas hachable. Vous pouvez ensuite utiliser set pour supprimer les doublons.

list_org = [{'a': 123}, {'b': 123}, {'a': 123}]
list_org_updated = [ str(item) for item in list_org]
print(list_org_updated)
["{'a': 123}", "{'b': 123}", "{'a': 123}"]
unique_set = set(list_org_updated)
print(unique_set)
{"{'b': 123}", "{'a': 123}"}

Vous pouvez utiliser l'ensemble, mais si vous voulez une liste, ajoutez ce qui suit :

import ast
unique_list = [ast.literal_eval(item) for item in unique_set]
print(unique_list)
[{'b': 123}, {'a': 123}]