Méthode rapide pour copier un dictionnaire en Python

Question

J'ai un programme Python qui travaille beaucoup avec des dictionnaires. Je dois faire des copies de dictionnaires des milliers de fois. J'ai besoin d'une copie à la fois des clés et du contenu associé. La copie sera éditée et ne doit pas être liée à l'original (par exemple, les modifications apportées à la copie ne doivent pas affecter l'original).

Les clés sont des chaînes de caractères, les valeurs sont des nombres entiers (0/1).

J'utilise actuellement une méthode simple :

newDict = oldDict.copy()

Le profilage de mon code montre que l'opération de copie prend le plus de temps.

Existe-t-il des alternatives plus rapides à la dict.copy() méthode ? Quelle serait la plus rapide ?

Answer 1

En regardant le C source pour le programme Python dict vous pouvez voir qu'ils effectuent une copie assez naïve (mais efficace). Cela se résume essentiellement à un appel à PyDict_Merge :

PyDict_Merge(PyObject *a, PyObject *b, int override)

Cela permet de vérifier rapidement s'il s'agit du même objet et s'il y a des objets à l'intérieur. Après cela, elle effectue un généreux redimensionnement/allocation unique du dict cible, puis copie les éléments un par un. Je ne vois pas comment vous pourriez aller beaucoup plus vite que la fonction intégrée copy() .

Answer 2

Apparemment, dict.copy est plus rapide, comme vous le dites.

[utdmr@utdmr-arch ~]$ python -m timeit -s "d={1:1, 2:2, 3:3}" "new = d.copy()"
1000000 loops, best of 3: 0.238 usec per loop
[utdmr@utdmr-arch ~]$ python -m timeit -s "d={1:1, 2:2, 3:3}" "new = dict(d)"
1000000 loops, best of 3: 0.621 usec per loop
[utdmr@utdmr-arch ~]$ python -m timeit -s "from copy import copy; d={1:1, 2:2, 3:3}" "new = copy(d)"
1000000 loops, best of 3: 1.58 usec per loop

Answer 3

Pouvez-vous fournir un exemple de code afin que je puisse voir comment vous utilisez copy() et dans quel contexte ?

Vous pourriez utiliser

new = dict(old)

Mais je ne pense pas que ce sera plus rapide.

Answer 4

Selon les choses que vous laissez à la spéculation, vous pouvez vouloir envelopper le dictionnaire original et faire une en quelque sorte la copie sur l'écriture.

La "copie" est alors un dictionnaire qui recherche des éléments dans le dictionnaire "parent", s'il ne contient pas déjà la clé --- mais qui introduit des modifications dans son propre dictionnaire.

Cela suppose que vous ne modifiez pas l'original et que les recherches supplémentaires ne coûtent pas plus cher.

Answer 5

Les mesures dépendent toutefois de la taille du dictionnaire. Pour 10000 entrées copy(d) et d.copy() sont presque les mêmes.

a = {b: b for b in range(10000)} 
In [5]: %timeit copy(a)
10000 loops, best of 3: 186 µs per loop
In [6]: %timeit deepcopy(a)
100 loops, best of 3: 14.1 ms per loop
In [7]: %timeit a.copy()
1000 loops, best of 3: 180 µs per loop