Rendement dans une fonction récursive

Question

Je essaie de faire quelque chose à tous les fichiers sous un chemin donné. Je ne veux pas collecter tous les noms de fichiers au préalable puis faire quelque chose avec eux, donc j'ai essayé ceci :

import os
import stat

def explore(p):
  s = ''
  list = os.listdir(p)
  for a in list:
    path = p + '/' + a
    stat_info = os.lstat(path )
    if stat.S_ISDIR(stat_info.st_mode):
     explore(path)
    else:
      yield path

if __name__ == "__main__":
  for x in explore('.'):
    print '-->', x

Mais ce code saute les répertoires lorsqu'il les atteint, au lieu de donner leur contenu. Qu'est-ce que je fais de faux ?

Answer 1

Les itérateurs ne fonctionnent pas de manière récursive comme ça. Vous devez réinitialiser chaque résultat en remplaçant

explore(chemin)

par quelque chose comme

for valeur in explore(chemin):
    yield valeur

Python 3.3 a ajouté la syntaxe yield from X, comme proposé dans PEP 380, pour servir à cette fin. Avec cela, vous pouvez faire ceci à la place :

yield from explore(chemin)

Si vous utilisez des générateurs comme des coroutines, cette syntaxe prend également en charge l'utilisation de generator.send() pour renvoyer des valeurs aux générateurs invoqués de manière récursive. La simple boucle for ci-dessus ne le ferait pas.

Answer 2

Le problème est cette ligne de code :

explore(chemin)

Que fait-il ?

• appelle explore avec le nouveau chemin
• explore s'exécute, créant un générateur
• le générateur est renvoyé à l'endroit où explore(chemin) a été exécuté . . .
• et est jeté

Pourquoi est-il jeté ? Il n'a été affecté à rien, il n'a pas été itéré - il a été complètement ignoré.

Si vous voulez faire quelque chose avec les résultats, eh bien, vous devez faire quelque chose avec eux ! ;)

La manière la plus simple de corriger votre code est :

for nom in explore(chemin):
    yield nom

Lorsque vous êtes sûr de comprendre ce qui se passe, vous voudrez probablement utiliser os.walk() à la place.

Une fois que vous aurez migré vers Python 3.3 (en supposant que tout se passe comme prévu), vous pourrez utiliser la nouvelle syntaxe yield from et la manière la plus simple de corriger votre code à ce moment-là sera :

yield from explore(chemin)

Answer 3

Utilisez os.walk au lieu de réinventer la roue.

En particulier, en suivant les exemples de la documentation de la bibliothèque, voici une tentative non testée :

import os
from os.path import join

def hellothere(somepath):
    for root, dirs, files in os.walk(somepath):
        for curfile in files:
            yield join(root, curfile)

# appeler et obtenir la liste complète des résultats :
allfiles = [ x for x in hellothere("...") ]

# itérer paresseusement sur les résultats :
for x in hellothere("..."):
    print x

Answer 4

Change this:

explore(path)

To this:

for subpath in explore(path):
    yield subpath

Or use os.walk, as phooji suggested (which is the better option).

Answer 5

Essayez ceci :

if stat.S_ISDIR(stat_info.st_mode):
    for p in explore(path):
        yield p