Python concaténation de fichiers texte

Question

J'ai une liste de 20 noms de fichiers, par exemple ['file1.txt', 'file2.txt', ...] . Je veux écrire un script Python pour concaténer ces fichiers dans un nouveau fichier. Je pourrais ouvrir chaque fichier par f = open(...) lu ligne par ligne en appelant f.readline() et écrire chaque ligne dans ce nouveau fichier. Cela ne me semble pas très "élégant", surtout la partie où je dois lire/écrire ligne par ligne.

Existe-t-il un moyen plus "élégant" de faire cela en Python ?

Answer 1

Cela devrait le faire

Pour les fichiers volumineux :

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            for line in infile:
                outfile.write(line)

Pour les petits fichiers :

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            outfile.write(infile.read())

et un autre intéressant auquel j'ai pensé :

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for line in itertools.chain.from_iterable(itertools.imap(open, filnames)):
        outfile.write(line)

Malheureusement, cette dernière méthode laisse quelques descripteurs de fichiers ouverts, dont le GC devrait s'occuper de toute façon. Je pensais juste que c'était intéressant

Answer 2

C'est exactement ce que entrée du fichier est pour :

import fileinput
with open(outfilename, 'w') as fout, fileinput.input(filenames) as fin:
    for line in fin:
        fout.write(line)

Pour ce cas d'utilisation, ce n'est pas vraiment plus simple que d'itérer sur les fichiers manuellement, mais dans d'autres cas, avoir un seul itérateur qui itère sur tous les fichiers comme s'ils étaient un seul fichier est très pratique. (De plus, le fait que fileinput ferme chaque fichier dès qu'il est terminé, ce qui signifie qu'il n'y a pas besoin de with ou close chacun, mais ce n'est qu'une économie d'une ligne, ce n'est pas si grave).

Il existe d'autres fonctionnalités intéressantes dans fileinput comme la possibilité de modifier des fichiers sur place en filtrant simplement chaque ligne.

---

Comme indiqué dans les commentaires, et discuté dans une autre poste , fileinput pour Python 2.7 ne fonctionnera pas comme indiqué. Voici une légère modification pour rendre le code conforme à Python 2.7

with open('outfilename', 'w') as fout:
    fin = fileinput.input(filenames)
    for line in fin:
        fout.write(line)
    fin.close()

Answer 3

Je ne sais pas pour l'élégance, mais ça marche :

    import glob
    import os
    for f in glob.glob("file*.txt"):
         os.system("cat "+f+" >> OutFile.txt")

Answer 4

Quel est le problème avec les commandes UNIX ? (étant donné que vous ne travaillez pas sous Windows) :

ls | xargs cat | tee output.txt fait le travail ( vous pouvez l'appeler depuis python avec subprocess si vous le souhaitez)

Answer 5

Vérifiez la méthode .read() de l'objet File :

http://docs.python.org/2/tutorial/inputoutput.html#methods-of-file-objects

Vous pourriez faire quelque chose comme :

concat = ""
for file in files:
    concat += open(file).read()

ou une méthode plus "élégante" en python :

concat = ''.join([open(f).read() for f in files])

qui, selon cet article : http://www.skymind.com/~ocrow/python_string/ serait également le plus rapide.