Comment puis-je lire des fichiers texte volumineux en Python, ligne par ligne, sans les charger en mémoire ?

Question

J'ai besoin de lire un gros fichier, ligne par ligne. Disons que ce fichier a plus de 5 Go et que j'ai besoin de lire chaque ligne, mais je ne veux évidemment pas utiliser la fonction readlines() car cela va créer une très grande liste dans la mémoire.

Comment le code ci-dessous fonctionnera-t-il dans ce cas ? Est-ce que xreadlines lui-même en lisant un par un dans la mémoire ? L'expression du générateur est-elle nécessaire ?

f = (line for line in open("log.txt").xreadlines())  # how much is loaded in memory?

f.next()  

De plus, que puis-je faire pour lire ceci dans l'ordre inverse, comme le Linux tail commande ?

J'ai trouvé :

http://code.google.com/p/pytailer/

y

" python head, tail et backward lire par lignes d'un fichier texte "

Les deux ont très bien fonctionné !

Answer 1

J'ai fourni cette réponse car celle de Keith, bien que succincte, ne clôt pas le dossier. explicitement

with open("log.txt") as infile:
    for line in infile:
        do_something_with(line)

Answer 2

Il suffit d'utiliser l'objet fichier comme un itérateur.

for line in open("log.txt"):
    do_something_with(line)

L'utilisation du gestionnaire de contexte dans les versions récentes de Python est encore meilleure.

with open("log.txt") as fileobject:
    for line in fileobject:
        do_something_with(line)

Cela fermera aussi automatiquement le fichier.

Answer 3

Il est préférable d'utiliser un itérateur à la place. Pertinent : http://docs.python.org/library/fileinput.html

Dans la documentation :

import fileinput
for line in fileinput.input("filename"):
    process(line)

Cela évitera de copier tout le fichier en mémoire en une seule fois.

Answer 4

Essayez ceci, s'il vous plaît :

with open('filename','r',buffering=100000) as f:
    for line in f:
        print line

Answer 5

Une approche de la vieille école :

fh = open(file_name, 'rt')
line = fh.readline()
while line:
    # do stuff with line
    line = fh.readline()
fh.close()