Comment passer à une ligne particulière dans un énorme fichier texte ?

Question

Existe-t-il des alternatives au code ci-dessous :

startFromLine = 141978 # or whatever line I need to jump to

urlsfile = open(filename, "rb", 0)

linesCounter = 1

for line in urlsfile:
    if linesCounter > startFromLine:
        DoSomethingWithThisLine(line)

    linesCounter += 1

Si je traite un énorme fichier texte (~15MB) avec des lignes de longueur inconnue mais différente, et avoir besoin de sauter à une ligne particulière dont je connais le numéro à l'avance ? Je me sens mal de les traiter une par une alors que je sais que je peux ignorer au moins la première moitié du fichier. Je cherche une solution plus élégante, s'il en existe une.

Answer 1

Vous ne pouvez pas avancer sans avoir lu le fichier au moins une fois, puisque vous ne savez pas où se trouvent les sauts de ligne. Vous pourriez faire quelque chose comme :

# Read in the file once and build a list of line offsets
line_offset = []
offset = 0
for line in file:
    line_offset.append(offset)
    offset += len(line)
file.seek(0)

# Now, to skip to line n (with the first line being line 0), just do
file.seek(line_offset[n])

Answer 2

linecache :

Le site linecache permet de récupérer n'importe quelle ligne d'un fichier source Python, tout en essayant d'optimiser en interne, à l'aide d'un cache, le cas courant où de nombreuses lignes sont lues depuis un seul fichier. Ceci est utilisé par le module traceback pour récupérer les lignes de source à inclure dans la traceback formatée...

Answer 3

Vous n'avez pas vraiment beaucoup d'options si les lignes sont de longueurs différentes... vous devez simplement traiter les caractères de fin de ligne pour savoir quand vous avez progressé vers la ligne suivante.

Vous pouvez cependant accélérer considérablement cette opération ET réduire l'utilisation de la mémoire en donnant au dernier paramètre de "open" une valeur différente de 0.

0 signifie que l'opération de lecture du fichier est sans tampon, ce qui est très lent et intensif pour le disque. 1 signifie que le fichier est mis en mémoire tampon, ce qui est une amélioration. Tout ce qui est supérieur à 1 (disons 8k c'est-à-dire : 8096, ou plus) lit des morceaux du fichier en mémoire. Vous y accédez toujours par for line in open(etc): mais python ne fait qu'un petit bout à la fois, jetant chaque morceau en mémoire tampon après son traitement.

Answer 4

Je suis probablement gâté par une mémoire vive abondante, mais 15 M n'est pas énorme. Lire en mémoire avec readlines() est ce que je fais habituellement avec des fichiers de cette taille. Accéder à une ligne après cela est trivial.

Answer 5

Je suis surpris que personne n'ait mentionné Islice.

line = next(itertools.islice(Fhandle,index_of_interest,index_of_interest+1),None) # just the one line

ou si vous voulez tout le reste du fichier

rest_of_file = itertools.islice(Fhandle,index_of_interest)
for line in rest_of_file:
    print line

ou si vous voulez que toutes les autres lignes du fichier

rest_of_file = itertools.islice(Fhandle,index_of_interest,None,2)
for odd_line in rest_of_file:
    print odd_line