Méthode paresseux pour la lecture de gros fichiers en Python ?

Question

J’ai un très gros fichier 4Go et quand j’essaye de le lire mon ordinateur se bloque. Je tiens donc à lire morceau par morceau et après le traitement de chaque pièce stocker la pièce transformée dans un autre fichier et lire le morceau suivant.

Y a-t-il une méthode pour `` ces pièces ?

J’aimerais avoir une méthode paresseux.

Answer 1

Pour écrire une fonction paresseuse, il suffit d’utiliser `` :

---

Une autre option serait d’utiliser `` et une fonction d’assistance :

---

Si le fichier est axée sur la ligne, l’objet de fichier est déjà un générateur paresseux de lignes :

Answer 2

file.ReadLines() prend un argument de taille en option qui se rapproche le nombre de lignes à lire dans les lignes retournées.

Answer 3

Jetez un oeil à ce post sur Neopythonic: « Tri 1 million entiers de 32 bits à 2 Mo de RAM à l’aide de Python »

Answer 4

<pre><code></code><p><a href="http://stackoverflow.com/a/4566523/38592">http://StackOverflow.com/a/4566523/38592</a></p></pre>