Compter le nombre de lignes d'un fichier sans lire tout le fichier en mémoire ?

Question

Je traite d'énormes fichiers de données (des millions de lignes chacun).

Avant de commencer le traitement, j'aimerais obtenir un compte du nombre de lignes dans le fichier, afin de pouvoir ensuite indiquer où en est le traitement.

En raison de la taille des fichiers, il ne serait pas pratique de lire le fichier entier en mémoire, juste pour compter le nombre de lignes. Quelqu'un a-t-il une idée de la façon de procéder ?

Answer 1

Lire le fichier une ligne à la fois :

count = File.foreach(filename).inject(0) {|c, line| c+1}

ou le Perl-ish

File.foreach(filename) {}
count = $.

ou

count = 0
File.open(filename) {|f| count = f.read.count("\n")}

sera plus lent que

count = %x{wc -l #{filename}}.split.first.to_i

Answer 2

Si vous êtes dans un environnement Unix, vous pouvez simplement laisser wc -l faire le travail.

Il ne chargera pas l'intégralité du fichier en mémoire ; étant donné qu'il est optimisé pour le streaming de fichiers et le comptage de mots/lignes, les performances sont suffisantes pour remplacer le streaming du fichier en Ruby.

Answer 3

Quel que soit le langage que vous utilisez, vous allez devoir lire l'ensemble du fichier si les lignes sont de longueur variable. En effet, les nouvelles lignes peuvent se trouver n'importe où et il n'y a aucun moyen de le savoir sans lire le fichier (en supposant qu'il ne soit pas mis en cache, ce qui n'est généralement pas le cas).

Si vous voulez indiquer des progrès, vous avez deux options réalistes. Vous pouvez extrapoler la progression en fonction de la longueur présumée de la ligne :

assumed lines in file = size of file / assumed line size
progress = lines processed / assumed lines in file * 100%

puisque vous connaissez la taille du fichier. Alternativement, vous pouvez mesurer la progression comme :

progress = bytes processed / size of file * 100%

Cela devrait être suffisant.

Answer 4

en utilisant Ruby :

file=File.open("path-to-file","r")
file.readlines.size

39 millisecondes plus rapide que wc -l sur un fichier de 325.477 lignes

Answer 5

Pour des raisons que je ne comprends pas bien, la recherche de nouvelles lignes dans le fichier à l'aide de la fonction File semble être beaucoup plus rapide que de faire CSV#readlines.count .

Le benchmark suivant utilise un fichier CSV contenant 1 045 574 lignes de données et 4 colonnes :

       user     system      total        real
   0.639000   0.047000   0.686000 (  0.682000)
  17.067000   0.171000  17.238000 ( 17.221173)

Le code pour le benchmark est ci-dessous :

require 'benchmark'
require 'csv'

file = "1-25-2013 DATA.csv"

Benchmark.bm do |x|
    x.report { File.read(file).scan(/\n/).count }
    x.report { CSV.open(file, "r").readlines.count }
end

Comme vous pouvez le constater, la recherche de nouvelles lignes dans le fichier est un ordre de grandeur plus rapide.