node.js : lire un fichier texte dans un tableau. (Chaque ligne est un élément du tableau).

Question

Je voudrais lire un très, très gros fichier dans un tableau JavaScript dans node.js.

Donc, si le fichier est comme ceci :

first line
two 
three
...
...

J'aurais le tableau :

['first line','two','three', ... , ... ] 

La fonction ressemblerait à ceci :

var array = load(filename); 

Par conséquent, l'idée de tout charger sous forme de chaîne et de la diviser ensuite n'est pas acceptable.

Answer 1

Synchrone :

var fs = require('fs');
var array = fs.readFileSync('file.txt').toString().split("\n");
for(i in array) {
    console.log(array[i]);
}

Asynchrone :

var fs = require('fs');
fs.readFile('file.txt', function(err, data) {
    if(err) throw err;
    var array = data.toString().split("\n");
    for(i in array) {
        console.log(array[i]);
    }
});

Answer 2

Si vous pouvez faire tenir les données finales dans un tableau, ne pourriez-vous pas également les faire tenir dans une chaîne de caractères et les diviser, comme cela a été suggéré ? Dans tous les cas, si vous souhaitez traiter le fichier une ligne à la fois, vous pouvez également essayer quelque chose comme ceci :

var fs = require('fs');

function readLines(input, func) {
  var remaining = '';

  input.on('data', function(data) {
    remaining += data;
    var index = remaining.indexOf('\n');
    while (index > -1) {
      var line = remaining.substring(0, index);
      remaining = remaining.substring(index + 1);
      func(line);
      index = remaining.indexOf('\n');
    }
  });

  input.on('end', function() {
    if (remaining.length > 0) {
      func(remaining);
    }
  });
}

function func(data) {
  console.log('Line: ' + data);
}

var input = fs.createReadStream('lines.txt');
readLines(input, func);

EDIT : (en réponse au commentaire de phopkins ) Je pense (au moins dans les versions plus récentes) que substring ne copie pas les données mais crée un objet spécial SlicedString (d'après un rapide coup d'oeil au code source de la v8). Dans tous les cas, voici une modification qui permet d'éviter le substring mentionné (testé sur un fichier de plusieurs mégaoctets de "All work and no play makes Jack a dull boy") :

function readLines(input, func) {
  var remaining = '';

  input.on('data', function(data) {
    remaining += data;
    var index = remaining.indexOf('\n');
    var last  = 0;
    while (index > -1) {
      var line = remaining.substring(last, index);
      last = index + 1;
      func(line);
      index = remaining.indexOf('\n', last);
    }

    remaining = remaining.substring(last);
  });

  input.on('end', function() {
    if (remaining.length > 0) {
      func(remaining);
    }
  });
}

Answer 3

Utilisation de Node.js module de lecture en ligne .

var fs = require('fs');
var readline = require('readline');

var filename = process.argv[2];
readline.createInterface({
    input: fs.createReadStream(filename),
    terminal: false
}).on('line', function(line) {
   console.log('Line: ' + line);
});

Answer 4

Avec un BufferedReader mais la fonction doit être asynchrone :

var load = function (file, cb){
    var lines = [];
    new BufferedReader (file, { encoding: "utf8" })
        .on ("error", function (error){
            cb (error, null);
        })
        .on ("line", function (line){
            lines.push (line);
        })
        .on ("end", function (){
            cb (null, lines);
        })
        .read ();
};

load ("file", function (error, lines){
    if (error) return console.log (error);
    console.log (lines);
});

Answer 5

Il s'agit d'une variante de la réponse donnée ci-dessus par @mtomis.

Il crée un flux de lignes. Elle émet des événements 'data' et 'end', vous permettant de gérer la fin du flux.

var events = require('events');

var LineStream = function (input) {
    var remaining = '';

    input.on('data', function (data) {
        remaining += data;
        var index = remaining.indexOf('\n');
        var last = 0;
        while (index > -1) {
            var line = remaining.substring(last, index);
            last = index + 1;
            this.emit('data', line);
            index = remaining.indexOf('\n', last);
        }
        remaining = remaining.substring(last);
    }.bind(this));

    input.on('end', function() {
        if (remaining.length > 0) {
            this.emit('data', remaining);
        }
        this.emit('end');
    }.bind(this));
}

LineStream.prototype = new events.EventEmitter;

Utilisez-le comme un emballage :

var lineInput = new LineStream(input);

lineInput.on('data', function (line) {
    // handle line
});

lineInput.on('end', function() {
    // wrap it up
});