Lire un fichier une ligne à la fois dans node.js ?

Question

J'essaie de lire un grand fichier une ligne à la fois. J'ai trouvé une question sur Quora qui traitaient du sujet, mais il me manque des liens pour que l'ensemble soit cohérent.

 var Lazy=require("lazy");
 new Lazy(process.stdin)
     .lines
     .forEach(
          function(line) { 
              console.log(line.toString()); 
          }
 );
 process.stdin.resume();

Ce que j'aimerais comprendre, c'est comment je pourrais lire une ligne à la fois à partir d'un fichier au lieu de STDIN comme dans cet exemple.

J'ai essayé :

 fs.open('./VeryBigFile.csv', 'r', '0666', Process);

 function Process(err, fd) {
    if (err) throw err;
    // DO lazy read 
 }

mais ça ne marche pas. Je sais qu'en cas de difficulté, je pourrais me rabattre sur quelque chose comme PHP, mais j'aimerais trouver une solution.

Je ne pense pas que l'autre réponse puisse fonctionner car le fichier est beaucoup plus volumineux que ce que le serveur sur lequel je l'exécute peut contenir.

Answer 1

Pour une opération aussi simple, il ne devrait pas y avoir de dépendance vis-à-vis de modules tiers. Allez-y doucement.

var fs = require('fs'),
    readline = require('readline');

var rd = readline.createInterface({
    input: fs.createReadStream('/path/to/file'),
    output: process.stdout,
    console: false
});

rd.on('line', function(line) {
    console.log(line);
});

Answer 2

Vous n'avez pas à open le fichier, mais au lieu de cela, vous devez créer une ReadStream .

fs.createReadStream

Passez ensuite ce flux à Lazy

Answer 3

Il existe un très bon module pour lire un fichier ligne par ligne, il s'appelle lecteur de ligne

avec elle, vous écrivez tout simplement :

var lineReader = require('line-reader');

lineReader.eachLine('file.txt', function(line, last) {
  console.log(line);
  // do whatever you want with line...
  if(last){
    // or check if it's the last one
  }
});

vous pouvez même itérer le fichier avec une interface de type "java", si vous avez besoin de plus de contrôle :

lineReader.open('file.txt', function(reader) {
  if (reader.hasNextLine()) {
    reader.nextLine(function(line) {
      console.log(line);
    });
  }
});

Answer 4

Vous pouvez toujours utiliser votre propre lecteur de ligne. Je n'ai pas encore testé ce snippet, mais il divise correctement le flux entrant de morceaux en lignes sans le ' de fin de ligne'. \n '

var last = "";

process.stdin.on('data', function(chunk) {
    var lines, i;

    lines = (last+chunk).split("\n");
    for(i = 0; i < lines.length - 1; i++) {
        console.log("line: " + lines[i]);
    }
    last = lines[i];
});

process.stdin.on('end', function() {
    console.log("line: " + last);
});

process.stdin.resume();

J'ai eu cette idée en travaillant sur un script d'analyse rapide des journaux qui avait besoin d'accumuler des données pendant l'analyse des journaux et j'ai pensé que ce serait bien d'essayer de le faire en utilisant js et node au lieu d'utiliser perl ou bash.

Quoi qu'il en soit, je pense que les petits scripts nodejs devraient être autonomes et ne pas dépendre de modules tiers. Après avoir lu toutes les réponses à cette question, chacune utilisant divers modules pour gérer l'analyse syntaxique des lignes, une solution nodejs native à 13 SLOC pourrait être intéressante.

Answer 5

Avec le module de support :

var carrier = require('carrier');

process.stdin.resume();
carrier.carry(process.stdin, function(line) {
    console.log('got one line: ' + line);
});