Comment puis-je lire un grand fichier texte ligne par ligne en utilisant Java ?

Question

Je dois lire un gros fichier texte d'environ 5-6 Go ligne par ligne en utilisant Java.

Comment puis-je faire cela rapidement?

Answer 1

Un motif commun est d'utiliser

try (BufferedReader br = new BufferedReader(new FileReader(file))) {
    String line;
    while ((line = br.readLine()) != null) {
       // process the line.
    }
}

Vous pouvez lire les données plus rapidement si vous supposez qu'il n'y a pas de codage de caractères. par exemple ASCII-7 mais cela ne fera pas beaucoup de différence. Il est très probable que ce que vous faites avec les données prendra beaucoup plus de temps.

MODIFICATION : Un motif moins courant à utiliser qui évite la fuite de portée de line.

try(BufferedReader br = new BufferedReader(new FileReader(file))) {
    for(String line; (line = br.readLine()) != null; ) {
        // process the line.
    }
    // line n'est pas visible ici.
}

---

MISE À JOUR : En Java 8, vous pouvez faire

try (Stream stream = Files.lines(Paths.get(fileName))) {
        stream.forEach(System.out::println);
}

REMARQUE : Vous devez placer le Stream dans un bloc try-with-resource pour garantir que la méthode #close est appelée dessus, sinon la poignée de fichier sous-jacente ne sera jamais fermée jusqu'à ce que GC le fasse beaucoup plus tard.

Answer 2

Regardez ce blog :

• Lire un fichier ligne par ligne en Java - Tutoriel Java

La taille du tampon peut être spécifiée, ou la taille par défaut peut être utilisée. Par défaut, elle est suffisamment grande pour la plupart des besoins.

// Ouvrir le fichier
FileInputStream fstream = new FileInputStream("textfile.txt");

// Obtenez l'objet DataInputStream
DataInputStream in = new DataInputStream(fstream);
BufferedReader br = new BufferedReader(new InputStreamReader(in));

String strLine;

// Lire le fichier ligne par ligne
while ((strLine = br.readLine()) != null)   {
  // Afficher le contenu sur la console
  System.out.println (strLine);
}

// Fermer le flux d'entrée
in.close();

Answer 3

Une fois que Java 8 est sorti (mars 2014), vous pourrez utiliser des flux :

try (Stream lines = Files.lines(Paths.get(filename), Charset.defaultCharset())) {
  lines.forEachOrdered(line -> process(line));
}

Imprimer toutes les lignes dans le fichier :

try (Stream lines = Files.lines(file, Charset.defaultCharset())) {
  lines.forEachOrdered(System.out::println);
}

Answer 4

Voici un exemple avec une gestion d'erreur complète et la spécification de jeu de caractères pour les versions antérieures à Java 7. Avec Java 7, vous pouvez utiliser la syntaxe try-with-resources, ce qui rend le code plus propre.

Si vous voulez juste utiliser le jeu de caractères par défaut, vous pouvez sauter l'entrée InputStream et utiliser FileReader.

InputStream ins = null; // raw byte-stream
Reader r = null; // cooked reader
BufferedReader br = null; // tamponné pour readLine()
try {
    String s;
    if (true) {
        String data = "#foobar\t1234\n#xyz\t5678\none\ttwo\n";
        ins = new ByteArrayInputStream(data.getBytes());
    } else {
        ins = new FileInputStream("textfile.txt");
    }
    r = new InputStreamReader(ins, "UTF-8"); // laisser le jeu de caractères par défaut
    br = new BufferedReader(r);
    while ((s = br.readLine()) != null) {
        System.out.println(s);
    }
}
catch (Exception e)
{
    System.err.println(e.getMessage()); // gérer l'exception
}
finally {
    if (br != null) { try { br.close(); } catch(Throwable t) { /* assurer la fermeture */ } }
    if (r != null) { try { r.close(); } catch(Throwable t) { /* assurer la fermeture */ } }
    if (ins != null) { try { ins.close(); } catch(Throwable t) { /* assurer la fermeture */ } }
}

Voici la version Groovy, avec une gestion d'erreur complète :

File f = new File("textfile.txt");
f.withReader("UTF-8") { br ->
    br.eachLine { line ->
        println line;
    }
}

Answer 5

Utilisez le BufferedReader, il lit, met dans un tampon (évidemment :-) ), puis jette le tampon:

BufferedReader in = new BufferedReader(new FileReader(file));

while (in.ready()) {
  String s = in.readLine();
}
in.close();