Comment lire toutes les lignes d'une table énorme?

Question

J'ai un problème avec le traitement de toutes les lignes de la base de données (PostgreSQL). J'obtiens une erreur : org.postgresql.util.PSQLException: Ran out of memory retrieving query results. Je pense que je dois lire toutes les lignes en petits morceaux, mais cela ne fonctionne pas - il ne lit que 100 lignes (code ci-dessous). Comment faire ça?

     int i = 0;      
    Statement s = connection.createStatement();
    s.setMaxRows(100); // bacause of: org.postgresql.util.PSQLException: Ran out of memory retrieving query results.
    ResultSet rs = s.executeQuery("select * from " + tabName);      
    for (;;) {
        while (rs.next()) {
            i++;
            // do something...
        }
        if ((s.getMoreResults() == false) && (s.getUpdateCount() == -1)) {
            break;
        }           
    }

Answer 1

Utilisez un CURSEUR dans PostgreSQL ou laissez le pilote JDBC gérer cela pour vous .

LIMIT et OFFSET seront lents lors de la gestion de grands ensembles de données.

Answer 2

Je l'ai fait comme ci-dessous. Pas la meilleure façon je pense, mais ça marche :)

     Connection c = DriverManager.getConnection("jdbc:postgresql://....");
    PreparedStatement s = c.prepareStatement("select * from " + tabName + " where id > ? order by id");
    s.setMaxRows(100);
    int lastId = 0;
    for (;;) {
        s.setInt(1, lastId);
        ResultSet rs = s.executeQuery();

        int lastIdBefore = lastId;
        while (rs.next()) {
            lastId = Integer.parseInt(rs.getObject(1).toString());
            // ...
        }

        if (lastIdBefore == lastId) {
            break;
        }
    }