Grand DataFrame persistant dans pandas

Question

En tant qu'utilisateur de longue date de SAS, j'envisage de passer à python et à pandas.

Cependant, lors de l'exécution de certains tests aujourd'hui, j'ai été surpris de constater que python manquait de mémoire lorsqu'il essayait de pandas.read_csv() un fichier csv de 128mb. Il comportait environ 200 000 lignes et 200 colonnes de données essentiellement numériques.

Avec SAS, je peux importer un fichier csv dans un ensemble de données SAS et celui-ci peut être aussi grand que mon disque dur.

Y a-t-il quelque chose d'analogue dans pandas ?

Je travaille régulièrement avec des fichiers volumineux et je n'ai pas accès à un réseau informatique distribué.

Answer 1

Wes a bien sûr raison ! J'interviens simplement pour fournir un exemple de code un peu plus complet. J'ai eu le même problème avec un fichier de 129 Mo, qui a été résolu par :

import pandas as pd

tp = pd.read_csv('large_dataset.csv', iterator=True, chunksize=1000)  # gives TextFileReader, which is iterable with chunks of 1000 rows.
df = pd.concat(tp, ignore_index=True)  # df is DataFrame. If errors, do `list(tp)` instead of `tp`

Answer 2

En principe, il ne devrait pas manquer de mémoire, mais il y a actuellement des problèmes de mémoire avec read_csv sur les gros fichiers, en raison de problèmes internes complexes de Python (c'est vague, mais c'est connu depuis longtemps) : http://github.com/pydata/pandas/issues/407 ).

Pour l'instant, il n'y a pas de solution parfaite (voici une solution fastidieuse : vous pourriez transcrire le fichier ligne par ligne dans un tableau NumPy préalloué ou un fichier mappé en mémoire ). np.mmap ), mais c'est un sujet sur lequel je vais travailler dans un avenir proche. Une autre solution consiste à lire le fichier en plus petits morceaux (utiliser la fonction iterator=True, chunksize=1000 ) puis concaténer ensuite avec pd.concat . Le problème se pose lorsque l'on met en mémoire l'ensemble du fichier texte en une seule fois.

Answer 3

Il s'agit d'un ancien fil de discussion, mais je voulais simplement déposer ma solution de contournement ici. J'ai d'abord essayé le chunksize (même avec des valeurs assez petites comme 10000), mais cela n'a pas aidé beaucoup ; j'avais encore des problèmes techniques avec la taille de la mémoire (mon CSV était ~ 7.5 Gb).

Pour l'instant, je lis simplement des morceaux de fichiers CSV dans une approche for-loop et je les ajoute, par exemple, à une base de données SQLite, étape par étape :

import pandas as pd
import sqlite3
from pandas.io import sql
import subprocess

# In and output file paths
in_csv = '../data/my_large.csv'
out_sqlite = '../data/my.sqlite'

table_name = 'my_table' # name for the SQLite database table
chunksize = 100000 # number of lines to process at each iteration

# columns that should be read from the CSV file
columns = ['molecule_id','charge','db','drugsnow','hba','hbd','loc','nrb','smiles']

# Get number of lines in the CSV file
nlines = subprocess.check_output('wc -l %s' % in_csv, shell=True)
nlines = int(nlines.split()[0]) 

# connect to database
cnx = sqlite3.connect(out_sqlite)

# Iteratively read CSV and dump lines into the SQLite table
for i in range(0, nlines, chunksize):

    df = pd.read_csv(in_csv,  
            header=None,  # no header, define column header manually later
            nrows=chunksize, # number of rows to read at each iteration
            skiprows=i)   # skip rows that were already read

    # columns to read        
    df.columns = columns

    sql.to_sql(df, 
                name=table_name, 
                con=cnx, 
                index=False, # don't use CSV file index
                index_label='molecule_id', # use a unique column from DataFrame as index
                if_exists='append') 
cnx.close()

Answer 4

Voici mon processus de travail.

import sqlalchemy as sa
import pandas as pd
import psycopg2

count = 0
con = sa.create_engine('postgresql://postgres:pwd@localhost:00001/r')
#con = sa.create_engine('sqlite:///XXXXX.db') SQLite
chunks = pd.read_csv('..file', chunksize=10000, encoding="ISO-8859-1",
                     sep=',', error_bad_lines=False, index_col=False, dtype='unicode')

En fonction de la taille de votre fichier, il est préférable d'optimiser la taille des morceaux.

 for chunk in chunks:
        chunk.to_sql(name='Table', if_exists='append', con=con)
        count += 1
        print(count)

Une fois que toutes les données sont dans la base, vous pouvez interroger celles dont vous avez besoin dans la base.

Answer 5

Si vous voulez charger d'énormes fichiers csv, dask pourrait être une bonne option. Il imite l'API de pandas, ce qui le rend très similaire à pandas.

lien vers dask sur github