En tant qu'utilisateur de longue date de SAS, j'envisage de passer à python et à pandas.
Cependant, lors de l'exécution de certains tests aujourd'hui, j'ai été surpris de constater que python manquait de mémoire lorsqu'il essayait de pandas.read_csv() un fichier csv de 128mb. Il comportait environ 200 000 lignes et 200 colonnes de données essentiellement numériques.
Avec SAS, je peux importer un fichier csv dans un ensemble de données SAS et celui-ci peut être aussi grand que mon disque dur.
Y a-t-il quelque chose d'analogue dans pandas ?
Je travaille régulièrement avec des fichiers volumineux et je n'ai pas accès à un réseau informatique distribué.
0 votes
Je ne suis pas familier avec pandas, mais vous pourriez envisager d'itérer dans le fichier. pandas.pydata.org/pandas-docs/stable/