pandas read_csv et filtrer les colonnes avec usecols

Question

J'ai un fichier csv qui n'entre pas correctement dans le système. pandas.read_csv lorsque je filtre les colonnes avec usecols et utiliser des index multiples.

import pandas as pd
csv = r"""dummy,date,loc,x
   bar,20090101,a,1
   bar,20090102,a,3
   bar,20090103,a,5
   bar,20090101,b,1
   bar,20090102,b,3
   bar,20090103,b,5"""

f = open('foo.csv', 'w')
f.write(csv)
f.close()

df1 = pd.read_csv('foo.csv',
        header=0,
        names=["dummy", "date", "loc", "x"], 
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"])
print df1

# Ignore the dummy columns
df2 = pd.read_csv('foo.csv', 
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"], # <----------- Changed
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
print df2

Je m'attends à ce que df1 et df2 soient identiques, à l'exception de la colonne fictive manquante, mais les colonnes sont mal étiquetées. De plus, la date est analysée comme une date.

In [118]: %run test.py
               dummy  x
date       loc
2009-01-01 a     bar  1
2009-01-02 a     bar  3
2009-01-03 a     bar  5
2009-01-01 b     bar  1
2009-01-02 b     bar  3
2009-01-03 b     bar  5
              date
date loc
a    1    20090101
     3    20090102
     5    20090103
b    1    20090101
     3    20090102
     5    20090103

L'utilisation de numéros de colonnes au lieu de noms me pose le même problème. Je peux contourner le problème en supprimant la colonne fictive après l'étape read_csv, mais j'essaie de comprendre ce qui ne va pas. J'utilise pandas 0.10.1.

edit : fixed bad header use.

Answer 1

La solution réside dans la compréhension de ces deux arguments de mots-clés :

• noms n'est nécessaire que lorsqu'il n'y a pas de ligne d'en-tête dans votre fichier et que vous voulez spécifier d'autres arguments (tels que usecols ) en utilisant des noms de colonnes plutôt que des indices entiers.
• usecols est censé fournir un filtre avant de lire l'ensemble du DataFrame en mémoire ; s'il est utilisé correctement, il ne devrait jamais être nécessaire de supprimer les colonnes après la lecture.

Donc parce que vous avez une ligne d'en-tête, en passant header=0 est suffisant et en plus, passer names semble prêter à confusion pd.read_csv .

Suppression de names du deuxième appel donne la sortie désirée :

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        header=0,
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"],
        parse_dates=["date"])

Ce qui nous donne :

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

Answer 2

Ce code permet d'obtenir ce que vous voulez --- mais il est aussi bizarre et certainement bogué :

J'ai observé que cela fonctionne quand :

a) vous spécifiez le index_col par rapport au nombre de colonnes que vous utilisez réellement -- il s'agit donc de trois colonnes dans cet exemple, et non de quatre (vous laissez tomber dummy et commencer à compter à partir de là)

b) même pour parse_dates

c) pas pour usecols ;) pour des raisons évidentes

d) ici j'ai adapté le names pour refléter ce comportement

import pandas as pd
from StringIO import StringIO

csv = """dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5
"""

df = pd.read_csv(StringIO(csv),
        index_col=[0,1],
        usecols=[1,2,3], 
        parse_dates=[0],
        header=0,
        names=["date", "loc", "", "x"])

print df

qui imprime

                x
date       loc   
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

Answer 3

Si votre fichier csv contient des données supplémentaires, les colonnes peuvent être supprimé du DataFrame après l'importation.

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
del df['dummy']

Ce qui nous donne :

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

Answer 4

Il suffit d'ajouter le index_col=False paramètre

df1 = pd.read_csv('foo.csv',
     header=0,
     index_col=False,
     names=["dummy", "date", "loc", "x"], 
     usecols=["dummy", "date", "loc", "x"],
     parse_dates=["date"])
  print df1