Quelle est la manière la plus efficace de boucler dans les cadres de données avec pandas ?

Question

Je veux effectuer mes propres opérations complexes sur des données financières dans des cadres de données de manière séquentielle.

Par exemple, j'utilise le fichier CSV MSFT suivant, provenant de Yahoo Finance :

Date,Open,High,Low,Close,Volume,Adj Close
2011-10-19,27.37,27.47,27.01,27.13,42880000,27.13
2011-10-18,26.94,27.40,26.80,27.31,52487900,27.31
2011-10-17,27.11,27.42,26.85,26.98,39433400,26.98
2011-10-14,27.31,27.50,27.02,27.27,50947700,27.27

....

Je fais ensuite ce qui suit :

#!/usr/bin/env python
from pandas import *

df = read_csv('table.csv')

for i, row in enumerate(df.values):
    date = df.index[i]
    open, high, low, close, adjclose = row
    #now perform analysis on open/close based on date, etc..

Est-ce le moyen le plus efficace ? Étant donné l'accent mis sur la vitesse dans pandas, je suppose qu'il doit y avoir une fonction spéciale pour itérer à travers les valeurs de manière à récupérer également l'index (éventuellement à travers un générateur pour être efficace en mémoire) ? df.iteritems ne fait malheureusement qu'itérer colonne par colonne.

Answer 1

Les versions les plus récentes de pandas comprennent désormais une fonction intégrée permettant d'itérer sur les lignes.

for index, row in df.iterrows():

    # do some logic here

Ou, si vous voulez que ce soit plus rapide, utilisez itertuples()

Mais la suggestion d'unutbu d'utiliser les fonctions numpy pour éviter d'itérer sur les lignes produira le code le plus rapide.

Answer 2

Pandas est basé sur les tableaux NumPy. La clé de la rapidité avec les tableaux NumPy est d'effectuer vos opérations sur l'ensemble du tableau en une seule fois, jamais ligne par ligne ou élément par élément.

Par exemple, si close est un tableau de 1-d, et vous voulez le changement de pourcentage de jour en jour,

pct_change = close[1:]/close[:-1]

Ceci calcule le tableau entier des pourcentages de changement en une seule déclaration, au lieu de

pct_change = []
for row in close:
    pct_change.append(...)

Essayez donc d'éviter la boucle Python for i, row in enumerate(...) entièrement, et réfléchissez à la manière d'effectuer vos calculs avec des opérations sur l'ensemble du tableau (ou du cadre de données) dans son ensemble, plutôt que ligne par ligne.

Answer 3

Vous pouvez parcourir les lignes en boucle en transposant puis en appelant iteritems :

for date, row in df.T.iteritems():
   # do some logic here

Je ne suis pas certain de l'efficacité dans ce cas. Pour obtenir les meilleures performances possibles d'un algorithme itératif, vous pouvez envisager de l'écrire en format Cython donc vous pourriez faire quelque chose comme :

def my_algo(ndarray[object] dates, ndarray[float64_t] open,
            ndarray[float64_t] low, ndarray[float64_t] high,
            ndarray[float64_t] close, ndarray[float64_t] volume):
    cdef:
        Py_ssize_t i, n
        float64_t foo
    n = len(dates)

    for i from 0 <= i < n:
        foo = close[i] - open[i] # will be extremely fast

Je recommanderais d'écrire d'abord l'algorithme en Python pur, de s'assurer qu'il fonctionne et de voir s'il est rapide - si ce n'est pas assez rapide, convertissez les choses en Cython comme ceci avec un travail minimal pour obtenir quelque chose qui est à peu près aussi rapide que du C/C++ codé à la main.

Answer 4

J'ai vérifié iterrows après avoir constaté Nick Crawford mais j'ai découvert qu'il produit des tuples (index, série). Je ne suis pas sûr de savoir ce qui vous conviendrait le mieux, mais j'ai fini par utiliser la fonction itertuples pour mon problème, qui produit des tuples (index, row_value1...).

Il y a aussi iterkv qui itère sur les tuples (colonne, série).

Answer 5

Un petit complément, vous pouvez également faire une application si vous avez une fonction complexe que vous appliquez à une seule colonne :

http://pandas.pydata.org/pandas-docs/dev/generated/pandas.DataFrame.apply.html

df[b] = df[a].apply(lambda col: do stuff with col here)