ligne de jeu de données efficace pandas

Première j'ai le vide suivant DataFrame préaffectés:

df=DataFrame(columns=range(10000),index=range(1000))

Puis je veux mettre à jour le df ligne par ligne (efficacement) avec une longueur de 10000 tableau numpy comme des données. Mon problème est: je n'ai même pas une idée de ce que la méthode de DataFrame je devrais utiliser pour accomplir cette tâche.

Merci!

source d'informationauteur wdg | 2013-09-12

  1. 21

    Voici 3 méthodes, à seulement 100 colonnes, 1000 lignes

    In [5]: row = np.random.randn(100)

    Ligne sage affectation

    In [6]: def method1():
   ...:     df = DataFrame(columns=range(100),index=range(1000))
   ...:     for i in xrange(len(df)):
   ...:         df.iloc[i] = row
   ...:     return df
   ...:

    Construire les tableaux dans une liste, créer un cadre tout à la fois

    In [9]: def method2():
   ...:     return DataFrame([ row for i in range(1000) ])
   ...:

    Columnwise cession (avec transpose aux deux extrémités)

    In [13]: def method3():
   ....:     df = DataFrame(columns=range(100),index=range(1000)).T
   ....:     for i in xrange(1000):
   ....:         df[i] = row
   ....:     return df.T
   ....:

    Elles ont toutes la même image de la sortie

    In [22]: (method2() == method1()).all().all()
Out[22]: True

In [23]: (method2() == method3()).all().all()
Out[23]: True


In [8]: %timeit method1()
1 loops, best of 3: 1.76 s per loop

In [10]: %timeit method2()
1000 loops, best of 3: 7.79 ms per loop

In [14]: %timeit method3()
1 loops, best of 3: 1.33 s per loop

    Il est CLAIR que la construction d'une liste, PUIS de la création de l'image tout à la fois les ordres de grandeur plus rapide que de faire toute forme de cession. L'affectation par copie. La construction tout à la fois, seuls les exemplaires à la fois.

  2. 1
    df=DataFrame(columns=range(10),index=range(10))
a = np.array( [9,9,9,9,9,9,9,9,9,9] )

    Mise à jour de la ligne: 

    df.loc[2] = a

    À l'aide de Jeff idée... 

    df2 = DataFrame(data=np.random.randn(10,10), index=arange(10))
df2.head().T

    J'ai écrit un cahier de répondre à la question:
    https://www.wakari.io/sharing/bundle/hrojas/pandas%20efficient%20dataframe%20set%20row