Utilisation de pandas .append dans la boucle for

Je suis ajoutant des lignes à un pandas DataFrame à l'intérieur d'une boucle for, mais à la fin le dataframe est toujours vide. Je ne veux pas d'ajouter des lignes à un tableau et ensuite appeler le DataFrame constructeur, parce que ma boucle for poignées de beaucoup de données. J'ai aussi essayé pd.concat sans succès. Quelqu'un pourrait-il mettre en évidence ce que je suis en manque pour faire de l'ajouter déclaration de travaux? Voici un mannequin exemple:

import pandas as pd
import numpy as np

data = pd.DataFrame([])

for i in np.arange(0, 4):
    if i % 2 == 0:
        data.append(pd.DataFrame({'A': i, 'B': i + 1}, index=[0]), ignore_index=True)
    else:
        data.append(pd.DataFrame({'A': i}, index=[0]), ignore_index=True)

print data.head()

Empty DataFrame
Columns: []
Index: []
[Finished in 0.676s]

source d'informationauteur chizze

  1. 8

    Vous devez définir la variable data égale à la annexé bloc de données. Contrairement à la append méthode sur une liste python les pandas append ne se fait pas en place

    import pandas as pd
import numpy as np

data = pd.DataFrame([])

for i in np.arange(0, 4):
    if i % 2 == 0:
        data = data.append(pd.DataFrame({'A': i, 'B': i + 1}, index=[0]), ignore_index=True)
    else:
        data = data.append(pd.DataFrame({'A': i}, index=[0]), ignore_index=True)

print(data.head())

   A    B
0  0  1.0
1  2  3.0
2  3  NaN
  2. 13

    Chaque fois que vous appelez ajouter, les Pandas renvoie une copie de l'original dataframe et de votre nouvelle ligne. Ceci est appelé quadratique copie, et c'est un O(N^2) opération qui va rapidement devenir très lent (surtout depuis que vous avez beaucoup de données).

    Dans votre cas, je vous conseille d'utiliser des listes, en ajoutant à eux, et puis l'appel de la dataframe constructeur.

    a_list = []
b_list = []
for data in my_data:
    a, b = process_data(data)
    a_list.append(a)
    b_list.append(b)
df = pd.DataFrame({'A': a_list, 'B': b_list})
del a_list, b_list

    Timings

    %%timeit
data = pd.DataFrame([])
for i in np.arange(0, 10000):
    if i % 2 == 0:
        data = data.append(pd.DataFrame({'A': i, 'B': i + 1}, index=[0]), ignore_index=True)
else:
    data = data.append(pd.DataFrame({'A': i}, index=[0]), ignore_index=True)
1 loops, best of 3: 6.8 s per loop

%%timeit
a_list = []
b_list = []
for i in np.arange(0, 10000):
    if i % 2 == 0:
        a_list.append(i)
        b_list.append(i + 1)
    else:
        a_list.append(i)
        b_list.append(None)
data = pd.DataFrame({'A': a_list, 'B': b_list})
100 loops, best of 3: 8.54 ms per loop
  3. 2

    Vous pouvez construire votre dataframe sans boucle:

    n = 4
data = pd.DataFrame({'A': np.arange(n)})
data['B'] = np.NaN
data.loc[data['A'] % 2 == 0, 'B'] = data['A'] + 1

    Pour:

    n = 10000

    C'est un peu plus rapide:

    %%timeit
data = pd.DataFrame({'A': np.arange(n)})
data['B'] = np.NaN
data.loc[data['A'] % 2 == 0, 'B'] = data['A'] + 1

100 loops, best of 3: 3.3 ms per loop

    vs

    %%timeit
a_list = []
b_list = []
for i in np.arange(n):
    if i % 2 == 0:
        a_list.append(i)
        b_list.append(i + 1)
    else:
        a_list.append(i)
        b_list.append(None)
data1 = pd.DataFrame({'A': a_list, 'B': b_list})

100 loops, best of 3: 12.4 ms per loop