En ajoutant les pandas dataframes généré dans une boucle for

Je suis accédant à une série de fichiers Excel dans une boucle for. Je puis lire les données dans le fichier excel à une pandas dataframe. Je ne peux pas comprendre comment ajouter ces dataframes ensemble pour ensuite enregistrer le dataframe (maintenant contenant les données à partir de tous les fichiers) comme un nouveau fichier Excel.

Voici ce que j'ai essayé:

for infile in glob.glob("*.xlsx"):
    data = pandas.read_excel(infile)
    appended_data = pandas.DataFrame.append(data) # requires at least two arguments
appended_data.to_excel("appended.xlsx")

Merci!

InformationsquelleAutor El Confuso | 2015-02-23
  1. 95

    Utilisation mp.concat de fusionner une liste de DataFrame dans un grand DataFrame.

    appended_data = []
for infile in glob.glob("*.xlsx"):
    data = pandas.read_excel(infile)
    # store DataFrame in list
    appended_data.append(data)
# see pd.concat documentation for more info
appended_data = pd.concat(appended_data)
# write DataFrame to an excel sheet 
appended_data.to_excel('appended.xlsx')
    • Fantastique, merci. Savez-vous si il existe un moyen facile d'ajouter un identificateur à chaque DataFrame pour le dernier fichier excel? Le but serait d'être en mesure de suivre le fichier dont les données sont venus.
    • Ajouter une nouvelle colonne avec le nom de fichier lorsque vous lisez les données. Pourrait être quelque chose d'aussi simple que de data['filename'］ = infile.
    • Super! Merci un tas. Si quelqu'un dans le futur veut essayer cela il suffit de remplacer le ] avec un non-exposant un 🙂
    • De ce fait le travail, mais vous obtenez un fichier excel où les lignes ne sont pas annexés au-dessous de ceux existants; plutôt, la nouvelle dataframe est collé juste à côté de l'existant.
    • supprimer la axis=1 du code de lier la dfs ci-dessous les uns des autres. 🙂
    • Sauf indication contraire, je pense que "ajouter" signifie que par les lignes, pas de colonnes, et de recommander la suppression axis=1 de cette réponse.

    InformationsquelleAutor biobirdman
  2. 24

    vous pouvez essayer cette.

    data_you_need=pd.DataFrame()
for infile in glob.glob("*.xlsx"):
    data = pandas.read_excel(infile)
    data_you_need=data_you_need.append(data,ignore_index=True)

    J'espère que cela peut aider.

    • Il est O(N^2) notation, voir http://stackoverflow.com/questions/37009287/using-pandas-append-within-for-loop
    • Merci ,mec, c'est très utile
    • Salut @Ilya - en supposant que vous faites référence à alexandre du poste dans le lien - le ralentissement des performances référencé est la raison de l'utilisation de DataFrame.append opération au lieu de list.append opération - non pas à cause de la DataFrame.append opération au lieu d'un DataFrame.concat opération.
    • Je ne suis pas sûr de la façon python gère la mémoire, mais je m'attends à ce que l'opération d'ajout permettrait d'utilisation inférieure ou égale quantité de mémoire (parce que l'information non pertinente est le garbage collector), et la méthode concat opération utilise probablement ajouter "sous le capot" de pointe à un peu, éventuellement, aucune amélioration de la performance (et, éventuellement, une moins bonne performance compte tenu de la plus grande des exigences de la mémoire).
    • j'ai essayé cela, mais mon data_you_need est vide. ne sais pas ce qui a cloché
    InformationsquelleAutor ye jiawei