création de trame de données pandas à partir de plusieurs fichiers

Je suis en train de créer une pandas DataFrame et il fonctionne très bien pour un seul fichier. Si j'ai besoin de construire pour plusieurs fichiers qui ont la même structure de données. Ainsi, au lieu de nom de fichier unique, j'ai une liste de noms de fichiers à partir de laquelle je voudrais créer le DataFrame.

Pas sûr de ce qui est la façon d'ajouter à l'actuel DataFrame dans les pandas ou est-il un moyen pour les pandas à sucer une liste de fichiers dans un DataFrame.

source d'informationauteur Abhi | 2012-05-11

  1. 21

    Les pandas concat commande est votre ami ici. Disons que vous avez tous les fichiers dans un répertoire, targetdir. Vous pouvez:

    1. faire une liste des fichiers
    2. charger les pandas dataframes
    3. et de les enchaîner ensemble

    `

    import os
import pandas as pd

#list the files
filelist = os.listdir(targetdir) 
#read them into pandas
df_list = [pd.read_table(file) for file in filelist]
#concatenate them together
big_df = pd.concat(df_list)
  2. 3

    Potentiellement horriblement inefficace, mais...

    Pourquoi ne pas utiliser read_csvpour la construction de deux (ou plus) dataframes, puis utilisez la commande joindre à mettre ensemble?

    Cela dit, il serait plus facile de répondre à votre question, si vous fournir certaines données ou une partie du code que vous avez utilisé jusqu'à présent.

  3. 1

    Je pourrais essayer de concaténer les fichiers avant de nourrir les pandas. Si vous êtes sous Linux ou Mac, vous pouvez utiliser catsinon un très simple fonction Python pourrait faire le travail pour vous.

  4. 0

    Sont ces fichiers dans un format csv. Vous pouvez utiliser le read_csv.
    http://pandas.sourceforge.net/io.html

    Une fois que vous avez lu les fichiers et de les enregistrer dans deux dataframes, vous pouvez fusionner les deux dataframes ou ajouter des colonnes supplémentaires à l'un des deux dataframes( en supposant que les courants d'index). Les Pandas devraient être en mesure de remplir les lignes manquantes.