Importation de fichier CSV comme un DataFrame pandas

Quel est le Python pour lire dans un fichier CSV dans un les pandas DataFrame (ce que je peux ensuite utiliser pour des opérations statistiques, peuvent avoir différemment de type de colonnes, etc.)?

Mon fichier CSV "value.txt" a le contenu suivant: 

Date,"price","factor_1","factor_2"
2012-06-11,1600.20,1.255,1.548
2012-06-12,1610.02,1.258,1.554
2012-06-13,1618.07,1.249,1.552
2012-06-14,1624.40,1.253,1.556
2012-06-15,1626.15,1.258,1.552
2012-06-16,1626.15,1.263,1.558
2012-06-17,1626.15,1.264,1.572

Dans R nous lire ce fichier en utilisant: 

price <- read.csv("value.txt")

et qui permettrait le retour d'une de la R de données.cadre:

> price <- read.csv("value.txt")
> price
     Date   price factor_1 factor_2
1  2012-06-11 1600.20    1.255    1.548
2  2012-06-12 1610.02    1.258    1.554
3  2012-06-13 1618.07    1.249    1.552
4  2012-06-14 1624.40    1.253    1.556
5  2012-06-15 1626.15    1.258    1.552
6  2012-06-16 1626.15    1.263    1.558
7  2012-06-17 1626.15    1.264    1.572

Est-il un Pythonic façon à obtenir la même fonctionnalité?

  • vous féliciter sur ce qui est spécial avec est dataframe et ce que l'opération statistique pouvez-vous faire avec ça?
  • dataframe est peut contenir plusieurs types de données , par exemple, chaque colonne peut être une liste , et vous pouvez traiter toutes les listes individuellement l'application de certaines fonctions sur eux , et sur le sujet des opérations statistiques , comme la moyenne , l'écart type , quartiles , ...
  • Merci! C'est en fait très utile pour moi. J'ai toujours charger un fichier csv avec le csv module qui me donne une liste de listes. De ces données.cadre des sons de meilleure!
  • voir mes modifications et le lien, lmk si que, de façon succincte, les réponses à vos questions. C'est autant que nous pouvons le faire ici pour "vendre" les avantages sociaux. L'ensemble de la question "Quels sont les avantages de l'utilisation d'une pandas dataframe sur la plaine de Python tableau/liste-des-liste?" a de nombreux avantages, beaucoup trop pour les énumérer ici...
InformationsquelleAutor mazlor | 2013-01-16
  1. 119

    les pandas à la rescousse:

    import pandas as pd
print pd.read_csv('value.txt')

        Date    price  factor_1  factor_2
0  2012-06-11  1600.20     1.255     1.548
1  2012-06-12  1610.02     1.258     1.554
2  2012-06-13  1618.07     1.249     1.552
3  2012-06-14  1624.40     1.253     1.556
4  2012-06-15  1626.15     1.258     1.552
5  2012-06-16  1626.15     1.263     1.558
6  2012-06-17  1626.15     1.264     1.572

    Cela renvoie pandas DataFrame qui est similaire à R's.

    InformationsquelleAutor root
  2. 6

    Voici une alternative aux pandas de la bibliothèque à l'aide de Python intégré dans csv module.

    import csv
from pprint import pprint
with open('foo.csv', 'rb') as f:
    reader = csv.reader(f)
    headers = reader.next()
    column = {h:[] for h in headers}
    for row in reader:
        for h, v in zip(headers, row):
            column[h].append(v)
    pprint(column)    # Pretty printer

    imprime

    {'Date': ['2012-06-11',
          '2012-06-12',
          '2012-06-13',
          '2012-06-14',
          '2012-06-15',
          '2012-06-16',
          '2012-06-17'],
 'factor_1': ['1.255', '1.258', '1.249', '1.253', '1.258', '1.263', '1.264'],
 'factor_2': ['1.548', '1.554', '1.552', '1.556', '1.552', '1.558', '1.572'],
 'price': ['1600.20',
           '1610.02',
           '1618.07',
           '1624.40',
           '1626.15',
           '1626.15',
           '1626.15']}
    InformationsquelleAutor sidi
  3. 4

    Pour lire un fichier CSV comme les pandas DataFrame, vous aurez besoin d'utiliser mp.read_csv.

    Mais ce n'est pas là où l'histoire se termine; il existe des données dans de nombreux formats et est stockée dans des façons différentes de sorte que vous aurez souvent besoin de passer des paramètres supplémentaires pour read_csv pour assurer que vos données sont lues correctement.

    Voici un tableau listant les scénarios courants rencontrés avec les fichiers CSV avec les arguments que vous aurez besoin d'utiliser. Vous aurez généralement besoin de la totalité ou d'une combinaison des arguments ci-dessous pour lire dans votre de données.

    ┌──────────────────────────────────────────────────────────┬─────────────────────────────┬────────────────────────────────────────────────────────┐
│  Scenario                                                │  Argument                   │  Example                                               │
├──────────────────────────────────────────────────────────┼─────────────────────────────┼────────────────────────────────────────────────────────┤
│  Read CSV with different separator¹                      │  sep/delimiter              │  read_csv(..., sep=';')                                │
│  Read CSV with tab/whitespace separator                  │  delim_whitespace           │  read_csv(..., delim_whitespace=True)                  │
│  Fix UnicodeDecodeError while reading²                   │  encoding                   │  read_csv(..., encoding='latin-1')                     │
│  Read CSV without headers³                               │  header and names           │  read_csv(..., header=False, names=['x', 'y', 'z'])    │
│  Specify which column to set as the index⁴               │  index_col                  │  read_csv(..., index_col=[0])                          │
│  Read subset of columns                                  │  usecols                    │  read_csv(..., usecols=['x', 'y'])                     │
│  Numeric data is in European format (eg., 1.234,56)      │  thousands and decimal      │  read_csv(..., thousands='.', decimal=',')             │
└──────────────────────────────────────────────────────────┴─────────────────────────────┴────────────────────────────────────────────────────────┘

    Notes de bas de page

    1. Par défaut, read_csv utilise un C analyseur de moteur pour la performance. Le C de l'analyseur ne peut gérer seul caractère de séparation. Si votre fichier CSV a
      un multi-caractère séparateur, vous aurez besoin de modifier votre code pour utiliser
      le 'python' moteur. Vous pouvez également passer des expressions régulières:

      df = pd.read_csv(..., sep=r'\s*\|\s*', engine='python')

    2. UnicodeDecodeError se produit lorsque les données ont été stockées dans un format d'encodage, mais le lire dans un autre, incompatible un. La plupart des communes
      systèmes de codage sont 'utf-8' et 'latin-1', vos données est susceptible de
      s'insérer dans l'un de ces.

    3. header=False indique que la première ligne du fichier CSV est une ligne de données plutôt que d'une ligne d'en-tête, et le names=[...] vous permet de
      spécifier une liste de noms de colonnes à affecter à la DataFrame quand il est
      créée.

    4. "Sans nom: 0" se produit lorsqu'un DataFrame avec un non-nommées d'index est enregistré au format CSV, puis re-lire après. Au lieu d'avoir à fixer la
      problème lors de la lecture, vous pouvez également résoudre le problème lors de l'écriture à l'aide de 

      df.to_csv(..., index=False)

    Il y a d'autres arguments que je n'ai pas mentionné ici, mais ce sont ceux que vous rencontrerez le plus souvent.

    • Pouvez vous s'il vous plaît repaste/reformater la table-image du texte Unicode en utilisant par exemple ozh.github.io/ascii-tableaux ? Sinon, c'est dur à lire, et ne pas être indexés pour la recherche de contenu, ou trouvable avec un bon vieux Ctrl-F de la recherche de texte.
    • Je suis d'accord ce que vous avez dit à propos de l'indexation (en plus du fait que les images ne peuvent pas être modifiées par d'autres personnes) mais il n'a pas l'air presque aussi bon et le défilement qui le rend difficile à suivre.
    • de toute façon vous avez besoin de le réécrire pour être conviviale pour un nouvel utilisateur; au lieu d'incompréhensible des trucs comme " Éviter "sans nom: de 0"', il devrait dire quelque chose de simple en anglais comme 'index_col: dites les pandas de la colonne(s) à utiliser comme index de votre dataframe'
    • Ressemble tables ASCII ne jouent pas bien avec les exposants -- il bousille la mise en forme du tableau.
    • cs95: j'ai recommandé Unicode, non ASCII. Unicode fonctionne très bien. Donc il suffit de changer la valeur par défaut dans le menu déroulant situé sur la ozh.github.io/ascii-tableaux
    • Oui, désolé, c'est ce que je voulais dire. J'ai essayé Unicode d'abord, puis quelques autres options. Voici un coller si vous voulez prendre un coup d'oeil. La mise en forme est foiré sur les lignes qui ont un indice supérieur. Essayer de les corriger, il en résultera dans la colonne de séparateurs d'être de l'alignement, c'est de peu.
    • cs95 Veuillez les poster (incorrect) tableau déjà, nous (ou d'autres) peuvent améliorer l'apparence. Si le HTML <sup>1</sup> ne rend pas très bien, vous pouvez utiliser Unicode caractères en exposant ⁰123⁴⁵⁶⁷⁸⁹ , ou bien le repli [1], [2], ... ou [a], [b], ...
    • J'ai édité. Il y a un peu plus de messages comme celui-ci avec les tables de l'image, je vais convertir en tant que de besoin.
    • PS: je suis toujours malheureux d'avoir à faire défiler pour voir l'intégralité de la table...

    InformationsquelleAutor cs95
  4. 0

    Vous pouvez utiliser le csv module trouvé dans le python de la bibliothèque standard pour manipuler des fichiers CSV.

    exemple:

    import csv
with open('some.csv', 'rb') as f:
    reader = csv.reader(f)
    for row in reader:
        print row
    • -0. Venant de R, mazlor de ne pas être à la recherche pour le csv module est trop faible niveau. pandas fournit le niveau demandé de l'abstraction.
    • ...en outre, il n'lire les données à l'intérieur d'un objet Python comme un tableau numpy...
    InformationsquelleAutor KurzedMetal
  5. -1

    Remarque tout à fait propre, mais:

    import csv

with open("value.txt", "r") as f:
    csv_reader = reader(f)
    num = '  '
    for row in csv_reader:
        print num, '\t'.join(row)
        if num == '  ':  
            num=0
        num=num+1

    Pas aussi compact, mais il fait le travail:

       Date price   factor_1    factor_2
1 2012-06-11    1600.20 1.255   1.548
2 2012-06-12    1610.02 1.258   1.554
3 2012-06-13    1618.07 1.249   1.552
4 2012-06-14    1624.40 1.253   1.556
5 2012-06-15    1626.15 1.258   1.552
6 2012-06-16    1626.15 1.263   1.558
7 2012-06-17    1626.15 1.264   1.572
    • Cela ne veut pas répondre à l'OP de la question qu'il ne lit pas les données csv dans un objet Python.
    • peut-être remplacer le num de les énumérer dans la boucle for?
    • L'OP n'a pas la mention "objet", mais demandez pour plus de facilité. Encore, je soupçonne les "pandas" approche mieux adaptée à ce qui était demandé.
    InformationsquelleAutor Lee-Man