La lecture de fichiers CSV dans numpy où le séparateur est “,”

Le problème de base est que NumPy ne pas comprendre le concept de décapage des citations (alors que la csv module). Quand vous dites delimiter='","', vous dites NumPy que le délimiteur de colonne est littéralement une cité virgule, c'est à dire les citations sont autour de la virgule, et non la valeur, de sorte que les guillemets supplémentaires que vous obtenez sur les première et dernière colonnes sont attendus.

À la recherche à la fonction docs, je pense que vous aurez besoin de définir les converters paramètre de bande de citations pour vous (par défaut):

import re
import numpy as np

fieldFilter = re.compile(r'^"?([^"]*)"?$')
def filterTheField(s):
    m = fieldFilter.match(s.strip())
    if m:
        return float(m.group(1))
    else:
        return 0.0 # or whatever default

#...

# Yes, sorry, you have to know the number of columns, since the NumPy docs
# don't say you can specify a default converter for all columns.
convs = dict((col, filterTheField) for col in range(numColumns))
data = np.genfromtxt(csvfile, dtype=None, delimiter=',', names=True, 
    converters=convs)

Ou d'abandonner np.genfromtxt() et laissez csv.csvreader vous donner le contenu du fichier une ligne à la fois, comme des listes de chaînes de caractères, alors que vous venez de faire une itération sur les éléments et de construire la matrice:

reader = csv.csvreader(csvfile)
result = np.array([[float(col) for col in row] for row in reader])
# BTW, column headings are in reader.fieldnames at this point.

EDIT: d'Accord, donc il semble que votre fichier n'est pas tous les flotteurs. Dans ce cas, vous pouvez définir convs dans l' genfromtxt cas, ou de créer un vecteur de fonctions de conversion de la csv.csvreader cas:

reader = csv.csvreader(csvfile)
converters = [datetime, float, int, float]
result = np.array([[conv(col) for col, conv in zip(row, converters)] 
    for row in reader])
# BTW, column headings are in reader.fieldnames at this point.

EDIT 2: Ok, la variable nombre de colonnes... Votre source de données, il veut juste rendre la vie difficile. Heureusement, il suffit d'utiliser magic...

reader = csv.csvreader(csvfile)
result = np.array([[magic(col) for col in row] for row in reader])

... où magic() est juste un nom, je suis au sommet de ma tête pour une fonction. (Psyché!)

Au pire, il pourrait être quelque chose comme:

def magic(s):
    if '/' in s:
        return datetime(s)
    elif '.' in s:
        return float(s)
    else:
        return int(s)

Peut-être NumPy a une fonction qui prend une chaîne de caractères et renvoie un élément unique avec le type de droit. numpy.fromstring() regarde de plus près, mais il pourrait interpréter l'espace dans votre horodateurs comme un séparateur de colonnes.

P. S. Un inconvénient avec csvreader je vois c'est qu'il ne jetez pas de commentaires; réel csv les fichiers n'ont pas de commentaires.

OriginalL'auteur Mike DeSimone