L'importation .dat fichier dans un tableau

J'ai un .dat fichier qui ressemble à ça.

ID_1,5.0,5.0,5.0,... 
ID_2,5.0,5.0,5.0,...

Je suis en train d'importer les données en Python comme un tableau.

Si je fais ça, ça va me donner une liste de tuples.

data = np.genfromtxt('mydat.dat',
                     dtype=None,
                     delimiter=',')

Cependant, quand je fais la suite il donne un drôle de résultat, sans doute parce que ce premier élément n'est pas un float.

np.fromfile('mydat.dat', dtype=float)

array([  3.45301146e-086,   3.45300781e-086,   3.25195588e-086, ...,
         8.04331780e-096,   8.04331780e-096,   1.31544776e-259])

Des suggestions à ce sujet? Ce sont les deux principaux moyens à l'importation .dat fichiers en Python comme un tableau et ils ne semblent pas fournir le résultat souhaité.

  • sont les lignes toujours sous cette forme? comme id, puis de certaines valeurs, et un retour à la ligne séparant les lignes de données, voulez-vous un tableau 2d, et aurait des listes de travail au lieu de tableau?
  • Il n'y a pas de nouvelle liste. Je l'ai corrigé. besoin de tableau 2d. L'objectif final est d'utiliser les données dans Keras, donc je n'ai besoin que d'un tableau
InformationsquelleAutor ATMA | 2017-09-28
  1. 2

    Ici est une façon où nous lire chaque ligne de l'mydat.dat fichier , convertir chaque valeur de str ou float et puis les charger à numpy array.

    import numpy as np

def is_float(string):
    """ True if given string is float else False"""
    try:
        return float(string)
    except ValueError:
        return False

data = []
with open('mydat.dat', 'r') as f:
    d = f.readlines()
    for i in d:
        k = i.rstrip().split(",")
        data.append([float(i) if is_float(i) else i for i in k]) 

data = np.array(data, dtype='O')

    Résultat 

    >>> data
array([['ID_1', 5.0, 5.0, 5.0],
       ['ID_2', 5.0, 5.0, 5.0]], dtype=object)

    Aussi, si vous pouvez utiliser pandas pour lire et manipuler des données , je le ferais. pandas travaille avec beaucoup d'efficacité en particulier pour les grandes données et est facile à manipuler.

    #read data as csv to a dataframe
>>> df = pd.read_csv('mydat.dat', sep=",", header=None)
>>> df
      0    1    2    3
0  ID_1  5.0  5.0  5.0
1  ID_2  5.0  5.0  5.0

#Transposed data with ID numbers as headers
>>> df.T
      0     1
0  ID_1  ID_2
1     5     5
2     5     5
3     5     5
>>>
    InformationsquelleAutor Anil_M
  2. 1

    Vous pouvez utiliser numpy loadtext. Vous pouvez spécifier les formats de colonnes différentes.

    InformationsquelleAutor ShreyasG