Comment lire un dataset à partir d'un fichier txt en Python?

J'ai un jeu de données dans ce format:

J'ai besoin d'importer les données et de travailler avec elle.

Le principal problème est que la première et la quatrième colonnes sont des chaînes de caractères, tandis que les deuxième et troisième colonnes sont des flotteurs et des ints, respectivement.

J'aimerais mettre les données dans une matrice ou au moins d'obtenir une liste de chaque colonne de données.

J'ai essayé de lire l'ensemble du jeu de données comme un string, mais c'est un gâchis:

f = open ( 'input.txt' , 'r')
l = [ map(str,line.split('\t')) for line in f ]

Ce qui pourrait être une bonne solution?

InformationsquelleAutor Ewybe | 2014-07-29

Vous semblez avoir des données au format CSV (avec une tabulation comme séparateur) alors pourquoi ne pas utiliser le csv module?

import csv

with open('data.csv') as f:
    reader = csv.reader(f, delimiter='\t')
    data = [(col1, float(col2), int(col3), col4)
                for col1, col2, col3, col4 in reader]

data est une liste de tuples contenant les données converties (colonne 2 -> float, colonne 3 -> int). Si les données.csv contient (avec les onglets, pas d'espaces):

thing1  5.005069    284 D
thing2  5.005049    142 D
thing3  5.005066    248 D
thing4  5.005037    124 D

data contient :

[('thing1', 5.005069, 284, 'D'),
 ('thing2', 5.005049, 142, 'D'),
 ('thing3', 5.005066, 248, 'D'),
 ('thing4', 5.005037, 124, 'D')]

Et si vous utilisez DictionaryReader et ajouter les noms de colonnes dans le fichier de données, vous pouvez le rendre plus facile à analyser des données en python 🙂

InformationsquelleAutor mhawke

Vous pouvez utiliser les pandas. Ils sont parfaits pour la lecture des fichiers csv, fichiers délimités par des tabulations etc. Les Pandas seront presque tout le temps de lire le type de données correctement et de les mettre dans un tableau numpy lors de l'accès à l'aide de lignes/colonnes, comme l'ont démontré.

J'ai utilisé ce délimités par des tabulations 'test.txt fichier:

    bbbbffdd    434343  228 D 
    bbbWWWff    43545343    289 E
    ajkfbdafa   2345345 2312    F

Voici les pandas code. Votre fichier sera lu dans un joli dataframe l'aide d'une ligne de python. Vous pouvez modifier la " sep " de la valeur à quelque chose d'autre pour répondre à votre fichier.

    import pandas as pd
    X = pd.read_csv('test.txt', sep="\t", header=None)

Essayez:

    print X
            0         1     2   3
    0   bbbbffdd    434343   228  D 
    1   bbbWWWff  43545343   289   E
    2  ajkfbdafa   2345345  2312   F

    print X[0]
    0     bbbbffdd
    1     bbbWWWff
    2    ajkfbdafa

    print X[2]
    0     228
    1     289
    2    2312

    print X[1][1:]
    1    43545343
    2     2345345

Vous pouvez ajouter les noms de colonnes comme:

    X.columns = ['random_letters', 'number', 'simple_number', 'letter']

Et puis obtenir les colonnes comme:

    X['number'].values
    array([  434343, 43545343,  2345345])

C'est assez étonnant. Je m'attendais à ce que le flotteur et le type int n'est pas captée, mais nan, les pandas détecté il.

InformationsquelleAutor Sudipta Basak

Voici une solution pour lire les données et de les convertir ceux de deuxième et troisième colonnes de types numériques:

f = open('input.txt', 'r')

rows = []
for line in f:
    # Split on any whitespace (including tab characters)
    row = line.split()
    # Convert strings to numeric values:
    row[1] = float(row[1])
    row[2] = int(row[2])
    # Append to our list of lists:
    rows.append(row)

print rows

Avec le suivant input.txt:

string1 5.005069    284 D
string2 5.005049    142 D
string3 5.005066    284 D
string4 5.005037    124 D

Il produit la sortie suivante:

[['string1', 5.005069, 284, 'D'], 
 ['string2', 5.005049, 142, 'D'], 
 ['string3', 5.005066, 284, 'D'], 
 ['string4', 5.005037, 124, 'D']]

InformationsquelleAutor ford

0

split et la transposition de la liste:
```
 with open ( 'in.txt' , 'r') as f: # use with to open your files, it close them automatically
    l = [x.split() for x in f]
    rows = [list(x) for x in zip(*l)]
    rows[1],rows[2] = map(float,rows[1]),map(int,rows[2])
In [16]: rows
Out[16]: 
[['bbbbffdd', 'bbbWWWff', 'ajkfbdafa'],
 [434343.0, 43545343.0, 2345345.0],
 [228, 289, 2312],
 ['D', 'E', 'F']]
```
- Je pense que l'OP veut réellement le float et int colonnes converti.
- il code suggère le contraire, de toute façon, il est trivial à faire
- L'OP du code est presque correct, c'est juste qu'il ne convertit pas à flotteur ou int (et il y a un errant saut de ligne). Pourquoi l'OP poser cette question si ils veulent juste chaînes?
- l'OP du code n'est pas correct, tous les éléments étaient dans les différentes listes. Pas regroupés
- Pour ce que ça vaut (probablement rien) - OP dit qui soit acceptable: "je voudrais les mettre dans une matrice ou tout simplement pour obtenir une liste pour chaque culomn" (sic). Vous avez fourni une solution pour la 2ème option. OP du code est pour la 1ère option. De toute façon, je crois qu'il veut des flotteurs et des services de renseignements dans les colonnes appropriées.
- eh bien, il est facile de modifier le code pour le faire, il est effectivement beaucoup plus rapide de créer des listes comme ci-dessus que l'utilisation des pandas.
- Aucun argument avec qui.
InformationsquelleAutor Padraic Cunningham
0

Utilisation numpy.loadtxt("data.txt") pour lire les données d'une liste de lignes
```
[[row1],[row2],[row3]...]
```
chaque ligne comporte des éléments de chaque colonne
```
[row1] = [col1, col2, col3, ...]
```
Utilisation dtype = string à lire chaque entrée de la chaîne de

Vous pouvez convertir les valeurs correspondantes pour integer, float, etc. avec une boucle for.

Référence: https://docs.scipy.org/doc/numpy-1.15.0/reference/generated/numpy.loadtxt.html

InformationsquelleAutor Rakesh Arya

Vous devez vous connecter pour publier un commentaire.