Stocker une liste de chaînes à un HDF5 Dataset à partir de Python

Je suis en train de stocker une variable liste de longueur de chaîne à une HDF5 Dataset. Le code est

import h5py
h5File=h5py.File('xxx.h5','w')
strList=['asas','asas','asas']  
h5File.create_dataset('xxx',(len(strList),1),'S10',strList)
h5File.flush() 
h5File.Close()

Je reçois un message d'erreur indiquant que "TypeError: Pas de chemin de conversion pour dtype: dtype ("&lt U3')"
où l' &lt moyens réels de moins que le symbole
Comment puis-je résoudre ce problème.

Pour commencer, vous avez une faute de frappe sur create_dataset. Pouvez-vous donner le code exact que vous utilisez, en particulier là où strList est à venir?
désolé pour la faute de frappe, je suis en train de sérialiser un pandas bloc de données à un HDF5 fichier donc je dois créer un en-tête qui contient les noms de toutes les colonnes, donc j'ai extrait les noms de colonne dans une liste et d'essayer de l'écrire sur un HDF5 dataset.
sauf pour la typo code ci-dessus émule exactement la même situation
Vous devriez modifier votre question et de corriger la faute de frappe.

OriginalL'auteur gman | 2014-04-22

  1. 18

    Vous êtes en train de lire dans des chaînes Unicode, mais en précisant votre type de données ASCII. Selon le h5py wiki, h5py ne prend pas actuellement en charge de cette conversion.

    Vous aurez besoin pour coder les chaînes de caractères dans un format h5py poignées:

    asciiList = [n.encode("ascii", "ignore") for n in strList]
h5File.create_dataset('xxx', (len(asciiList),1),'S10', asciiList)

    Remarque: tout n'est pas encodé en UTF-8 peuvent être codés en ASCII!

    Merci cela a parfaitement fonctionné
    Quelle est la bonne manière à extraire ces chaînes à partir de la hdf5 fichier (en python3)?
    L'ASCII est également valable en UTF-8, mais vous pouvez utiliser ascii.decode('utf-8') si vous avez besoin d' str type. Note: ma réponse va tomber des caractères non-ASCII. Si vous avez conservé avec encode('unicode_escape'), alors vous avez besoin decode('unicode_escape') pour convertir des choses.

    OriginalL'auteur SlightlyCuban

  2. 3

    Dans HDF5, les données de la VL format est stocké comme arbitraire de la longueur des vecteurs d'une
    type de base. En particulier, les chaînes sont stockées de style C dans
    null tampons. NumPy a pas de mécanisme natif de soutien
    c'. Malheureusement, c'est la norme de facto pour la représentation
    des chaînes dans le HDF5 de l'API C, et dans de nombreux HDF5 applications.

    Heureusement, NumPy a un pointeur générique type dans la forme de la
    “objet” (“O”) dtype. Dans h5py, des chaînes de longueur variable sont mappés à des
    tableaux d'objets. Une petite quantité de métadonnées attachées à un “O” dtype
    raconte h5py que son contenu doit être converti à VL chaînes lors de l'
    stockés dans le fichier.

    Existant VL chaînes de caractères peuvent être en lecture et en écriture à aucun autre
    l'effort; Python chaînes et de longueur fixe NumPy chaînes de caractères peuvent être
    converti à la VL de données et stockées.

    Exemple

    In [27]: dt = h5py.special_dtype(vlen=str)

In [28]: dset = h5File.create_dataset('vlen_str', (100,), dtype=dt)

In [29]: dset[0] = 'the change of water into water vapour'

In [30]: dset[0]
Out[30]: 'the change of water into water vapour'

    OriginalL'auteur Amit Kushwaha

  3. 3

    Je suis dans une situation similaire désireux de stocker les noms de colonne de dataframe comme un dataset dans hdf5 fichier. En supposant que df.colonnes est ce que je veux stocker, j'ai trouvé les ouvrages suivants:

    h5File = h5py.File('my_file.h5','w')
h5File['col_names'] = df.columns.values.astype('S')

    Cela suppose que les noms de colonne sont "simples" des chaînes de caractères qui peuvent être codés en ASCII.

    OriginalL'auteur Rajendra Koppula