Comment liste de sortie de flotte à un fichier binaire en Python

J'ai une liste de valeurs à virgule flottante en Python:

floats = [3.14, 2.7, 0.0, -1.0, 1.1]

Je voudrais écrire ces valeurs dans un fichier binaire en utilisant la norme IEEE de 32 bits de codage. Quelle est la meilleure façon de le faire en Python? Ma liste contient environ 200 MO de données, donc quelque chose de "pas trop lent" serait mieux.

Comme il y a 5 valeurs, je veux juste un de 20 octets du fichier de sortie.

  • Votre tableau est manquant points-virgules entre les numéros.
InformationsquelleAutor Frank Krueger | 2009-04-30
  1. 39

    Alex est tout à fait juste, il est plus efficace de faire de cette façon:

    from array import array
output_file = open('file', 'wb')
float_array = array('d', [3.14, 2.7, 0.0, -1.0, 1.1])
float_array.tofile(output_file)
output_file.close()

    Et ensuite lire le tableau comme ça:

    input_file = open('file', 'rb')
float_array = array('d')
float_array.fromstring(input_file.read())

    array.array les objets ont également un .fromfile méthode qui peut être utilisé pour lire le fichier, si vous connaissez le nombre d'éléments à l'avance (par exemple, de la taille du fichier, ou un autre mécanisme)

    • Ne devrait pas le premier argument dans la gamme pour être un " f " depuis 32 bits est demandé?
    • FWIW, il s'avère que la structure de la réponse est en fait plus rapide. J'ai fait un peu de profilage de plusieurs solutions de rechange et la structure est la manière la plus rapide en un peu. gist.github.com/deanmalmgren/...
    • cela peut-il travailler pour un tableau 2d?
    • J'ai un tableau 2d de chars. Je suis réitérer les éléments (for row in myArray:) puis struct.packing la row.
    InformationsquelleAutor Nadia Alramli
  2. 17

    Voir: Python struct module

    import struct
s = struct.pack('f'*len(floats), *floats)
f = open('file','wb')
f.write(s)
f.close()
    • En fait, c'est ce que je fais maintenant. J'ai juste pensé qu'il y avait une meilleure façon.
    • Et il ya une meilleure façon-le tableau du module. Voir docs.python.org/library/array.html pour tous les détails.
    • Vous devez utiliser le with de la syntaxe.
    • le tableau module n'est pas plus rapide, en fait. voir le profilage ici: gist.github.com/deanmalmgren/...
    • Différence dans l'écriture de 2 dicts de fichier JSON (22K) et l'emballage de 3,2 M de la table de flotteurs semblait négligeable. C'est, réponse à la console ne semble pas de décalage entre les deux opérations. @AlexMartelli: à mon humble avis, "Mieux" est totalement subjective. Il y a des qualifications manque dans cette affirmation.
    InformationsquelleAutor thesamet
  3. 12

    Le tableau du module de la bibliothèque standard, peut-être plus adapté pour cette tâche que la struct module de laquelle tout le monde est en train de suggérer. Performance avec 200 MO de données doit être sensiblement mieux avec le tableau.

    Si vous souhaitez emmener à une variété d'options, essayez le profilage sur votre système avec quelque chose comme ceci

    InformationsquelleAutor Alex Martelli
  4. 9

    Je ne suis pas sûr de savoir comment NumPy permettra de comparer les performances de votre application, mais il peut être utile de l'examiner.

    À l'aide de NumPy:

    from numpy import array
a = array(floats,'float32')
output_file = open('file', 'wb')
a.tofile(output_file)
output_file.close()

    résultats dans un de 20 octets fichier.

    InformationsquelleAutor Grant
  5. 3

    ont un coup d'oeil à struct.pack_into

    InformationsquelleAutor SilentGhost
  6. 3

    struct.pack() ressemble à ce que vous avez besoin.

    http://docs.python.org/library/struct.html

    InformationsquelleAutor joshdick
  7. 2

    J'ai rencontré un problème similaire, tandis que, par inadvertance, la rédaction d'un+ de 100 GO de fichier csv. Les réponses données ici ont été extrêmement utiles, mais, pour aller au fond d'elle, Je profilé toutes les solutions mentionnées, et puis certains. Toutes les exécutions de profilage ont été faites sur un 2014 Macbook Pro avec un SSD à l'aide de python 2.7. À partir de ce que je vois, la struct approche est certainement le plus rapide à partir d'un point de vue des performances:

    6.465 seconds print_approach    print list of floats
4.621 seconds csv_approach      write csv file
4.819 seconds csvgz_approach    compress csv output using gzip
0.374 seconds array_approach    array.array.tofile
0.238 seconds numpy_approach    numpy.array.tofile
0.178 seconds struct_approach   struct.pack method
    InformationsquelleAutor dino
  8. 0

    Ma "réponse" est vraiment un commentaire sur les différentes réponses. Je ne peux pas commenter car je n'ai pas de 50 points de réputation.

    Si le fichier est lu par Python, puis utilisez le "cornichon" module. Cet outil peut lire et écrire beaucoup de choses en binaire.

    Mais la façon dont la question est posée, en disant: "de l'IEEE de 32 bits de codage", il semble que le fichier sera lu dans d'autres langues. Dans ce cas, l'octet de commande doit être spécifié. Le problème est que la plupart des machines x86, avec little-endian d'ordre des octets, mais le nombre de données le traitement de la langue est Java/JVM, à l'aide de la big-endian ordre des octets. De sorte que le Python "tofile()" va utiliser C, qui utilise little endian en raison de l'existence de la machine little-endian, et puis le code de traitement de données sur Java/JVM va décoder à l'aide de big endian, conduisant à l'erreur.

    De travailler avec la JVM:

    # convert to bytes, BIG endian, for use by Java
import struct
f = [3.14, 2.7, 0.0, -1.0, 1.1]
b = struct.pack('>'+'f'*len(f), *f)

with open("f.bin", "wb") as file:
    file.write(b)

    Sur le Java côté:

    try(var stream = new DataInputStream(new FileInputStream("f.bin")))
{
    for(int i = 0; i < 5; i++)
        System.out.println(stream.readFloat());
}
catch(Exception ex) {}

    Le problème maintenant, c'est le Python 'f'*len(f) code - espérons-le, l'interprète ne fait pas de créer un super long "ffffff..." chaîne de caractères.

    Je voudrais utiliser un tableau numpy et byteswap

    import numpy, sys
f = numpy.array([3.14, 2.7, 0.0, -1.0, 1.1], dtype=numpy.float32)

if sys.byteorder == "little":
    f.byteswap().tofile("f.bin") # using BIG endian, for use by Java
else:
    f.tofile("f.bin")
    • veuillez éviter d'écrire pourquoi je suis en train d'écrire la réponse, au lieu de commenter, si vous lisez comment écrire la réponse, et votre réponse est l'accomplissement de tous les paramètres, de sorte qu'à répondre
    InformationsquelleAutor louis