Comment lire une partie du fichier binaire avec numpy?

Je suis de la conversion d'un script matlab pour numpy, mais certains ont des problèmes avec la lecture des données à partir d'un fichier binaire. Est-il un equivelent à fseek lors de l'utilisation de fromfile pour sauter au début du fichier? C'est le type d'extractions j'ai besoin de le faire:

fid = fopen(fname);
fseek(fid, 8, 'bof');
second = fread(fid, 1, 'schar');
fseek(fid, 100, 'bof');
total_cycles = fread(fid, 1, 'uint32', 0, 'l');
start_cycle = fread(fid, 1, 'uint32', 0, 'l');

Merci!

source d'informationauteur brorfred

  1. 23

    Vous pouvez utiliser le chercher avec un objet de fichier de la façon normale, et ensuite utiliser ce fichier objet dans fromfile. Voici un exemple complet:

    import numpy as np
import os

data = np.arange(100, dtype=np.int)
data.tofile("temp")  # save the data

f = open("temp", "rb")  # reopen the file
f.seek(256, os.SEEK_SET)  # seek

x = np.fromfile(f, dtype=np.int)  # read the data into numpy
print x 
# [64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88
# 89 90 91 92 93 94 95 96 97 98 99]
  2. 3

    Il n'y a probablement une meilleure réponse... Mais quand j'ai été confronté à ce problème, j'ai un fichier que je voulais déjà d'accéder aux différentes parties séparément, ce qui m'a donné une solution facile à ce problème.

    Par exemple, dire chunkyfoo.bin est un fichier composé de 6 octets d'en-tête, une résolution de 1024 octets numpy tableau, et un autre de 1 024 octets numpy tableau. Vous ne pouvez pas ouvrir le fichier et chercher de 6 octets (car la première chose numpy.fromfile n'est lseek retour à 0). Mais vous pouvez tout simplement mmap le fichier et d'utiliser fromstring à la place:

    with open('chunkyfoo.bin', 'rb') as f:
    with closing(mmap.mmap(f.fileno(), length=0, access=mmap.ACCESS_READ)) as m:
        a1 = np.fromstring(m[6:1030])
        a2 = np.fromstring(m[1030:])

    Cela sonne comme exactement ce que vous voulez faire. Sauf, bien sûr, que dans la vraie vie, le décalage et la longueur de a1 et a2 probablement dépendent de l'en-tête, plutôt que d'être fixé commentaires.

    L'en-tête est juste m[:6]et vous pouvez analyser que par explicitement le tirant à part, à l'aide de la struct module, ou ce que vous feriez une fois que vous read les données. Mais, si vous préférez, vous pouvez explicitement seek et read de f avant de construire mou après, ou même faire les mêmes appels sur met il va travailler, sans affecter a1 et a2.

    Une alternative, ce qui je l'ai fait pour un autre non-numpyliées au projet, est de créer un wrapper de l'objet fichier, comme ceci:

    class SeekedFileWrapper(object):
    def __init__(self, fileobj):
        self.fileobj = fileobj
        self.offset = fileobj.tell()
    def seek(self, offset, whence=0):
        if whence == 0:
            offset += self.offset
        return self.fileobj.seek(offset, whence)
    # ... delegate everything else unchanged

    J'ai fait le "délégué tout le reste inchangé" par la génération d'un list des attributs au moment de la construction et de l'aide que dans __getattr__mais vous voudrez probablement quelque chose de moins hacky. numpy ne repose que sur une poignée de méthodes de fichier-comme l'objet, et je pense qu'ils sont correctement documentés, donc juste explicitement délégué. Mais je pense que le mmap solution a plus de sens ici, sauf si vous essayez d'mécaniquement port sur un tas de explicite seekà base de code. (Vous pensez mmap serait également vous donner la possibilité de sortir un numpy.memmap au lieu d'un numpy.arrayqui permet numpy avoir plus de contrôle plus/feedback de la pagination, etc. Mais c'est en fait assez difficile d'obtenir un numpy.memmap et un mmap à travailler ensemble.)

  3. 1

    C'est ce que je fais quand je dois lire arbitraire dans une hétérogènes fichier binaire.

    Numpy permet d'interpréter une séquence de bits dans arbitray en changeant les dtype de la matrice.
    Le code Matlab dans le lit de la question d'un char et deux uint.

    Lire ce papier (en faciliter la lecture sur le niveau de l'utilisateur, pas pour les scientifiques) sur ce que l'on peut atteindre avec l'évolution de la dtype, foulée, la dimensionnalité d'un tableau.

    import numpy as np

data = np.arange(10, dtype=np.int)
data.tofile('f')

x = np.fromfile('f', dtype='u1')
print x.size
# 40

second = x[8]
print 'second', second
# second 2

total_cycles = x[8:12]
print 'total_cycles', total_cycles
total_cycles.dtype = np.dtype('u4')
print 'total_cycles', total_cycles
# total_cycles [2 0 0 0]       !endianness
# total_cycles [2]

start_cycle = x[12:16]
start_cycle.dtype = np.dtype('u4')
print 'start_cycle', start_cycle
# start_cycle [3]

x.dtype = np.dtype('u4')
print 'x', x
# x [0 1 2 3 4 5 6 7 8 9]

x[3] = 423 
print 'start_cycle', start_cycle
# start_cycle [423]