Python EOF pour multi-octets demandes de fichier.lire()

Le Python docs sur fichier.lire() état que An empty string is returned when EOF is encountered immediately. La documentation stipule en outre:

Noter que cette méthode peut appeler la
C sous-jacente de la fonction fread() plus
fois, dans un effort pour acquérir
près de la taille octets que possible. Aussi
notez qu'en mode sans blocage,
moins de données que ce qui était demandé peut être
renvoyé, même si aucun paramètre de taille
a été donné.

Je crois que Guido a fait son point de vue sur les pas de l'ajout de f.eof() PARFAITEMENT CLAIR donc besoin d'utiliser le Python!

Ce n'est pas clair pour MOI, cependant, est de savoir si c'est un test définitif que vous avez atteint EOF si vous recevez moins de la demande d'octets à partir d'une lecture, mais vous avez reçu certains.

ie:

with open(filename,'rb') as f:
    while True:
        s=f.read(size)
        l=len(s) 
        if l==0: 
            break     # it is clear that this is EOF...
        if l<size:
            break      # ? Is receiving less than the request EOF???

Est-il un potentiel d'erreur de break si vous avez reçu moins de les octets demandés dans un appel à file.read(size)?

OriginalL'auteur dawg | 2010-12-13

  1. 21

    Vous ne pensez pas avec votre peau de serpent sur... Python n'est pas C.

    Tout d'abord, un examen:

    • st=f.read() lit des expressions du FOLKLORE, ou s'il est ouvert en tant que fichier binaire, pour le dernier octet;
    • st=f.lire(n) tentatives de lit n octets et en aucun cas plus de n octets;
    • st=f.readline() lit une ligne à la fois, la ligne se termine par '\n' ou expressions du FOLKLORE;
    • st=f.readlines() utilise readline() pour lire toutes les lignes dans un fichier et retourne une liste des lignes.

    Si un fichier de la méthode de lecture est à des expressions du FOLKLORE, il retourne ''. Le même type de EOF test est utilisé dans l'autre fichier comme" méthodes comme StringIO, socket.makefile, etc. Un retour de moins de n octets de f.read(n) est certainement PAS un dispositif de test pour les expressions du FOLKLORE! Bien que ce code ne peut travailler à 99,99% du temps, c'est le temps qu'il n'a pas de travail qui pourrait être très frustrant pour les trouver. De Plus, il est mauvais Python forme. La seule utilisation pour n dans ce cas est de mettre une limite supérieure sur la taille de la déclaration.

    Quelles sont certaines des raisons pour lesquelles le fichier Python-comme des méthodes renvoie moins que n octets?

    1. EOF est certainement une raison courante;
    2. Une socket réseau peut temporisation de lire encore rester ouvert;
    3. Exactement n octets peut provoquer une rupture entre la logique de caractères multi-octets (comme \r\n en mode texte et, je pense, un de caractères multi-octets Unicode) ou de certains sous-jacente de la structure de données que vous ne connaissez pas;
    4. Le fichier est en mode sans blocage et un autre processus commence à accéder au fichier;
    5. Temporaire non-accès au dossier;
    6. Sous-jacente d'un état d'erreur, potentiellement temporaire, sur le fichier, disque, réseau, etc.
    7. Le programme a reçu un signal, mais le gestionnaire de signal ignoré.

    Je voudrais réécrire votre code de cette manière:

    with open(filename,'rb') as f:
    while True:
        s=f.read(max_size)
        if not s: break

        # process the data in s...

    Ou, écrire un générateur:

    def blocks(infile, bufsize=1024):
    while True:
        try:
            data=infile.read(bufsize)
            if data:
                yield data
            else:
                break
        except IOError as (errno, strerror):
            print "I/O error({0}): {1}".format(errno, strerror)
            break

f=open('somefile','rb')

for block in blocks(f,2**16):
    # process a block that COULD be up to 65,536 bytes long
    "comme \r\n en mode binaire" <- ont dit "mode texte" plutôt que de "mode binaire"? En mode binaire, c'était juste une paire d'octets comme tous les autres, non?

    OriginalL'auteur the wolf

  2. 1

    Voici ce que mon compilateur C de la documentation dit pour le fread() fonction:

    size_t fread( 
   void *buffer,
   size_t size,
   size_t count,
   FILE *stream 
);

    fread retourne le nombre d'éléments
    en fait, ce qui peut être inférieure à
    compte si une erreur se produit ou si la fin
    du fichier est atteinte avant
    d'atteindre compte.

    De sorte qu'il ressemble de moins que size signifie soit une erreur s'est produite ou expressions du FOLKLORE a été atteint -- breaking hors de la boucle serait la bonne chose à faire.

    Ce n'est pas correct, un signal peut provoquer un court-lire qui provoque moins d'octets à être retourné... ce qui n'est pas exactement l'une des expressions du FOLKLORE.
    Je dirais que, si une courte lecture se produit parce que le programme a reçu un signal, mais le gestionnaire de signal ignoré, la boucle encore doivent être terminés depuis signaux indiquent en général des erreurs fatales ou que les utilisateurs veut interrompre le processus-même si c'est exactement EOF ou pas, sortir de la boucle est probablement la bonne chose à faire.
    Je suis d'accord qu'en est-il sain d'esprit pour un gestionnaire de signal pour provoquer un court-lire, mais je suis en désaccord que c'est une condition d'erreur. Un de mes scripts garde de traitement de données provenant de l'entrée standard jusqu'à ce que les expressions du FOLKLORE. SIGUSR1 est configuré pour rincer immédiatement les données, ce qui provoque un court de lire ce qui est attendu et pas une erreur.

    OriginalL'auteur martineau