Python Fichier À Accès Aléatoire

Est-il un Python de type de fichier pour accéder à des lignes au hasard, sans traversant l'ensemble du dossier? J'ai besoin de recherche dans un fichier de grande taille, la lecture de toute la chose en mémoire ne serait pas possible.

Tous les types ou les méthodes seraient appréciés.

Pouvez-vous expliquer pourquoi vous voulez lire une ligne aléatoire, au lieu de lire le fichier en entier dans des parties ou de quelque chose.
Pour faire une recherche binaire dans le fichier, chaque ligne commence par un entier. Je veux traiter les entiers comme des clés et le reste de la ligne comme la valeur.

OriginalL'auteur Mantas Vidutis | 2011-02-15

  1. 14

    Cela semble être exactement le genre de chose mmap a été conçu pour. Un mmap objet crée une chaîne-comme l'interface dans un fichier:

    >>> f = open("bonnie.txt", "wb")
>>> f.write("My Bonnie lies over the ocean.")
>>> f.close()
>>> f.open("bonnie.txt", "r+b")
>>> mm = mmap(f.fileno(), 0)
>>> print mm[3:9]
Bonnie

    Dans le cas où vous vous le demandiez, mmap les objets peuvent également être attribuée à: 

    >>> print mm[24:]
ocean.
>>> mm[24:] = "sea.  "
>>> print mm[:]
My Bonnie lies over the sea.

    OriginalL'auteur senderle

  2. 6

    Depuis les lignes peuvent être de longueur arbitraire, vous avez vraiment ne pouvez pas obtenir une ligne aléatoire (si tu veux dire "une ligne dont le numéro est réellement aléatoire" ou "une ligne avec un nombre arbitraire, choisie par moi") sans traversant l'ensemble du fichier.

    Si kinda-sorta-aléatoire est assez, vous pouvez demander à un endroit aléatoire dans le fichier et le lire avant jusqu'à ce que vous frappez un terminateur de ligne. Mais c'est inutile si vous voulez trouver (dire) numéro de ligne 1234, et les lignes d'échantillonnage non-uniforme si vous voulez vraiment une choisie au hasard à la ligne.

    Je vois que vous êtes désireux de faire une recherche binaire. Dans ce cas: oui, demander à un point environ à mi-chemin entre les limites inférieure et supérieure, lire un morceau, et recherchez les lignes à l'intérieur de ce morceau. (C'est sans doute évident, mais: N'essayez pas de chercher autour de au hasard au niveau de la granularité de la ligne, à moins d'être très long. Lire des pièces plus grandes. De cette façon, vous êtes moins dépendants sur les détails de l'OS, et le Python de la mise en mémoire tampon, et vous éviter des frais généraux.)

    OriginalL'auteur Gareth McCaughan

  3. 4

    Vous pouvez utiliser linecache:

    import linecache
print linecache.getline(your_file.txt, randomLineNumber) # Note: first line is 1, not 0

    OriginalL'auteur David M.

  4. 1

    fichier objets ont une méthode de recherche qui peut prendre une valeur particulière de l'octet à l'intérieur du fichier.
    Pour voyager à travers les fichiers de grande taille, itérer dessus et vérifier la valeur de chaque ligne. En itérant le fichier objet ne prend pas en charge l'ensemble du contenu du fichier en mémoire.

    OriginalL'auteur Senthil Kumaran

  5. 1

    Oui, vous pouvez facilement obtenir une ligne aléatoire. Cherchez simplement à une position aléatoire dans le fichier, puis chercher vers le début jusqu'à ce que vous frappez un \n ou au début du fichier, puis lire une ligne.

    Code:

    import sys,random
with open(sys.argv[1],"r") as f:
    f.seek(0,2)                 # seek to end of file
    bytes = f.tell()
    f.seek(int(bytes*random.random()))

    # Now seek forward until beginning of file or we get a \n
    while True:
        f.seek(-2,1)
        ch = f.read(1)
        if ch=='\n': break
        if f.tell()==1: break

    # Now get a line
    print f.readline()
    Un couple de notes. (1) Vous devriez probablement de l'ouvrir comme un fichier binaire si vous allez à aller chercher autour de chez elle. (2) Vous aurez probablement obtenir de meilleures performances (en raison d'une meilleure interaction avec le sous-jacent de mise en mémoire tampon, et moins d'appels à f.seek) si vous regarder vers l'avant à partir du point que vous avez atterri au lieu de l'arrière. L'inconvénient de cette est que vous n'aurez jamais la première ligne de cette façon, et peut atteindre la fin du fichier, mais vous pouvez contourner cela en disant que: si vous avez atteint la fin du fichier, allez au début et à lire une ligne à partir de là.
    Vrai. Aller de l'avant est légèrement plus élevé de performance, mais alors vous devez le wrap-around logique. Je fais la plupart de mon développement sur Unix, où la distinction entre "binaire" et "texte" fichiers n'est pas significatif.

    OriginalL'auteur vy32

  6. 1

    L'objet de Fichier prend en charge de chercher, mais assurez-vous que vous les ouvrez en tant que binaire, c'est à dire "rb".

    Vous pouvez également utiliser le mmap module pour un accès aléatoire, en particulier si les données sont dans un format interne déjà.

    OriginalL'auteur Michael Dillon

  7. 1

    A fixé des enregistrements de longueur? Si donc, oui, vous pouvez mettre en œuvre une recherche binaire de l'algorithme à l'aide de la recherche.

    Sinon, chargez votre fichier dans une base de données SQLlite. Requête qui.

    OriginalL'auteur John Machin