Python: charger des mots à partir d'un fichier dans un ensemble

J'ai un simple fichier texte avec plusieurs milliers de mots, chacun dans sa propre ligne, par exemple

aardvark
hello
piper

J'utilise le code suivant pour charger les mots dans un ensemble (j'ai besoin de la liste de mots pour le test d'adhésion, de sorte ensemble est la structure de données que j'ai choisi):

my_set = set(open('filename.txt'))

Le code ci-dessus produit un ensemble avec les entrées suivantes (chaque mot est suivi d'un espace et le caractère de nouvelle ligne:

("aardvark \n", "hello \n", "piper \n")

Quelle est la façon la plus simple pour charger le fichier dans un ensemble, mais de se débarrasser de l'espace et \n?

Grâce

InformationsquelleAutor Roee Adler | 2009-05-17
  1. 49

    Le strip() la méthode des chaînes supprime les espaces à partir de deux extrémités.

    set(line.strip() for line in open('filename.txt'))
    • C'est supérieur à l'ensemble de la solution si vous avez un gros fichier, parce que la carte va charger tout le fichier en mémoire comme une liste de lignes, qui seront ensuite jetés (itertools.imap peut corriger ça, tout de même).
    • ce qui est vrai pour Python <= 2.6, mais dans la version 3.0 de la carte renvoie un générateur.
    • Désolé d'être si en retard, mais je ne pouvais m'empêcher de poser cette question à vous! J'avais observé que print my_set[0] serait toujours l'impression aardvark. Il l'a fait déplacer le curseur à la ligne suivante après l'impression ?Veuillez me corriger si je me trompe, mais comment est-ce possible ? (Python 27) Merci !
    • oui, print ajoute un saut de ligne. Essayez print repr(my_set[0]).
    • Est-il fermer le gestionnaire de fichier ainsi?
    InformationsquelleAutor
  2. 12

    Il suffit de charger toutes les données du fichier et de le diviser, il va prendre soin d'un mot par ligne ou plusieurs mots par ligne, séparés par des espaces, aussi il sera plus rapide à charger tout le fichier à la fois, à moins que votre fichier est dans le Sgb

    words =  set(open('filename.txt').read().split())
    • Donc, ce serait du travail si je n'ai qu'un mot par ligne et aussi si j'ai plusieurs mots par ligne? (en supposant que si j'ai une ligne comme "bonjour au revoir" je veux "bonjour" et "au revoir" en deux mots dans le jeu)
    • oui, il sera essentiellement divisés sur l'espace, la nouvelle ligne d'onglets etc, donc vous pouvez avoir tous les mots de la seule ligne ou plusieurs lignes ou mixte
    • et ne vous inquiétez pas abt chargement de tout le fichier en mémoire, sauf si vous avez de très très gros fichiers, ce dont je doute quelques mo est parfait et ce sera plus rapide
    InformationsquelleAutor Anurag Uniyal
  3. 4
    my_set = set(map(str.strip, open('filename.txt')))
    • Cette solution permettra de bien enlever tous les espaces et les caractères de saut de ligne par l'application de la str.bande de méthode pour chaque ligne de filename.txt
    InformationsquelleAutor RichieHindle
  4. 1

    Pour supprimer uniquement la main droite des espaces.

    set(map(str.rstrip, open('filename.txt')))
    • Si la taille du fichier était assez grande, cette méthode serait peut-être plus rapidement. Il évite une comparaison supplémentaire avec isspace() sur le côté gauche de chaque chaîne.
    • Oui, l'auteur n'est spécifié espaces sur le côté droit, de sorte qu'il est logique de ne rstrip au lieu de la bande ou de la division.
    InformationsquelleAutor Unknown
  5. 1
    with open("filename.txt") as f:
    s = set([line.rstrip('\n') for line in f])
    • vous n'avez pas besoin de compréhension de liste là
    InformationsquelleAutor mtasic85
  6. 1
    with open("filename.txt") as f:
    mySet = map(str.rstrip, f)

    Si vous voulez l'utiliser dans Python 2.5, vous avez besoin

    from __future__ import with_statement
    • Je pense qu'ici vous avez une erreur de syntaxe: set(carte(str.rstrip('\n') str, f)
    • Merci pour la capture, j'ai corrigé.
    InformationsquelleAutor Matt G