La façon la plus rapide de la suppression de certaines touches du dict en Python

Je suis à la recherche pour la plupart plus rapide/moyen efficace de supprimer certaines touches dans un python dict

Voici quelques options

for k in somedict.keys(): 
    if k.startswith("someprefix"): 
        del somedict[k]

ou

dict((k, v) for (k, v) in somedict.iteritems() if not k.startswith('someprefix'))

Logiquement premier extrait devrait être plus rapide sur les petites dicts, il n'est pas de créer une copie d'un dict, mais crée une liste de toutes les clés, cependant double recherches et dict la reconstruction prend du temps. Tandis que la seconde est plus rapide sur les plus grandes dicts, mais nécessite 2x plus de mémoire.
J'ai vérifié mon hypothèse, dans un petit indice de référence.

Quelque chose de plus rapide?

  • Non, vous ne pouvez pas. Vous ne pouvez pas ajouter ou supprimer des éléments à partir d'un dict vous êtes à parcourir.
  • L'utilisation d'un trie. ___
  • merci, supprimé le commentaire.
  • Un cas particulier: si votre préfixes sont de taille fixe, de maintenir un dict de la liste des préfixes. Ensuite, c'est juste une suppression de toutes les clés dans une liste.
InformationsquelleAutor HardQuestions | 2010-06-19
  1. 9

    Si le dict est assez grand, il peut être utile de générer un ensemble de nouvelles au lieu dict.

    dict((k, v) for (k, v) in somedict.iteritems() if not k.startswith('someprefix'))
    • Merci, ma première solution était exactement comme la vôtre, intéressant de comparer ce qui est plus rapide.
    InformationsquelleAutor Ignacio Vazquez-Abrams
  2. 12

    N'est pas seulement del plus facile à comprendre, mais il semble un peu plus rapide que pop():

    $ python -m timeit -s "d = {'f':1,'foo':2,'bar':3}" "for k in d.keys():" "  if k.startswith('f'):" "    del d[k]"
1000000 loops, best of 3: 0.733 usec per loop

$ python -m timeit -s "d = {'f':1,'foo':2,'bar':3}" "for k in d.keys():" "  if k.startswith('f'):" "    d.pop(k)"
1000000 loops, best of 3: 0.742 usec per loop

    Edit: merci à Alex Martelli pour fournir des instructions sur la façon de faire de l'analyse comparative. J'espère que je n'ai pas glissé vers le haut de n'importe où.

    D'abord mesurer le temps nécessaire pour copier:

    $ python -m timeit -s "d = {'f':1,'foo':2,'bar':3}" "d1 = d.copy()"
1000000 loops, best of 3: 0.278 usec per loop

    De référence sur des copies de dict:

    $ python -m timeit -s "d = {'f':1,'foo':2,'bar':3}" "d1 = d.copy()" "for k in d1.keys():" "  if k.startswith('f'):" "    del d1[k]"
100000 loops, best of 3: 1.95 usec per loop

$ python -m timeit -s "d = {'f':1,'foo':2,'bar':3}" "d1 = d.copy()" "for k in d1.keys():" "  if k.startswith('f'):" "    d1.pop(k)"
100000 loops, best of 3: 2.15 usec per loop

    Soustrayant le coût de la copie, nous obtenons 1.872 usec pour pop() et 1.672 pour del.

    • Vous pensez pop plus rapide que de le supprimer?
    • ajouté référence pour montrer que votre chemin est un peu plus rapide que d'utiliser pop() tout en étant plus lisible de l'OMI.
    • Bernier juste parce que pop renvoie une valeur, tandis que del pas. Avec plus de dict ou de plus grandes valeurs de la différence devrait être notable.
    • très mauvaise façon d'utiliser timeit: de ceux 1000000 boucles, 999999 exécuter plus d'un 1-entrée dict avec bar comme la seule clé (la -s code de programme d'installation n'est pas répété avant chaque boucle). Vous avez besoin de faire et de modifier un d1=d.copy() (avec cette déclaration comme une partie du code mesuré par timeit) -- ce genre de chose est cruciale à tout moment, vous êtes en mesure de code qui modifie les données. Vous pouvez normaliser (afin de trouver le timing ratios) par l'ajout d'une telle copie à toutes les variantes que vous êtes timing, séparément de mesure uniquement la copy et en soustrayant de son temps de les timings des variantes de code qui vous intéresse.
    • merci beaucoup pour une telle analyse précise. J'espère que je n'ai pas bâclé vos instructions dans mon montage.
    • vous êtes les bienvenus, et, +1, comme il semble à présent (sur superficielle vérifiant au moins).
    • Les gars, je pense que nous sommes peu à l'écart de la question d'origine. Assurez-vous del sera toujours plus rapide que de la pop, parce que la dernière déclaration de la valeur.

    InformationsquelleAutor bernie