Installer par programme NLTK corpus / modèles, c'est à dire sans interface graphique downloader?

Mon projet utilise le NLTK. Comment puis-je liste le projet de corpus & modèle d'exigences, de sorte qu'ils peuvent être installés automatiquement? Je ne veux pas à cliquer sur le nltk.download() GUI, l'installation de paquets un par un.

Aussi, un moyen de figer cette même liste d'exigences (comme pip freeze)?

InformationsquelleAutor Bluu | 2011-04-30
  1. 49

    La NLTK site ne liste à une interface de ligne de commande pour télécharger les paquets et les collections au bas de cette page :

    http://www.nltk.org/data

    L'utilisation de lignes de commande varie en fonction de la version de Python que vous utilisez, mais sur mon Python2.6 installer, j'ai remarqué qu'il me manquait le " spanish_grammar modèle et cela a bien fonctionné:

    python -m nltk.downloader spanish_grammars

    Vous mentionnez inscription du projet corpus et les exigences des modèles et, bien que je ne suis pas sûr de la façon de automagiquement le faire, j'ai pensé que je serait au moins partager.

    InformationsquelleAutor burgersmoke
  2. 29

    Pour installer tous les NLTK corps & modèles:

    python -m nltk.downloader all

    Sinon, sous Linux, vous pouvez utiliser:

    sudo python -m nltk.downloader -d /usr/local/share/nltk_data all

    Remplacer all par popular si vous voulez juste pour la liste la plus populaire de corpus & modèles.

    Vous pouvez également parcourir le corps & par les modèles de la ligne de commande:

    mlee@server:/scratch/jjylee/tests$ sudo python -m nltk.downloader
[sudo] password for jjylee:
NLTK Downloader
---------------------------------------------------------------------------
    d) Download   l) List    u) Update   c) Config   h) Help   q) Quit
---------------------------------------------------------------------------
Downloader> d

Download which package (l=list; x=cancel)?
  Identifier> l
Packages:
  [ ] averaged_perceptron_tagger_ru Averaged Perceptron Tagger (Russian)
  [ ] basque_grammars..... Grammars for Basque
  [ ] bllip_wsj_no_aux.... BLLIP Parser: WSJ Model
  [ ] book_grammars....... Grammars from NLTK Book
  [ ] cess_esp............ CESS-ESP Treebank
  [ ] chat80.............. Chat-80 Data Files
  [ ] city_database....... City Database
  [ ] cmudict............. The Carnegie Mellon Pronouncing Dictionary (0.6)
  [ ] comparative_sentences Comparative Sentence Dataset
  [ ] comtrans............ ComTrans Corpus Sample
  [ ] conll2000........... CONLL 2000 Chunking Corpus
  [ ] conll2002........... CONLL 2002 Named Entity Recognition Corpus
  [ ] conll2007........... Dependency Treebanks from CoNLL 2007 (Catalan
                           and Basque Subset)
  [ ] crubadan............ Crubadan Corpus
  [ ] dependency_treebank. Dependency Parsed Treebank
  [ ] europarl_raw........ Sample European Parliament Proceedings Parallel
                           Corpus
  [ ] floresta............ Portuguese Treebank
  [ ] framenet_v15........ FrameNet 1.5
Hit Enter to continue: 
  [ ] framenet_v17........ FrameNet 1.7
  [ ] gazetteers.......... Gazeteer Lists
  [ ] genesis............. Genesis Corpus
  [ ] gutenberg........... Project Gutenberg Selections
  [ ] hmm_treebank_pos_tagger Treebank Part of Speech Tagger (HMM)
  [ ] ieer................ NIST IE-ER DATA SAMPLE
  [ ] inaugural........... C-Span Inaugural Address Corpus
  [ ] indian.............. Indian Language POS-Tagged Corpus
  [ ] jeita............... JEITA Public Morphologically Tagged Corpus (in
                           ChaSen format)
  [ ] kimmo............... PC-KIMMO Data Files
  [ ] knbc................ KNB Corpus (Annotated blog corpus)
  [ ] large_grammars...... Large context-free and feature-based grammars
                           for parser comparison
  [ ] lin_thesaurus....... Lin's Dependency Thesaurus
  [ ] mac_morpho.......... MAC-MORPHO: Brazilian Portuguese news text with
                           part-of-speech tags
  [ ] machado............. Machado de Assis -- Obra Completa
  [ ] masc_tagged......... MASC Tagged Corpus
  [ ] maxent_ne_chunker... ACE Named Entity Chunker (Maximum entropy)
  [ ] moses_sample........ Moses Sample Models
Hit Enter to continue: x


Download which package (l=list; x=cancel)?
  Identifier> conll2002
    Downloading package conll2002 to
        /afs/mit.edu/u/m/mlee/nltk_data...
      Unzipping corpora/conll2002.zip.

---------------------------------------------------------------------------
    d) Download   l) List    u) Update   c) Config   h) Help   q) Quit
---------------------------------------------------------------------------
Downloader>
    InformationsquelleAutor Franck Dernoncourt
  3. 15

    En plus de l'option de ligne de commande déjà mentionné, vous pouvez installer par programme NLTK de données dans votre script Python par l'ajout d'un argument à l' download() fonction.

    Voir le help(nltk.download) texte, en particulier:

    Individual packages can be downloaded by calling the ``download()``
function with a single argument, giving the package identifier for the
package that should be downloaded:

    >>> download('treebank') # doctest: +SKIP
    [nltk_data] Downloading package 'treebank'...
    [nltk_data]   Unzipping corpora/treebank.zip.

    Je peux confirmer que cela fonctionne pour le téléchargement d'un package à un moment, ou lorsqu'il est passé d'un list ou tuple.

    >>> import nltk
>>> nltk.download('wordnet')
[nltk_data] Downloading package 'wordnet' to
[nltk_data]     C:\Users\_my-username_\AppData\Roaming\nltk_data...
[nltk_data]   Unzipping corpora\wordnet.zip.
True

    Vous pouvez également essayer de télécharger une déjà téléchargé un paquet sans problèmes:

    >>> nltk.download('wordnet')
[nltk_data] Downloading package 'wordnet' to
[nltk_data]     C:\Users\_my-username_\AppData\Roaming\nltk_data...
[nltk_data]   Package wordnet is already up-to-date!
True

    Aussi, il semble que la fonction renvoie une valeur booléenne que vous pouvez utiliser pour voir si oui ou non le téléchargement réussi:

    >>> nltk.download('not-a-real-name')
[nltk_data] Error loading not-a-real-name: Package 'not-a-real-name'
[nltk_data]     not found in index
False
    InformationsquelleAutor Wesley Baugh
  4. 3

    J'ai réussi à installer le corpus et les modèles à l'intérieur d'un répertoire personnalisé en utilisant le code suivant:

    import nltk
nltk.download(info_or_id="popular", download_dir="/path/to/dir")
nltk.data.path.append("/path/to/dir")

    cela permettra d'installer "tous" corpus/modèles à l'intérieur de /path/to/dir, et je sais NLTK où chercher pour elle (data.path.append).

    Vous ne pouvez pas «geler» les données dans un fichier, mais vous pouvez ajouter ce code à votre __init__ en plus de venir de code pour vérifier si les fichiers sont déjà là.

    InformationsquelleAutor Luis Alberto Santana