Comment faire le décompte du nombre de phrases, de mots et de caractères dans un fichier?

J'ai écrit le code suivant pour marquer l'entrée de l'alinéa qui vient du fichier samp.txt. Quelqu'un peut-il m'aider à trouver et imprimer le nombre de phrases, de mots et de caractères dans le fichier? J'ai utilisé NLTK en python pour cela.

>>>import nltk.data
>>>import nltk.tokenize
>>>f=open('samp.txt')
>>>raw=f.read()
>>>tokenized_sentences=nltk.sent_tokenize(raw)
>>>for each_sentence in tokenized_sentences:
...   words=nltk.tokenize.word_tokenize(each_sentence)
...   print each_sentence   #prints tokenized sentences from samp.txt
>>>tokenized_words=nltk.word_tokenize(raw)
>>>for each_word in tokenized_words:
...   words=nltk.tokenize.word_tokenize(each_word)
...   print each_words      #prints tokenized words from samp.txt
Semble homeworky

OriginalL'auteur aks | 2011-02-22

  1. 7

    Essayer de cette façon (ce programme suppose que vous travaillez avec un fichier texte dans le répertoire spécifié par dirpath):

    import nltk
folder = nltk.data.find(dirpath)
corpusReader = nltk.corpus.PlaintextCorpusReader(folder, '.*\.txt')

print "The number of sentences =", len(corpusReader.sents())
print "The number of patagraphs =", len(corpusReader.paras())
print "The number of words =", len([word for sentence in corpusReader.sents() for word in sentence])
print "The number of characters =", len([char for sentence in corpusReader.sents() for word in sentence for char in word])

    Espère que cette aide

    OriginalL'auteur inspectorG4dget

  2. 1

    Avec nltk, vous pouvez également utiliser FreqDist (voir O'Reillys Livre Ch3.1)

    Et dans votre cas:

    import nltk
raw = open('samp.txt').read()
raw = nltk.Text(nltk.word_tokenize(raw.decode('utf-8')))
fdist = nltk.FreqDist(raw)
print fdist.N()

    OriginalL'auteur TheIdealis

  3. 1

    Pour ce que ça vaut si quelqu'un arrive ici. Cela répond à tout ce que l'OP de la question posée, je pense. Si l'on utilise le textstat paquet, le comptage des phrases et des personnages est très facile. Il y a une certaine importance pour la ponctuation à la fin de chaque phrase.

    import textstat

your_text = "This is a sentence! This is sentence two. And this is the final sentence?"
print("Num sentences:", textstat.sentence_count(your_text))
print("Num chars:", textstat.char_count(your_text, ignore_spaces=True))
print("Num words:", len(your_text.split()))

    OriginalL'auteur salvu

  4. 0
    • Les personnages sont faciles à compter.
    • Paragraphes sont généralement faciles à compter. Chaque fois que vous voyez deux fois de suite les retours à la ligne, vous avez probablement un paragraphe. On pourrait dire qu'une énumération ou d'une liste non ordonnée est un paragraphe, même si leurs entrées peuvent être délimités par deux retours à la ligne chaque. D'une rubrique ou d'un titre trop peut être suivie par deux retours à la ligne, même si ils sont clairement pas les paragraphes. Considérer le cas d'un seul paragraphe dans un fichier, avec ou sans retours à la ligne suivante.
    • Phrases sont difficiles. Vous pouvez s'installer pour une période, d'exclamation ou d'interrogation suivie par des espaces ou de fin de fichier. C'est difficile parce que parfois, le côlon est la marque d'une fin de phrase, et parfois ça ne marche pas. Généralement quand il fait le à côté aucun caractère d'espacement serait de la capitale, dans le cas de l'anglais. Mais parfois pas; par exemple si c'est un chiffre. Et parfois, une parenthèse ouverte marques de fin de peine (mais c'est discutable, comme dans ce cas).
    • Mots sont trop difficiles. Habituellement, les mots sont séparés par des espaces ou des signes de ponctuation. Parfois un peu délimite un mot, parfois pas. C'est le cas avec un trait d'union, par exemple.

    Les mots et les phrases que vous aurez probablement besoin d'indiquer clairement votre définition d'une phrase et d'un mot et le programme de pour que.

    OriginalL'auteur wilhelmtell

  5. 0

    Pas correct à 100%, mais je viens de faire un essai. Je n'ai pas pris tous les points par @wilhelmtell en compte. J'ai essayer une fois que j'ai le temps...

    if __name__ == "__main__":
   f = open("1.txt")
   c=w=0
   s=1
   prevIsSentence = False
   for x in f:
      x = x.strip()
      if x != "":
        words = x.split()
        w = w+len(words)
        c = c + sum([len(word) for word in words])
        prevIsSentence = True
      else:
        if prevIsSentence:
           s = s+1
        prevIsSentence = False

   if not prevIsSentence:
      s = s-1
   print "%d:%d:%d" % (c,w,s)

    Ici 1.txt est le nom de fichier.

    OriginalL'auteur Poorna

  6. -3

    Il y a déjà un programme de compter le nombre de mots et de caractères-- wc.

    OriginalL'auteur Max E.