FUN-erreur après l'exécution de 'tolower' tout en faisant Twitter wordcloud

Un bel exemple sur la création de wordcloud de données de Twitter est ici. À l'aide de l'exemple, et le code ci-dessous, et de passer le tolower paramètre lors de la création du TermDocumentMatrix, j'ai pu créer un compte Twitter wordcloud.

library(twitteR)
library(tm)
library(wordcloud)
library(RColorBrewer)
library(ggplot2)


#Collect tweets containing 'new year'
tweets = searchTwitter("new year", n=50, lang="en")

#Extract text content of all the tweets
tweetTxt = sapply(tweets, function(x) x$getText())

#In tm package, the documents are managed by a structure called Corpus
myCorpus = Corpus(VectorSource(tweetTxt))

#Create a term-document matrix from a corpus
tdm = TermDocumentMatrix(myCorpus,control = list(removePunctuation = TRUE,stopwords = c("new", "year", stopwords("english")), removeNumbers = TRUE, tolower = TRUE))

#Convert as matrix
m = as.matrix(tdm)

#Get word counts in decreasing order
word_freqs = sort(rowSums(m), decreasing=TRUE) 

#Create data frame with words and their frequencies
dm = data.frame(word=names(word_freqs), freq=word_freqs)

#Plot wordcloud
wordcloud(dm$word, dm$freq, random.order=FALSE, colors=brewer.pal(8, "Dark2"))

OriginalL'auteur bdeb2015

Les solutions ci-dessus peut-être travaillé, mais pas plus dans les dernières versions de wordcloud et tm.

Ce problème est presque fait de moi un fou, mais j'ai trouvé une solution et veulent l'expliquer du mieux que je peux pour sauver quelqu'un de devenir désespérée.

La fonction qui est implicitement appelé par wordcloud et chargé de lancer l'erreur

 Error in FUN(content(x), ...) : in 'utf8towcs'

est celui-ci:

words.corpus <- tm_map(words.corpus, tolower)

qui est un raccourci pour

words.corpus <- tm_map(words.corpus, content_transformer(tolower))

De fournir un reproductibles exemple, voici une fonction qui intègre la solution:

plot_wordcloud <- function(words, max_words = 70, remove_words ="",
                           n_colors = 5, palette = "Set1")
{
    require(dplyr)
    require(wordcloud)
    require(RColorBrewer) # for brewer.pal()
    require(tm) # for tm_map()

    # Solution: remove all non-printable characters in UTF-8 with this line
    words <- iconv(words, "ASCII", "UTF-8", sub="byte")

    wc <- wordcloud(words=words.corpus, max.words=max_words,
                    random.order=FALSE,
                    colors = brewer.pal(n_colors, palette),
                    random.color = FALSE,
                    scale=c(5.5,.5), rot.per=0.35) %>% recordPlot
    return(wc)
}

Voici ce qui a échoué:

J'ai essayé de convertir le texte AVANT et APRÈS la création du corpus avec

words.corpus <- Corpus(VectorSource(words))

AVANT:

De la conversion en UTF-8 sur le texte ne fonctionne pas avec:

words <- sapply(words, function(x) iconv(enc2utf8(x), sub = "byte"))

ni

for (i in 1:length(words))
{
    Encoding(words[[i]])="UTF-8"
}

APRÈS:

De la conversion en UTF-8 sur le corpus n'a pas fonctionné:

    words.corpus <- tm_map(words.corpus, removeWords, remove_words)

ni

    words.corpus <- tm_map(words.corpus, content_transformer(stringi::stri_trans_tolower))

ni

    words.corpus <- tm_map(words.corpus, function(x) iconv(x, to='UTF-8'))

ni

    words.corpus <- tm_map(words.corpus, enc2utf8)

ni

    words.corpus <- tm_map(words.corpus, tolower)

Toutes ces solutions ont travaillé à un certain point dans le temps, donc je ne veux pas discréditer les auteurs. Ils peuvent travailler quelques temps dans l'avenir. Mais pourquoi ils n'ont pas de travail est presque impossible de dire parce qu'il y avait de bonnes raisons pour lesquelles ils étaient censés travailler.
De toute façon, n'oubliez pas de convertir le texte avant de créer le corpus:

    words <- iconv(words, "ASCII", "UTF-8", sub="byte")

Avertissement:
J'ai la solution avec des explications plus détaillées ici:
http://www.textasdata.com/2015/02/encoding-headaches-emoticons-and-rs-handling-of-utf-816/

OriginalL'auteur Agile Bean

Au lieu de

corp <- tm_map(corp, content_transformer(tolower), mc.cores=1)

utilisation

corp <- tm_map(corp, tolower, mc.cores=1)

OriginalL'auteur Michael Davidson