java.lang.NoClassDefFoundError: org / apache / spark / streaming / twitter / TwitterUtils $ pendant l'exécution de TwitterPopularTags

Je vous remercie pour votre suggestion. J'ai été en mesure de résoudre ce problème en utilisant SBT assemblée. Voici les détails concernant la façon dont je l'ai fait.

Spark - Déjà présent dans Cloudera VM
Scala - vous ne savez Pas si c'est présent dans Cloudera, si non, nous pouvons l'installer
SBT - Cela doit aussi être installé. Je n'ai à la fois l'installe sur ma machine locale et transféré le Pot à la VM. Pour l'installation de cela, j'ai utilisé le lien suivant

https://gist.github.com/visenger/5496675

1) une Fois que tous ces éléments sont créés. Nous avons pour créer le dossier parent pour notre projet. J'ai créé un dossier appelé Twitter.

2) Créez un autre dossier avec la structure suivante Twitter/src/main/scala et des créé le .scala fichier dans ce dossier avec le nom TwitterPopularTags.scala. Cela a de légères modifications du code qui nous a le github. J'ai dû changer de déclarations d'importation

import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.StreamingContext._
import org.apache.spark.SparkContext._
import org.apache.spark.streaming.twitter._
import org.apache.spark.SparkConf

3) Après cela, créez un autre dossier dans le dossier parent avec le nom suivant

Twitter/projet

et de créer un fichier avec le nom de l'assemblée.sbt . C'est le chemin d'accès de l'assemblée plugin. Voici le code complet du fichier.

resolvers += Resolver.url("sbt-plugin-releases-scalasbt", url("http://repo.scala-sbt.org/scalasbt/sbt-plugin-releases/"))

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.12.0")

4) une Fois que les deux ci-dessus sont créés, créer un fichier dans le répertoire parent du projet (Twitter) avec le nom de construire.sbt. C'est là que nous avons besoin de fournir le nom de l' .Jar fichier dont nous avons besoin pour créer et aussi les dépendances. Veuillez noter que même les lignes vides entre les codes dans ce fichier sont importantes.

name := "TwitterPopularTags"

version := "1.0"

mergeStrategy in assembly <<= (mergeStrategy in assembly) { (old) =>
   {
    case PathList("META-INF", xs @ _*) => MergeStrategy.discard
    case x => MergeStrategy.first
   }
}

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.1.0" % "provided"

libraryDependencies += "org.apache.spark" %% "spark-streaming" % "1.1.0" % "provided"

libraryDependencies += "org.apache.spark" %% "spark-streaming-twitter" % "1.2.0" 

libraryDependencies += "org.twitter4j" % "twitter4j-stream" % "3.0.3" 

resolvers += "Akka Repository" at "http://repo.akka.io/releases/"

5) Enfin, nous devons nous ouvrir le terminal et allez dans le dossier parent du projet (Twitter). De là, entrez la commande suivante:

sbt assembly

Ceci va télécharger les dépendances et créer le fichier jar dont nous avons besoin.

6) pour exécuter le programme que nous avons besoin d'une application twitter, créé en vertu de notre identité et de fournir le jeton d'authentification et d'autres détails. Le détail, étape sur la façon de créer cette est présent dans le lien suivant.

http://ampcamp.berkeley.edu/3/exercises/realtime-processing-with-spark-streaming.html

7) une Fois que nous avons tous les ci-dessus fait, nous pouvons utiliser le bon de commande envoyer de machine virtuelle pour exécuter le travail. Exemple de commande est

./bin/spark-submit \
  --class TwitterPopularTags \
  --master local[4] \
  /path/to/TwitterPopilarTags.jar \
  comsumerkey consumersecret accesstoken accesssecret 

8) Cette impression de la sortie de la console afin de surveiller la sortie, il est préférable de réduire la fréquence
en ajustant le code.

S'il vous plaît laissez-moi savoir si plus d'informations sont nécessaires.

Merci & en ce qui Concerne,

VPV

Cette erreur signifie simplement que lors de l'exécution TwitterUtils classe(ou dans le langage scala TwitterUtils objet) n'est pas présentée, cependant au moment de la compilation, il est présenté(parce que sinon vous ne serez pas en mesure de construire avec maven). Vous devez vous assurer que le fichier jar que vous avez créé, en effet, contient cette classe/objet. Vous pouvez simplement décompresser ce fichier jar pour voir ce qui est réellement inclus. Très probablement, vos maven build fichier utilise la dépendance de construire le projet, mais ne pas l'inclure dans la version finale du pot.