Spark application jette javax.servlet.FilterRegistration

Je suis en utilisant Scala pour créer et exécuter une Étincelle application localement.

Mon build.sbt:

name : "SparkDemo"
version : "1.0"
scalaVersion : "2.10.4"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.0"    exclude("org.apache.hadoop", "hadoop-client")
libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.2.0"
libraryDependencies += "org.apache.hadoop" % "hadoop-common" % "2.6.0"  excludeAll(
ExclusionRule(organization = "org.eclipse.jetty"))
libraryDependencies += "org.apache.hadoop" % "hadoop-mapreduce-client-core" % "2.6.0"
libraryDependencies += "org.apache.hbase" % "hbase-client" % "0.98.4-hadoop2"
libraryDependencies += "org.apache.hbase" % "hbase-server" % "0.98.4-hadoop2"
libraryDependencies += "org.apache.hbase" % "hbase-common" % "0.98.4-hadoop2"
mainClass in Compile := Some("demo.TruckEvents")

Au cours de l'exécution j'obtiens l'exception:

Exception in thread "main" java.lang.ExceptionInInitializerError
lors de l'appel de... Causés par: java.lang.SecurityException: classe
"javax.servlet.FilterRegistration"'s signataire de l'information ne correspond pas à
signataire de l'information des autres classes du même package

L'exception est déclenchée ici:

val sc = new SparkContext("local", "HBaseTest")

Je suis à l'aide de l'Ide, Scala/SBT plugin.

J'ai vu que d'autres personnes ont aussi ce problème suggestion de solution. Mais c'est un build maven... Est mon sbt mal ici? Ou toute autre suggestion comment je peux résoudre ce problème?

InformationsquelleAutor Marco | 2015-01-22

Voir ma réponse à une question similaire ici. Les conflits de classe car HBase dépend org.mortbay.jetty, et de la bougie dépend org.eclipse.jetty. J'ai été en mesure de résoudre le problème en excluant org.mortbay.jetty dépendances de HBase.

Si vous êtes en tirant dans hadoop-common, alors vous pouvez aussi avoir besoin d'exclure javax.servlet de hadoop-common. J'ai un travail HBase/Spark configuration avec mon sbt dépendances défini comme suit:

val clouderaVersion = "cdh5.2.0"
val hadoopVersion = s"2.5.0-$clouderaVersion"
val hbaseVersion = s"0.98.6-$clouderaVersion"
val sparkVersion = s"1.1.0-$clouderaVersion"

val hadoopCommon = "org.apache.hadoop" % "hadoop-common" % hadoopVersion % "provided" excludeAll ExclusionRule(organization = "javax.servlet")
val hbaseCommon = "org.apache.hbase" % "hbase-common" % hbaseVersion % "provided"
val hbaseClient = "org.apache.hbase" % "hbase-client" % hbaseVersion % "provided"
val hbaseProtocol = "org.apache.hbase" % "hbase-protocol" % hbaseVersion % "provided"
val hbaseHadoop2Compat = "org.apache.hbase" % "hbase-hadoop2-compat" % hbaseVersion % "provided"
val hbaseServer = "org.apache.hbase" % "hbase-server" % hbaseVersion % "provided" excludeAll ExclusionRule(organization = "org.mortbay.jetty")
val sparkCore = "org.apache.spark" %% "spark-core" % sparkVersion % "provided"
val sparkStreaming = "org.apache.spark" %% "spark-streaming" % sparkVersion % "provided"
val sparkStreamingKafka = "org.apache.spark" %% "spark-streaming-kafka" % sparkVersion exclude("org.apache.spark", "spark-streaming_2.10")

Juste au cas où quelqu'un se soucie, cette approche fonctionne avec maven ainsi.

InformationsquelleAutor Mansoor Siddiqui

4

Si vous utilisez IntelliJ IDEA， essayez ceci:
1. Cliquez-droit sur le dossier racine du projet, choisissez Ouvrir les Paramètres du Module de
2. Dans la nouvelle fenêtre, choisissez Modules dans la colonne de navigation de gauche
3. Dans la colonne de droite, sélectionnez Dépendances onglet, de trouver Maven: javax.servlet:servlet-api:2.5
4. Enfin, il suffit de déplacer cet élément vers le bas en appuyant sur ALT+flèche vers le Bas.
Il faut résoudre ce problème.

Cette méthode est venu de http://wpcertification.blogspot.ru/2016/01/spark-error-class-javaxservletfilterreg.html
- a travaillé pour moi. Merci
- a travaillé pour moi aussi.
InformationsquelleAutor Jing He
3

Si elle se passe dans Intellij Idea, vous devriez aller pour le projet de création et de trouver le pot dans les modules, et le retirer. Puis exécutez votre code avec sbt à travers la coquille. Elle permettra d'obtenir les fichiers jar lui-même, et ensuite revenir à l'ide, et de ré-exécuter le code par le biais de l'ide. Il fonctionne en quelque sorte pour moi et corrige l'erreur. Je ne sais pas quel était le problème, puisqu'il ne montre pas plus.

Oh, j'ai aussi supprimé le fichier jar, et a ajouté "javax.servlet:javax.servlet-api:3.1.0" par maven par la main et maintenant je peux voir l'erreur a disparu.

InformationsquelleAutor M.Rez
3

Lorsque vous utilisez SBT, FilterRegistration classe est présent dans la version 3.0 et aussi si vous utilisez de la JETÉE Ou Java 8 ce POT de 2,5 il ajoute automatiquement comme la dépendance,

Correctif: Servlet-api-2.5 POT était la pagaille là, j'ai résolu ce problème en ajoutant servlet-api-3.0 pot dans les dépendances,

InformationsquelleAutor Ravi Macha
1

Si vous exécutez l'intérieur de l'ide, veuillez vérifier dans les paramètres de projet si vous avez deux modules actifs (l'un pour le projet et un autre pour sbt).

Probablement un problème lors de l'importation d'un projet existant.
- nous devrions avoir les deux modules actifs, ou sur un seul? avez-vous plus d'infos à ce sujet?
InformationsquelleAutor Juan Alonso

Pour moi œuvres suivantes:

libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-core" % sparkVersion.value % "provided",
    "org.apache.spark" %% "spark-sql"  % sparkVersion.value % "provided",
    ....................................................................
).map(_.excludeAll(ExclusionRule(organization = "javax.servlet")))

InformationsquelleAutor Igorock

0

essayez d'exécuter un programme simple sans hadoop et hbase dépendance
```
libraryDependencies += "org.apache.hadoop" % "hadoop-common" % "2.6.0"     excludeAll(ExclusionRule(organization = "org.eclipse.jetty"))

libraryDependencies += "org.apache.hadoop" % "hadoop-mapreduce-client-core" % "2.6.0"


libraryDependencies += "org.apache.hbase" % "hbase-client" % "0.98.4-hadoop2"

libraryDependencies += "org.apache.hbase" % "hbase-server" % "0.98.4-hadoop2"

libraryDependencies += "org.apache.hbase" % "hbase-common" % "0.98.4-hadoop2"
```
Il devrait y avoir incompatibilité des dépendances. assurez-vous également que vous avez la même version de pots pendant que vous compilez et pendant que vous exécutez.

Aussi est-il possible d'exécuter du code sur la spark shell à reproduire ? Je vais être en mesure d'aider à mieux.
- Spark autonome fonctionne....ce n'est pas la question. J'ai besoin d'avoir ces bibliothèques et je suis en utilisant sbt - donc je pense que runtime/compiler est le même
InformationsquelleAutor Pankaj Narang

Vous devez vous connecter pour publier un commentaire.