IntelliJ Idea 14: impossible de résoudre le symbole de l'étincelle

J'ai fait une dépendance de l'Étincelle qui a travaillé dans mon premier projet. Mais quand j'essaie de faire un nouveau projet avec Spark, mon TAS n'a pas d'importation de l'externe pots de org.apache.spark. Par conséquent, IntelliJ Idea donne l'erreur qu'il ne peut pas résoudre le symbole".
J'ai déjà essayé de faire un nouveau projet à partir de zéro et de l'utilisation de l'auto-import mais aucun ne fonctionne. Lorsque j'essaie de compiler je reçois les messages "objet apache n'est pas un membre de package org". Mon build.sbt ressemble à ceci:

name := "hello"
version := "1.0"
scalaVersion := "2.11.7"
libraryDependencies += "org.apache.spark" % "spark-parent_2.10" % "1.4.1"

J'ai l'impression qu'il pourrait y avoir quelque chose de mal avec mon TAS de paramètres, même s'il a déjà travaillé un temps. Et, sauf pour les bibliothèques externes, tout est la même chose...
J'ai aussi essayé d'importer les pom.xml fichier de mon étincelle de dépendance, mais qui a également ne fonctionne pas.
Je vous remercie à l'avance!

  • scalaVersion := "2.11.7" éventuellement des conflits avec "spark-parent_**2.10**" essayer spark-parent_2.11
  • J'ai aussi pensé à cela, mais cela ne marche pas. Et il a déjà travaillé avec spark-parent 2.10...
  • Est-il compiler dans le terminal? Êtes-vous en utilisant par défaut du résolveur ou une sorte de proxy (Nexus, Artifactory)? Qu'est-ce que la sortie du journal?
  • J'ai aussi ce message: SBT projet d'importation [avertir] [ECHEC ] org.apache.spark#spark-parent_2.11;1.4.1!spark-parent_2.11.jar(doc): (0ms) [avertissement] ==== local: essayé [avertir] C:\Users\Giselle\.ivy2\local\org.apache.spark\spark-parent_2.11\1.4.1\docs\spark-parent_2.11-javadoc.jar [avertissement] ==== public: essayé [avertir] repo1.maven.org/maven2/org/apache/spark/spark-parent_2.11/1.4.1/... [avertissement] [ECHEC ] org.apache.spark#spark-parent_2.11;1.4.1!spark-parent_2.11.jar(src): (0ms)
  • Je n'utilise pas toutes les résolveurs (pour autant que je suis au courant)
  • J'ai également le message d'erreur qu'il ne peut pas résoudre le % symboles dans la ligne de libraryDependencies
  • semble comme sbt est en train de télécharger Javadoc pour spark-parent. Avez-vous configuré javadoc télécharger en tas ou dans l'idée d'importer les paramètres?
  • par le moyen de l'étincelle-parent référentiels pour les deux 2.10 et 2.11 semblent ne contenir que des tests. En outre, officiel de l'étincelle de la documentation, ce qui semble indiquer que les réponses mentionnant spar-core sont plus probablement raison.

InformationsquelleAutor Giselle Van Dongen | 2015-08-28
  1. 4

    Cela a fonctionné pour moi->

    name := "ProjectName"
version := "0.1"
scalaVersion := "2.11.11"

libraryDependencies ++= Seq(
  "org.apache.spark" % "spark-core_2.11" % "2.2.0",
  "org.apache.spark" % "spark-sql_2.11" % "2.2.0",
  "org.apache.spark" % "spark-mllib_2.10" % "1.1.0"
)
    InformationsquelleAutor Yash P Shah
  2. 2

    - Je utiliser 

    scalaVersion := "2.11.7"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.1"

    dans mon build.sbt et cela fonctionne pour moi.

    InformationsquelleAutor Tobi
  3. 2

    J'ai eu un problème similaire. Il semble que la raison en était que les build.sbt fichier en spécifiant la version incorrecte de la scala.

    Si vous exécutez spark-shell il va dire à un certain point la scala version utilisée par Étincelle, par exemple

    Using Scala version 2.11.8

    Puis j'ai modifié la ligne dans le build.sbt fichier à point pour cette version et ça a fonctionné.

    InformationsquelleAutor JARS
  4. 2

    Actuellement spark-cassandra-connecteur compatible avec Scala 2.10 et 2.11.

    Il a travaillé pour moi quand j'ai mis à jour la scala version de mon projet comme ci-dessous:

    ThisBuild / scalaVersion := "2.11.12"

    et j'ai mis à jour mon dépendance comme:

    libraryDependencies += "com.datastax.spark" %% "spark-cassandra-connector" % "2.4.0",

    Si vous utilisez "%%", sbt va ajouter à votre projet binaires Scala version pour le nom d'artefact.

    De sbt exécuter: 

    sbt> reload
sbt> compile
    InformationsquelleAutor cell-in
  5. 1

    Votre bibliothèque dépendance au conflit avec la scala de la version que vous utilisez, vous devez utiliser 2.11 pour que cela fonctionne. La dépendance correct serait:

    scalaVersion := "2.11.7"
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.4.1"

    noter que vous avez besoin de changer spark_parent à spark_core

    • Correct. Ou il peut tout simplement le double de la première % de l'opérateur et de supprimer _2.11 (bien sauf il n'y a pas de version 2.11 pour Spark-parents sur la centrale)
    InformationsquelleAutor Erik Schmiegelow
  6. 0

    nom := "SparkLearning"

    version := "0.1"

    scalaVersion := "2.12.3"

    //bibliothèques supplémentaires
    libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "1.4.1"

    • Je suis à l'aide de Intellij2017.2 communauté de version et ça fonctionne pour moi
    InformationsquelleAutor Shyam Gupta