Erreur lors de l'utilisation du contexte Hive dans spark: object hive n'est pas membre du package org.apache.spark.sql

Je suis en train de construire une Ruche Contexte ,qui hérite de l'SQLContext.

val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

J'obtiens l'erreur suivante:

error: object hive is not a member of package org.apache.spark.sql
       val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

Je peux voir clairement à partir de l'auto-complétion que la ruche fais pas exister.
Toutes les idées sur la façon de résoudre ce problème? Ceci est un exemple de l'sparkSQL de la documentation disponible.

Merci

source d'informationauteur user1189851

  1. 7

    En raison de la ruche de dépendances, il n'est pas compilé dans l'étincelle binaires par défaut, vous devez construire vous-même. Citation de la site web

    Cependant, depuis la Ruche a un grand nombre de dépendances, il n'est pas inclus dans la valeur par défaut de l'Étincelle de l'assemblée. Pour utiliser la Ruche vous devez d'abord exécuter sbt/sbt -Phive assembly/assembly (ou utilisez -Phive pour maven).

  2. 14

    À l'aide de sbt:

    Vous devez inclure étincelle de la ruche dans vos dépendances.

    Pour ce faire, ajoutez la ligne suivante dans votre .sbt fichier:

    libraryDependencies += "org.apache.spark" %% "spark-hive" % "1.5.0"

  3. 2

    Voici un exemple de maven dependency

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_${scala.tools.version}</artifactId>
        <version>${spark.version}</version>
</dependency>

    --- pour ceux qui ont besoin de savoir comment définir les propriétés dans le POM, ci-dessous est un exemple

    <properties>
        <maven.compiler.source>1.7</maven.compiler.source>
        <maven.compiler.target>1.7</maven.compiler.target>
        <encoding>UTF-8</encoding>
        <scala.tools.version>2.10</scala.tools.version>
        <scala.version>2.10.4</scala.version>
        <spark.version>1.5.0</spark.version>
</properties>
  4. 0

    Pour des projets Maven, après l'ajout de la RUCHE de dépendance, cliquez simplement sur le "Projet de mise à Jour" par un clic droit sur votre projet -> Maven -> mise à Jour du Projet. Cela devrait résoudre le problème.

  5. -1

    Essayez d'utiliser: 

    hiveCtx = HiveContext(sc)
hiveCtx.read.json("your_file")

    Mon code est dans "Python"