Qu'est-ce que la version de bibliothèque étincelle pris en charge SparkSession
Code Étincelle avec SparkSession.
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
val conf = SparkSession.builder
.master("local")
.appName("testing")
.enableHiveSupport() //<- enable Hive support.
.getOrCreate()
Code pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.cms.spark</groupId>
<artifactId>cms-spark</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>cms-spark</name>
<pluginRepositories>
<pluginRepository>
<id>scala-tools.org</id>
<name>Scala-tools Maven2 Repository</name>
<url>http://scala-tools.org/repo-releases</url>
</pluginRepository>
</pluginRepositories>
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.10</artifactId>
<version>1.6.0</version>
</dependency>
<dependency>
<groupId>com.databricks</groupId>
<artifactId>spark-csv_2.10</artifactId>
<version>1.4.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-hive_2.10</artifactId>
<version>1.5.2</version>
</dependency>
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.8.3</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<version>2.5.3</version>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id> <!-- this is used for inheritance merges -->
<phase>install</phase> <!-- bind to the packaging phase -->
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
J'ai un problème. J'ai créer un code étincelle avec SparkSession, iam obtenir des problèmes SparkSession de ne pas trouver dans la bibliothèque SparkSql. Donc, iam ne pouvez pas exécuter le code de l'étincelle. Iam question, quel est la version de trouver SparkSession dans la bibliothèque de l'Étincelle. Je donne le code pom.xml.
Grâce.
OriginalL'auteur RJK | 2016-05-20
Vous devez vous connecter pour publier un commentaire.
vous avez besoin à la fois de base et SQL artefacts
OriginalL'auteur mat77
Vous avez besoin Spark 2.0 pour utiliser SparkSession. Il est disponible dans Maven central référentiel pour l'instant:
La même version) doivent être spécifiés pour les autres Étincelle artefacts. Remarque, que le 2.0 est encore en version bêta et devrait être stable dans environ un mois, autant que je sache.
Mise à jour. Alternativement, vous pouvez utiliser Cloudera fourche de Spark 2.0:
Cloudera référentiel doit être spécifiée dans votre Maven liste des dépôts:
comme il a été mentionné, vous devez spécifier la version de 2.0.0-SNAPSHOT, et non 2.0.0
la grêle @Vitaliy Kotlyarenko, ok-je obtenir de télécharger jar spark_core_2.11 version 2.0.0-INSTANTANÉ, iam succès téléchargement pot. Mais je ne peux pas trouver d'importation SparkSession. j'essaie d'import org.apache.spark.SparkSession mais iam obtiens le message d'erreur. Pouvez-vous m'aider?
avez-vous le télécharger manuellement ou Maven résolu ce problème de référentiel? Il n'est pas clair à partir de votre commentaire
Il n'est pas
org.apache.spark.SparkSession
. Il estorg.apache.spark.sql.SparkSession
.OriginalL'auteur Vitalii Kotliarenko