Comment créer SQLContext spark utilisation de scala?
Je suis entrain de créer un Scala programme de SQLContext
à l'aide de sbt. C'est mon build.sbt:
name := "sampleScalaProject"
version := "1.0"
scalaVersion := "2.11.7"
//libraryDependencies += "org.apache.spark" %% "spark-core" % "2.5.2"
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.5.2"
libraryDependencies += "org.apache.kafka" % "kafka_2.11" % "0.8.2.2"
libraryDependencies += "org.apache.spark" % "spark-streaming_2.11" % "1.5.2"
libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "1.5.2"
libraryDependencies += "org.apache.hadoop" % "hadoop-common" % "2.6.0"
Et c'est programme de test:
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
object SqlContextSparkScala {
def main (args: Array[String]) {
val sc = SparkContext
val sqlcontext = new SQLContext(sc)
}
}
Je suis d'erreur ci-dessous:
Error:(8, 26) overloaded method constructor SQLContext with alternatives:
(sparkContext: org.apache.spark.api.java.JavaSparkContext)org.apache.spark.sql.SQLContext <and>
(sparkContext: org.apache.spark.SparkContext)org.apache.spark.sql.SQLContext
cannot be applied to (org.apache.spark.SparkContext.type)
val sqlcontexttest = new SQLContext(sc)
Quelqu'un peut s'il vous plaît laissez-moi savoir la question que je suis très nouveau à la scala et de la bougie de programmation?
Vous devez vous connecter pour publier un commentaire.
Vous devez
new
votreSparkContext
et qui devrait résoudreSimplement, nous pouvons créer SQLContext en scala
Pour des versions plus récentes de Spark (2.0+), l'utilisation
SparkSession
:SparkSession
peut tout faireSQLContext
peut faire, mais, si nécessaire, leSQLContext
peut être consulté comme suit,