comment convertir une chaîne JSON en données sur une étincelle

Je veux convertir une variable de chaîne ci-dessous pour dataframe sur la spark.

val jsonStr = "{ "metadata": { "key": 84896, "value": 54 }}"

Je sais comment créer dataframe de fichier json.

sqlContext.read.json("file.json")

mais je ne sais pas comment créer dataframe de variable de chaîne.

Comment puis-je convertir json variable de Chaîne à dataframe.

source d'informationauteur lucas kim

  1. 21

    Pour Spark 2.2+:

    import spark.implicits._
val jsonStr = """{ "metadata": { "key": 84896, "value": 54 }}"""
val df = spark.read.json(Seq(jsonStr).toDS)

    Pour les anciennes versions:

    val jsonStr = """{ "metadata": { "key": 84896, "value": 54 }}"""
val rdd = sc.parallelize(Seq(jsonStr))
val df = sqlContext.read.json(rdd)
  2. 10

    Puisque la fonction de lecture JSON à partir d'un RDD ai obsolète Spark 2.2, ce serait une autre option:

    val jsonStr = """{ "metadata": { "key": 84896, "value": 54 }}"""
import spark.implicits._ //spark is your SparkSession object
val df = spark.read.json(Seq(jsonStr).toDS)