Comment convertir DataFrame en Json?

J'ai un énorme fichier Json, une petite partie d'elle, comme suit:

{
    "socialNews": [{
        "adminTagIds": "",
        "fileIds": "",
        "departmentTagIds": "",
        ........
        ........
        "comments": [{
            "commentId": "",
            "newsId": "",
            "entityId": "",
            ....
            ....
        }]
    }]
    .....
    }

J'ai appliqué vue latérale exlode sur socialNews comme suit:

val rdd = sqlContext.jsonFile("file:///home/ashish/test")
rdd.registerTempTable("social")
val result = sqlContext.sql("select * from social LATERAL VIEW explode(socialNews) social AS comment")

Maintenant, je veux revenir à ce résultat (DataFrame) en json et l'enregistrer dans un fichier, mais je ne suis pas en mesure de trouver tout scala api pour effectuer la conversion.
Est-il de la bibliothèque standard pour ce faire, ou une certaine façon de la comprendre?

source d'informationauteur ashish.garg

  1. 19
    val result: DataFrame = sqlContext.read.json(path)
result.write.json("/yourPath")

    La méthode write est dans la classe DataFrameWriter et devraient être accessibles à vous sur DataFrame objets. Assurez-vous que votre ca est de type DataFrame et pas de déprécié type SchemaRdd. Vous pouvez prévoir explicitement la définition de type de val data: DataFrame ou en fonte à dataFrame avec toDF().

  2. 16

    Si vous avez un DataFrame il existe une API pour revenir à un EDR[String] qui contient le json enregistrements. 

    val df = Seq((2012, 8, "Batman", 9.8), (2012, 8, "Hero", 8.7), (2012, 7, "Robot", 5.5), (2011, 7, "Git", 2.0)).toDF("year", "month", "title", "rating")
df.toJSON.saveAsTextFile("/tmp/jsonRecords")
df.toJSON.take(2).foreach(println)

    Il devrait être disponible à partir de l'Étincelle de 1,4 à partir. Appel de l'API sur le résultat DataFrame vous avez créé.

    Les Api disponibles sont répertoriés ici

  3. 2
    sqlContext.read().json(dataFrame.toJSON())
  4. 0

    Si vous ne pouvez toujours pas trouver un moyen de convertir Dataframe en JSON, vous pouvez utiliser to_json ou la méthode toJSON intégré Étincelle fonctions.

    Laissez-moi savoir si vous avez un échantillon Dataframe et un format JSON pour convertir.