Créer l'étincelle dataframe schéma de json schéma de représentation

Est-il un moyen de sérialiser un dataframe schéma json et désérialiser plus tard?

Le cas d'utilisation est simple:
J'ai un fichier de configuration json qui contient le schéma pour dataframes j'ai besoin de lire.
Je veux être en mesure de créer de la valeur par défaut de la configuration à partir d'un schéma existant (dans un dataframe) et je veux être en mesure de générer pertinentes schéma pour être utilisé plus tard par la lecture de la chaîne json.

OriginalL'auteur Assaf Mendelson | 2016-12-04

  1. 29

    Il y a deux étapes à cela: la Création du json à partir d'un dataframe et de la création du schéma de la chaîne json.

    De la création de la chaîne à partir d'un dataframe

    val schema = df.schema
val jsonString = schema.json

    créer un schéma de json

    import org.apache.spark.sql.types.{DataType, StructType}
val newSchema = DataType.fromJson(jsonString).asInstanceOf[StructType]

    OriginalL'auteur Assaf Mendelson

  2. 16

    Je suis annonce une pyspark version d'une question répondu par Assaf:

    # Save schema from the original DataFrame into json:
schema_json = df.schema.json()

# Restore schema from json:
import json
new_schema = StructType.fromJson(json.loads(schema_json))

    OriginalL'auteur mishkin