comment lire json avec le schéma spark dataframes/spark sql

Semble que votre json n'est pas valide.
pls vérifier avec http://www.jsoneditoronline.org/

Veuillez voir an-introduction-to-json-support-in-spark-sql.html

si vous souhaitez vous inscrire en tant que le tableau vous pouvez vous inscrire comme ci-dessous et imprimer le schéma.

DataFrame df = sqlContext.read().json("/path/to/validjsonfile").toDF();
    df.registerTempTable("df");
    df.printSchema();

Ci-dessous est un exemple de code snippet

DataFrame app = df.select("toplevel");
        app.registerTempTable("toplevel");
        app.printSchema();
        app.show();
DataFrame appName = app.select("toplevel.sublevel");
        appName.registerTempTable("sublevel");
        appName.printSchema();
        appName.show();

Exemple avec scala :

{"name":"Michael", "cities":["palo alto", "menlo park"], "schools":[{"sname":"stanford", "year":2010}, {"sname":"berkeley", "year":2012}]}
{"name":"Andy", "cities":["santa cruz"], "schools":[{"sname":"ucsb", "year":2011}]}
{"name":"Justin", "cities":["portland"], "schools":[{"sname":"berkeley", "year":2014}]}

 val people = sqlContext.read.json("people.json")
people: org.apache.spark.sql.DataFrame

De lecture de haut niveau de champ

val names = people.select('name).collect()
names: Array[org.apache.spark.sql.Row] = Array([Michael], [Andy], [Justin])

 names.map(row => row.getString(0))
res88: Array[String] = Array(Michael, Andy, Justin)

Utiliser la méthode select() pour spécifier le champ de niveau supérieur, collect() pour recueillir dans un Tableau[Ligne], et la méthode getString() pour accéder à une colonne à l'intérieur de chaque Ligne.

Aplatir et Lire un Tableau JSON

chaque Personne dispose d'un réseau de "villes". Let's aplatir ces tableaux et de lire l'ensemble de leurs éléments.

val flattened = people.explode("cities", "city"){c: List[String] => c}
flattened: org.apache.spark.sql.DataFrame

val allCities = flattened.select('city).collect()
allCities: Array[org.apache.spark.sql.Row]

 allCities.map(row => row.getString(0))
res92: Array[String] = Array(palo alto, menlo park, santa cruz, portland)

L'explode() la méthode explose, ou s'aplatit, les villes de tableau dans une nouvelle colonne nommée "ville". Nous avons ensuite utiliser select() pour sélectionner la nouvelle colonne, collect() pour recueillir dans un Tableau[Ligne], et getString() pour accéder aux données à l'intérieur de chaque Ligne.

Lire un Tableau d'imbrication des Objets JSON, non aplati.

lire les "écoles" de données, qui est un tableau d'imbrication des objets JSON. Chaque élément du tableau contient le nom de l'école et de l'année:

 val schools = people.select('schools).collect()
schools: Array[org.apache.spark.sql.Row]


val schoolsArr = schools.map(row => row.getSeq[org.apache.spark.sql.Row](0))
schoolsArr: Array[Seq[org.apache.spark.sql.Row]]

 schoolsArr.foreach(schools => {
    schools.map(row => print(row.getString(0), row.getLong(1)))
    print("\n")
 })
(stanford,2010)(berkeley,2012) 
(ucsb,2011) 
(berkeley,2014)

Utilisation select() et collect() pour sélectionner les "écoles" de tableau et de les collecter dans un Array[Row]. Maintenant, chaque "écoles" de la matrice est de type List[Row], nous avons donc le lire avec le getSeq[Row]() méthode. Enfin, on peut lire l'information pour chaque école, en appelant getString() pour le nom de l'école et getLong() pour l'année scolaire.

OriginalL'auteur Ram Ghadiyaram