Fournir un schéma lors de la lecture d'un fichier CSV en tant que fichier de données

Je suis en train de lire un fichier csv dans un dataframe. Je sais ce que le schéma de mon dataframe devrait être depuis que je sais que mon fichier csv. Aussi, je suis en utilisant étincelle csv paquet de lire le fichier. J'ai essayer de préciser le schéma ci-dessous.

val pagecount = sqlContext.read.format("csv")
            .option("delimiter"," ").option("quote","")
            .option("schema","project: string ,article: string ,requests: integer ,bytes_served: long")
            .load("dbfs:/databricks-datasets/wikipedia-datasets/data-001/pagecounts/sample/pagecounts-20151124-170000")

Mais quand j'ai vérifier le schéma de la trame de données que j'ai créé, il semble avoir pris de son propre schéma. Suis-je en train de faire quelque chose de mal ? comment faire des étincelles pour ramasser le schéma que j'ai citées ?

> pagecount.printSchema
root
|-- _c0: string (nullable = true)
|-- _c1: string (nullable = true)
|-- _c2: string (nullable = true)
|-- _c3: string (nullable = true)

source d'informationauteur Pa1

  1. 19

    Essayer ci-dessous , vous n'avez pas besoin de spécifier le schéma. quand vous donnez inferSchema comme vrai, il doit prendre à partir de votre fichier csv.

    val pagecount = sqlContext.read.format("csv")
     .option("delimiter"," ").option("quote","")
     .option("header", "true")
     .option("inferSchema", "true")
     .load("dbfs:/databricks-datasets/wikipedia-datasets/data-001/pagecounts/sample/pagecounts-20151124-170000")

    si vous souhaitez spécifier manuellement le schéma , vous devez faire comme ci-dessous

    import org.apache.spark.sql.types._

val customSchema = StructType(Array(
        StructField("project", StringType, true),
        StructField("article", StringType, true),
        StructField("requests", IntegerType, true),
        StructField("bytes_served", DoubleType, true)))

     val pagecount = sqlContext.read.format("csv")
             .option("delimiter"," ").option("quote","")
             .option("header", "true")
             .schema(customSchema)
             .load("dbfs:/databricks-datasets/wikipedia-datasets/data-001/pagecounts/sample/pagecounts-20151124-170000")
  2. 4

    Je suis en utilisant la solution fournie par Arunakiran Nulu dans mon analyse (voir le code). Malgré qu'il est en mesure d'attribuer les types appropriés pour les colonnes, toutes les valeurs renvoyées sont null. Auparavant, j'ai essayé de l'option .option("inferSchema", "true") et il renvoie les valeurs correctes dans le dataframe (bien que l'autre type).

    val customSchema = StructType(Array(
    StructField("numicu", StringType, true),
    StructField("fecha_solicitud", TimestampType, true),
    StructField("codtecnica", StringType, true),
    StructField("tecnica", StringType, true),
    StructField("finexploracion", TimestampType, true),
    StructField("ultimavalidacioninforme", TimestampType, true),
    StructField("validador", StringType, true)))

val df_explo = spark.read
        .format("csv")
        .option("header", "true")
        .option("delimiter", "\t")
        .option("timestampFormat", "yyyy/MM/dd HH:mm:ss") 
        .schema(customSchema)
        .load(filename)

    Résultat

    root


|-- numicu: string (nullable = true)
 |-- fecha_solicitud: timestamp (nullable = true)
 |-- codtecnica: string (nullable = true)
 |-- tecnica: string (nullable = true)
 |-- finexploracion: timestamp (nullable = true)
 |-- ultimavalidacioninforme: timestamp (nullable = true)
 |-- validador: string (nullable = true)

    et la table est la suivante:

    |numicu|fecha_solicitud|codtecnica|tecnica|finexploracion|ultimavalidacioninforme|validador|
+------+---------------+----------+-------+--------------+-----------------------+---------+
|  null|           null|      null|   null|          null|                   null|     null|
|  null|           null|      null|   null|          null|                   null|     null|
|  null|           null|      null|   null|          null|                   null|     null|
|  null|           null|      null|   null|          null|                   null|     null|
  3. 1

    Voici comment vous pouvez travailler avec un schéma personnalisé, une démo complète:

    $> shell code,

    echo "
Slingo, iOS 
Slingo, Android
" > game.csv

    Scala code:

    import org.apache.spark.sql.types._

val customSchema = StructType(Array(
  StructField("game_id", StringType, true),
  StructField("os_id", StringType, true)
))

val csv_df = spark.read.format("csv").schema(customSchema).load("game.csv")
csv_df.show 

csv_df.orderBy(asc("game_id"), desc("os_id")).show
csv_df.createOrReplaceTempView("game_view")
val sort_df = sql("select * from game_view order by game_id, os_id desc")
sort_df.show
  4. 0

    Merci pour la réponse par @Nulu, il travaille pour pyspark avec un minimum de peaufiner

    from pyspark.sql.types import LongType, StringType, StructField, StructType, BooleanType, ArrayType, IntegerType

customSchema = StructType(Array(
    StructField("project", StringType, true),
    StructField("article", StringType, true),
    StructField("requests", IntegerType, true),
    StructField("bytes_served", DoubleType, true)))

pagecount = sc.read.format("com.databricks.spark.csv")
         .option("delimiter"," ")
         .option("quote","")
         .option("header", "false")
         .schema(customSchema)
         .load("dbfs:/databricks-datasets/wikipedia-datasets/data-001/pagecounts/sample/pagecounts-20151124-170000")