Comment spécifier le chemin d'accès où saveAsTable enregistre les fichiers?

Je suis en train d'enregistrer un DataFrame de S3 dans pyspark dans Spark1.4 à l'aide de DataFrameWriter

df = sqlContext.read.format("json").load("s3a://somefile")
df_writer = pyspark.sql.DataFrameWriter(df)
df_writer.partitionBy('col1')\
         .saveAsTable('test_table', format='parquet', mode='overwrite')

Le parquet de fichiers est allé à "/tmp/ruche/entrepôt/...." qui est un local tmp sur mon permis.

J'ai fait l'installation de la ruche.metastore.entrepôt.dir en hive-site.xml pour un "s3a://...." emplacement, mais l'étincelle ne semble pas à l'égard de ma ruche entrepôt de réglage.

Il enregistre le chemin d'accès au fichier avec la colonne "name =" comme s3a://seau/foo/col1=1/,s3a://seau/foo/col1=2/,s3a://seau/foo/col1=3/,..... Est-il possible de l'éviter en y ajoutant le nom de la colonne? comme s3a://seau/foo/1/,s3a://seau/foo/2/

OriginalL'auteur ChromeHearts | 2015-06-16

  1. 21

    Utilisation path.

    df_writer.partitionBy('col1')\
         .saveAsTable('test_table', format='parquet', mode='overwrite',
                      path='s3a://bucket/foo')

    OriginalL'auteur ChromeHearts

  2. 0

    vous pouvez utiliser insertInto(tablename) à l'écrasement d'un tableau existant depuis 1.4

    OriginalL'auteur tintin