Sqoop l'importation en tant que fichier OrC

Est-il une option dans sqoop pour importer des données à partir de SGBDR et l'enregistrer comme ORC format de fichier dans HDFS?

Alternatives essayé: importés au format texte et utilisé une table temp pour lire l'entrée en tant que fichier texte et d'écrire sur hdfs comme orc dans la ruche

OriginalL'auteur Rajashekar Reddy Peta | 2015-04-30

  1. 8

    Au moins dans Sqoop 1.4.5 il existe hcatalog intégration de soutien orc format de fichier (parmi d'autres).

    Par exemple, vous avez la possibilité 

    --hcatalog-storage-stanza

    qui peut être défini à 

    stored as orc tblproperties ("orc.compress"="SNAPPY")

    Exemple:

    sqoop import 
 --connect jdbc:postgresql://foobar:5432/my_db 
 --driver org.postgresql.Driver 
 --connection-manager org.apache.sqoop.manager.GenericJdbcManager 
 --username foo 
 --password-file hdfs:///user/foobar/foo.txt 
 --table fact 
 --hcatalog-home /usr/hdp/current/hive-webhcat 
 --hcatalog-database my_hcat_db 
 --hcatalog-table fact 
 --create-hcatalog-table 
 --hcatalog-storage-stanza 'stored as orc tblproperties ("orc.compress"="SNAPPY")'
    Je suis à l'aide de Sqoop 1.4.6.2.3.4.0 de déplacer la table de Netezza à la RUCHE en ORC format. Mais je vois le problème suivant. stackoverflow.com/questions/36782519/...
    - Je faire quelque chose de similaire (sauf que je ne spécifiez pas de hcatalog-à la maison et je ne spécifiez le mode direct) à importer à partir de l'Oracle de la Ruche. Mon résultant tableau de la ruche est d'accord au début, mais après quelque temps, je ne peut pas l'interroger - je obtenir {"trace":"org.apache.ambari.vue.de la ruche.client.HiveErrorStatusException: H170 Impossible de récupérer les résultats. java.io.IOException: java.io.IOException: Erreur de lecture du fichier: hdfs://host:port/apps/ruche/entrepôt/db/table/partie-m-0000

    OriginalL'auteur selle

  2. 4

    Sqoop importation prend en charge que sous la barre des formats. 

    --as-avrodatafile   Imports data to Avro Data Files

--as-sequencefile   Imports data to SequenceFiles

--as-textfile   Imports data as plain text (default)

--as-parquetfile    Imports data as parquet file (from sqoop 1.4.6 version)

    OriginalL'auteur Venkata Karthik

  3. 3

    Dans la version actuelle de sqoop disponibles, il n'est pas possible d'importer des données à partir de RDB à HDFS dans ORC format en un seul shoot de commande. C'est quelque chose de problème connu dans sqoop.
    Lien de référence pour cette question soulevée: https://issues.apache.org/jira/browse/SQOOP-2192

    Je pense que la seule solution pour l'instant, est le même que vous avez mentionné. Je suis aussi tombée sur le similaire de cas d'utilisation, et ont utilisé de la variante de l'approche en deux étapes.

    OriginalL'auteur Reena Upadhyay

  4. 0

    Actuellement, il n'existe aucune option pour importer les sgbdr tableau de données directement comme ORC fichier à l'aide de sqoop.
    Nous pouvons obtenir le même à l'aide de deux étapes.

    1. Importer les données dans n'importe quel format disponible (dire le texte).
    2. Lire les données à l'aide de Spark SQL et l'enregistrer comme un fichier orc.

    Exemple:
    Étape 1: Importer les données de la table dans un fichier texte.

    sqoop import --connect jdbc:mysql://quickstart:3306/retail_db --username retail_dba --password cloudera \
--table orders \
--target-dir /user/cloudera/text \
--as-textfile

    Étape 2: Utiliser spark-shell sur invite de commande pour obtenir scala REPL shell de commande.

    scala> val sqlHiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
sqlHiveContext: org.apache.spark.sql.hive.HiveContext = org.apache.spark.sql.hive.HiveContext@638a9d61

scala> val textDF = sqlHiveContext.read.text("/user/cloudera/text")
textDF: org.apache.spark.sql.DataFrame = [value: string]

scala> textDF.write.orc("/user/cloudera/orc/")

    Étape 3: Vérifiez la sortie.

    [root@quickstart exercises]# hadoop fs -ls /user/cloudera/orc/
Found 5 items
-rw-r--r--   1 cloudera cloudera          0 2018-02-13 05:59 /user/cloudera/orc/_SUCCESS
-rw-r--r--   1 cloudera cloudera     153598 2018-02-13 05:59 /user/cloudera/orc/part-r-00000-24f75a77-4dd9-44b1-9e25-6692740360d5.orc
-rw-r--r--   1 cloudera cloudera     153466 2018-02-13 05:59 /user/cloudera/orc/part-r-00001-24f75a77-4dd9-44b1-9e25-6692740360d5.orc
-rw-r--r--   1 cloudera cloudera     153725 2018-02-13 05:59 /user/cloudera/orc/part-r-00002-24f75a77-4dd9-44b1-9e25-6692740360d5.orc
-rw-r--r--   1 cloudera cloudera     160907 2018-02-13 05:59 /user/cloudera/orc/part-r-00003-24f75a77-4dd9-44b1-9e25-6692740360d5.orc

    OriginalL'auteur Vinayak Dornala