La ruche de sélectionner les colonnes à faire un exposé sur

Cela permettra d'exporter les données de dynamodb dynamiquement à s3. 

-- Load S3 Table with data from DynamoDB
INSERT OVERWRITE TABLE s3_table SELECT * FROM dynamodb_table;

Le problème est qu'il laisse dans un tas de \N. Je peux l'écrire à la main, elle va ressembler à quelque chose comme

-- Load S3 Table with data from DynamoDB
   INSERT OVERWRITE TABLE s3_table SELECT DCS_ID, CASE WHEN MAKE IS NULL THEN "" ELSE MAKE END, CASE WHEN MODEL IS NULL THEN "" ELSE MODEL END FROM dynamodb_table;

Le problème est de sélectionner les colonnes à dire "Quand Colonne est NULL, ""Else Colonne Fin"

Le courant de sortie ressemble à ceci 

PORTAL  1.5.1.25.2      2013-08-09 13:45:20.126 2013-08-09 13:45:20.282 \N      \N      \N      \N      \N      \N

Souhaité en sortie ressemble à ceci 

PORTAL  1.5.1.25.2      2013-08-13 18:18:24.667 2013-08-13 18:18:24.832
  • Qu'entendez-vous par "les feuilles dans un tas de nouvelles lignes"?
  • J'ai ajouté la sortie, je suis actuellement et le résultat que j'obtiens lorsque je le lance à la main
  • Oh, c'est, littéralement, laissant dans \N. Bizarre. Désolé pour l'édition de ce mal. Maintenant, je comprends la question
  • Il est très bien, j'aurais fait la même chose si j'étais vous. Je crois qu'il le fait pour toute colonne qui n'ont pas de valeur en elle.
  • une idée de comment sélectionnez la colonne dans la présente déclaration INSÉRER REMPLACER le TABLEAU s3_table SÉLECTIONNEZ * à PARTIR de dynamodb_table;
InformationsquelleAutor Tall Paul | 2013-08-14
  1. 3

    La ruche de sortie contient la chaîne "\N" pour les valeurs null (à distinguer de vide), donc soit vous avez à vous préparer chaque colonne, ou d'un processus de sortie par la suite (possibilité d'utiliser un flux de travail si de grandes quantités de données.)

    J'utilise souvent le coalesce fonction de cela: coalesce prend plusieurs arguments et retourne la première valeur non nulle (ou null si tous nuls). Dans votre exemple, pour éviter les valeurs null à la sortie, vous pouvez effectuer les opérations suivantes:

    INSERT OVERWRITE TABLE s3_table
SELECT coalesce(DCS_ID,''), coalesce(MAKE,''), coalesce(MODEL,'') 
FROM dynamodb_table;
    • Voilà qui est intéressant! Merci pour le heads up, je vais devoir explorer le streaming de l'emploi et peut-être regarder dans l'aide de coalescer, j'essayais juste pour éviter de taper tous les noms à la main pour chaque table, j'ai
    InformationsquelleAutor libjack