Hive Table externe-Fichier CSV- Ligne d'en-tête

Ci-dessous le tableau de la ruche que j'ai créé:

CREATE EXTERNAL TABLE Activity (
  column1 type, </br>
  column2 type
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION '/exttable/';

Dans mon HDFS emplacement /exttable, j'ai beaucoup de fichiers CSV et chaque fichier CSV contiennent également de la ligne d'en-tête. Quand je fais des requêtes select, le résultat contient la ligne d'en-tête.

Est-il de toute façon dans la RUCHE où l'on peut ignorer l'en-tête de ligne ou de première ligne ?

source d'informationauteur Ramana | 2013-05-09

  1. 20

    Si vous utilisez de la Ruche version 0.13.0 ou plus, vous pouvez spécifier "sauter.l'en-tête.ligne.le comte"="1" dans votre tableau de propriétés pour supprimer l'en-tête.

    Pour obtenir des informations détaillées sur le patch, voir: https://issues.apache.org/jira/browse/HIVE-5795

  2. 14

    vous pouvez désormais passer l'en-tête comte dans la ruche 0.13.0. 

    
tblproperties ("skip.header.line.count"="1");

  3. 5

    Il ne l'est pas. Cependant, vous pouvez pré-traiter vos fichiers à ignorer la première ligne avant de le charger dans HDFS - 

    tail -n +2 withfirstrow.csv > withoutfirstrow.csv

    Alternativement, vous pouvez l'intégrer dans la clause where dans la RUCHE d'ignorer la première ligne.

  4. 1

    Si votre ruche version ne prend pas en charge tblproperties ("skip.l'en-tête.ligne.le comte"="1"), vous pouvez utiliser sous unix commande pour ignorer la première ligne (en-tête de colonne), puis le mettre dans HDFS.

     sed -n '2,$p' File_with_header.csv > File_with_No_header.csv
  5. 0

    Pour supprimer l'en-tête du fichier csv au lieu d'utilisation:

    sed -i 1d filename.csv