Lors de la création d'une table externe dans la ruche puis-je signaler l'emplacement des fichiers spécifiques dans un répertoire?

Ce kmosley dit est vrai. A partir de maintenant, vous ne pouvez pas choisir de façon sélective certains fichiers pour être une partie de votre table de la Ruche. Cependant, il y a 2 façons de les contourner.

Option 1:
Vous pouvez déplacer tous les fichiers csv dans un autre HDFS répertoire et créer un tableau de la Ruche sur le dessus de cela. Si cela fonctionne mieux pour vous, vous pouvez créer un sous-répertoire (par exemple, csv) dans votre répertoire qui contient tous les fichiers CSV. Vous pouvez ensuite créer un tableau de la Ruche sur le dessus de ce sous-répertoire. Gardez à l'esprit que tout Ruche tables créée sur le répertoire parent ne contiennent PAS les données depuis le sous-répertoire.

Option 2:
Vous pouvez modifier vos requêtes pour les utiliser une colonne virtuelle appelée INPUT__FILE__NAME.

Votre requête devrait ressembler à quelque chose comme:

SELECT 
   *
FROM
   my_table
WHERE
   INPUT__FILE__NAME LIKE '%csv';

Le mauvais effet de cette approche est que la requête de la Ruche sera à multiplier par le biais de tout les données présentes dans le répertoire même si vous ne se souciait des fichiers spécifiques. La requête ne filtre pas les fichiers en fonction du prédicat à l'aide de INPUT__FILE__NAME. Il suffit de filtrer les enregistrements qui ne viennent pas de match le prédicat à l'aide de INPUT__FILE__NAME au cours de la carte de phase (par conséquent, le filtrage de tous les enregistrements de fichiers en particulier), mais les mappeurs fonctionne sur les fichiers inutiles ainsi. Il vous donnera le résultat correct, pourraient avoir certains, probablement mineur, les performances de surcharge.

L'avantage de cette approche est que vous pouvez utiliser la même table de la Ruche si vous aviez plusieurs fichiers dans votre table et que vous vouliez la possibilité d'interroger tous les fichiers à partir de ce tableau (ou partition) en quelques requêtes et d'un sous-ensemble des fichiers dans d'autres requêtes. Vous pourriez faire usage de la INPUT__FILE__NAME colonne virtuelle pour y parvenir. À titre d'exemple:
si une partition de votre HDFS répertoire /user/hive/warehouse/web_logs/ ressemblait:

/user/hive/warehouse/web_logs/dt=2012-06-30/
   /user/hive/warehouse/web_logs/dt=2012-06-30/00.log
   /user/hive/warehouse/web_logs/dt=2012-06-30/01.log
   .
   .
   .
   /user/hive/warehouse/web_logs/dt=2012-06-30/23.log

Disons que votre définition de la table ressemblait à:

CREATE EXTERNAL TABLE IF NOT EXISTS web_logs_table (col1 STRING)
PARTITIONED BY (dt STRING)
LOCATION '/user/hive/warehouse/web_logs';

Après l'ajout de partitions appropriées, vous pouvez lancer une requête sur tous les journaux dans la partition à l'aide d'une requête comme:

SELECT
   *
FROM
   web_logs_table w
WHERE
   dt='2012-06-30';

Cependant, si l'on ne se souciait de journaux à partir de la première heure de la journée, vous pouvez lancer une requête sur les journaux de la première heure à l'aide d'une requête comme:

SELECT
   *
FROM
   web_logs_table w
WHERE 
   dt ='2012-06-30'
   AND INPUT__FILE__NAME='00.log';

Une autre utilisation similaire de cas pourrait être un répertoire qui contient les journaux web à partir de différents domaines et différentes requêtes doivent analyser des journaux sur différents ensembles de domaines. Les requêtes peuvent filtrer les domaines à l'aide de la INPUT__FILE__NAME colonne virtuelle.

Dans les deux cas d'utilisation, d'avoir une sous-partition de l'heure ou de domaine permettrait de résoudre le problème, sans avoir à utiliser la colonne virtuelle. Cependant, il peut y avoir certains des compromis de conception qui vous obligent à ne pas créer des sous-partitions. Dans ce cas, sans doute, à l'aide de INPUT__FILE__NAME colonne virtuelle est votre meilleur pari.

Décider entre les 2 options:

Cela dépend vraiment de votre cas d'utilisation. Si jamais vous n'soins sur tous les fichiers qui sont que vous essayez d'exclure de la table de la Ruche, à l'aide de l'Option 2 est probablement exagéré, et vous devriez corriger la structure de répertoire et de créer un tableau de la Ruche sur le dessus du répertoire contenant les fichiers que vous vous souciez.

Si les fichiers que vous sont actuellement à l'exclusion de suivre le même format que les autres fichiers (de sorte qu'ils peuvent tous faire partie de la même table de la Ruche) et vous pouvez le voir vous-même d'écrire une requête qui permettrait d'analyser toutes les données dans le répertoire, puis allez à l'Option 2.