Est-il possible d'importer des données dans la table Hive sans copier les données

J'ai des fichiers journaux stockés en tant que texte dans HDFS. Lorsque je charge les fichiers journaux dans un tableau de la Ruche, tous les fichiers sont copiés.

Puis-je éviter d'avoir toutes mes données de texte stocké deux fois?

EDIT: je le charge via la commande suivante

LOAD DATA INPATH '/user/logs/mylogfile' INTO TABLE `sandbox.test` PARTITION (day='20130221')

Alors, je peux trouver exactement le même fichier dans:

/user/hive/warehouse/sandbox.db/test/day=20130220

Je suppose qu'il a été copié.

source d'informationauteur Mad Echet

  1. 14

    utiliser une table externe:

    CREATE EXTERNAL TABLE sandbox.test(id BIGINT, name STRING) ROW FORMAT
              DELIMITED FIELDS TERMINATED BY ','
              LINES TERMINATED BY '\n' 
              STORED AS TEXTFILE
              LOCATION '/user/logs/';

    si vous souhaitez utiliser le partitionnement avec une table externe, vous serez responsable de la gestion de la partition répertoires.
    l'emplacement spécifié doit être un hdfs répertoire..

    Si vous déposez une table externe de la ruche ne VA PAS supprimer la source de données.
    Si vous souhaitez gérer vos fichiers raw, l'utilisation des tables externes. Si vous voulez de la ruche pour le faire, la ruche de stocker à l'intérieur de son entrepôt de chemin.

  2. 3

    Je peux dire, au lieu de copier des données à votre application java directement à HDFS, ces fichiers dans le système de fichiers local, et de les importer dans HDFS par ruche à l'aide de commande suivante.

    LOAD DATA LOCAL INPATH '/your/local/filesystem/file.csv' INTO TABLE `sandbox.test` PARTITION (day='20130221')

    Avis de la LOCAL

  3. 0

    Vous pouvez utiliser la commande alter table de partition instruction pour éviter la duplication des données.

    create External table if not exists TestTable (testcol string) PARTITIONED BY (year INT,month INT,day INT) row format delimited fields terminated by ',';

ALTER table TestTable partition (year='2014',month='2',day='17') location 'hdfs://localhost:8020/data/2014/2/17/';
  4. 0

    De la ruche (au moins lors de l'exécution dans le vrai mode de cluster) ne peut pas se référer à des fichiers externes dans le système de fichiers local. La ruche peut importer automatiquement les fichiers lors de la création de la table ou de l'opération de chargement. La raison derrière cela peut être que la Ruche s'exécute MapReduce en interne pour en extraire les données. MapReduce lit de la SF en tant que bien que les écritures de retour à la SF et fonctionne même en mode distribué. Ainsi, si le fichier est stocké dans le système de fichiers local, il ne peut pas être utilisé par les infrastructures.