Dans la Ruche, ne “Load data local inpath” écraser les données existantes ou ajouter?

J'espère pour exécuter une importation dans la Ruche dans un cron, et espérais juste en utilisant

"load data local inpath '/tmp/data/x' dans la table X" dans un tableau serait suffisant.

Va les commandes ultérieures remplacer ce qui est déjà dans la table? ou cela est-il ajout?

OriginalL'auteur CMaury | 2011-04-04

  1. 6

    Ce site http://wiki.apache.org/hadoop/Hive/LanguageManual est votre ami lorsque vous traitez avec de la Ruche. 🙂

    La page qui traite le chargement des données dans la Ruche est http://wiki.apache.org/hadoop/Hive/LanguageManual/DML
    Cette page indique que

    si le fait de REMPLACER le mot clé est utilisé alors
    le contenu de la table cible (ou
    partition) seront supprimés et
    remplacés par les fichiers visés par
    chemin d'accès du fichier. Sinon les fichiers visés
    par le chemin d'accès du fichier sera ajouté à la
    table. Notez que si la table cible
    (ou la partition) dispose déjà d'un fichier
    dont le nom entre en collision avec une des
    les noms de fichiers contenus dans filepath - puis
    le fichier existant sera remplacé
    avec le nouveau fichier.

    Dans votre cas, vous n'êtes pas à l'aide de la OVERWRITE mot-clé, de sorte que les fichiers seront ajoutés à la table. (Sauf si ce sont les mêmes fichiers, dans ce cas, ils sont écrasés)

    En supposant que j'ai quotidiennement les fichiers créés par ex. 20130808.csv et ré-importer les données de cette journée. Ensuite, tout ce que j'ai à faire est d'importer le même fichier avec le même nom de fichier 20130808.csv à nouveau et la version mise à jour sera ajouté à la table? Ou dois-je supprimer les lignes moi-même par un certain genre de requête?
    Juste pour mettre à jour si vous êtes en utilisant le même fichier de la charge, encore et encore, qui va ajouter encore et encore dans la table, ce n'est pas que vous obtenez le remplacer le fichier est-ce que tu vas utiliser le même pour la prochaine charge. juste être méfiez-vous de cela.

    OriginalL'auteur QuinnG

  2. 0

    Si le fait de REMPLACER le mot clé est utilisé ensuite le contenu de la table cible (ou la partition) seront supprimés et remplacés par les fichiers visés par filepath; sinon les fichiers visés par le chemin d'accès du fichier sera ajouté à la table.

    OriginalL'auteur Haimei