Hadoop HDFS copie avec des caractères génériques?

Je veux copier un certain ensemble de fichiers dans hdfs à un autre endroit dans le même cluster hdfs. Le dfs shell ne semble pas être en mesure de gérer cela:

hadoop dfs -cp /tables/weblog/server=jeckle/webapp.log.1* /tables/tinylog/server=jeckle/

Aucune erreur n'est renvoyée: mais aussi ne pas mettre de fichiers sont copiés.

OriginalL'auteur javadba | 2014-01-05

  1. 11

    Vous devez utiliser des guillemets doubles avec votre chemin, qui contient des caractères génériques, comme ceci:

    hdfs fs -cp "/path/to/foo*" /path/to/bar/
    Curieux - comment cela peut-il travailler? Le shell va élargir le "" avant hds même il voit. Vouliez-vous dire * citation?
    il n'a pas d'importance sur les deux devis. La citation juste dire shell NE développez PAS le générique plutôt que comme seul paramètre à passer à hdfs commande. J'essaie à la fois de devis ça fonctionne.
    Oui, vous avez raison. J'ai attribué.
    Est-ce décrit dans la documentation?
    C'est une variable du shell de connaissances. Pensez "/foo/bar/*" comme un argument, ou la coquille va essayer de développer générique(par ex.: '*', '?').

    OriginalL'auteur MoreFreeze

  2. 1

    Tout d'abord, HDFS copie avec des caractères génériques est pris en charge. Deuxièmement, l'utilisation de hadoop dfs est obsolète, vous feriez mieux d'utiliser hadoop fs ou hdfs dfs à la place. Si vous êtes sûr que l'opération n'a pas réussi (bien qu'il semble réussir), vous pouvez vérifier les fichiers journaux de namenode pour voir quel est le problème.

    Comme indiqué dans l'OP, pas de fichiers sont copiés en utilisant le modèle générique. Si vous allez à l'état de "caractères génériques sont pris en charge" s'il vous plaît démontrer.
    parce que j'ai juste essayé la même commande que le vôtre sur mon clusters et il fonctionne pour les 2.1 et 0.23.9. Sérieusement, merci de vérifier vos journaux namenode

    OriginalL'auteur zhutoulala

  3. 0

    Intéressant. C'est ce que je reçois dans mon local de VM en cours d'exécution Hadoop 0.18.0. Quelle version utilisez-vous? Je peux essayer sur 1.2.1 aussi

    hadoop-user@hadoop-desk:~$ hadoop fs -ls /user/hadoop-user/testcopy
hadoop-user@hadoop-desk:~$ hadoop dfs -cp /user/hadoop-user/input/*.txt /user/hadoop-user/testcopy/
hadoop-user@hadoop-desk:~$ hadoop fs -ls /user/hadoop-user/testcopy
Found 2 items
-rw-r--r--   1 hadoop-user supergroup         79 2014-01-06 04:35 /user/hadoop-user/testcopy/HelloWorld.txt
-rw-r--r--   1 hadoop-user supergroup        140 2014-01-06 04:35 /user/hadoop-user/testcopy/SampleData.txt
    Vous êtes en cours d'exécution très vieille version d'hadoop.. mais même dans ce cas, il n'aurait probablement pas d'importance. Je suis sur 1.2.1
    Essayé 1.2.1 et de travail. Cependant, j'ai trouvé ce lien s'il vous Plaît vérifier.

    OriginalL'auteur Jerry Ragland

  4. 0

    Ces deux fonctionné pour moi:

    ~]$ hadoop fs -cp -f /user/cloudera/Dec_17_2017/cric* /user/cloudera/Dec_17_2017/Dec_18 
~]$ hadoop fs -cp -f "/user/cloudera/Dec_17_2017/cric*" /user/cloudera/Dec_17_2017/Dec_18

    Je pense de meilleur moyen que de ne pas donner double/simple("/') cite.

    OriginalL'auteur Santosh Singh