Sélective de téléchargement de fichier AWS S3 CLI

J'ai des fichiers dans un compartiment S3, j'ai essayé de télécharger des fichiers à partir de la date comme les 08 août 09 Août, comment puis-je télécharger sélective de la date du fichier?.
J'ai utilisé le code suivant mais il reste encore des téléchargements ensemble de la liste de seau

aws s3 cp s3://bucketname/folder/file --profile pname --exclude \"*\" --recursive --include \"" + "2015-08-09" + "*\"

Je ne suis pas sûr, comment atteindre cet objectif.

Pourriez-vous préciser votre question? Est la date codée en votre nom de fichier, ou voulez-vous à la base de la télécharger sur la date de création de l'objet?
Le nom de fichier sont '2015-08-15T001Z.log.gz', '2015-08-14T001Z.log.gz', etc. Pour chaque journée, il y aura 24 fichiers allant de la "T001z.log.gz pour T023z.log.gz'. Je suis à la recherche de façon à choisir le fichier de jour particulier pour exemple: 2015-08-15 qui devrait copier tous les 24files de cette date à partir de S3 à l'ordinateur local.

OriginalL'auteur user4033385 | 2015-08-11

  1. 32

    Cette commande permet de copier tous les fichiers commençant par 2015-08-15:

    aws s3 cp s3://BUCKET/folder --exclude "*" --include "2015-08-15*" --recursive

    Si votre objectif est de synchroniser un ensemble de fichiers sans les copier deux fois, utilisez la sync commande:

    aws s3 sync s3://BUCKET/folder

    Qui va copier tous les fichiers qui ont été ajoutés ou modifiés depuis la dernière synchronisation.

    En fait, c'est l'équivalent de ce qui précède cp commande:

    aws s3 sync s3://BUCKET/folder --exclude "*" --include "2015-08-15*"

    Références:

    Il faut des heures pour télécharger les journaux pour le dernier jour lorsqu'un dossier contient les journaux pendant plusieurs années, parce que aws s3 sync itère par chacun d'eux et de les comparer avec exclude/include filtres. Est-il possible de le faire plus vite?

    OriginalL'auteur John Rotenstein

  2. 0

    Dans le cas où votre seau de taille importante à la hausse de 10 à 20 concerts de,
    cela était vrai dans mon cas d'utilisation, vous pouvez obtenir le même
    objectif en utilisant sync dans plusieurs fenêtres du terminal.

    Toutes les sessions terminal server peut utiliser de la même façon, dans le cas où vous avez besoin de générer un token pour l'environnement de prod.

     $ aws s3 sync s3://bucket-name/sub-name/another-name folder-name-in-pwd/
 --exclude "*" --include "name_date1*"  --profile UR_AC_SomeName

    et une autre fenêtre de terminal (même pwd)

    $ aws s3 sync s3://bucket-name/sub-name/another-name folder-name-in-pwd/
    --exclude "*" --include "name_date2*"  --profile UR_AC_SomeName

    et deux autres pour les "name_date3*" and "name_date4*"

    En outre, vous pouvez également faire plusieurs exclut dans la même synchronisation
    commande:

    $ aws s3 sync s3://bucket-name/sub-name/another-name my-local-path/
--exclude="*.log/*" --exclude=img --exclude=".error" --exclude=tmp 
--exclude="*.cache"

    OriginalL'auteur Nirmal