Amazon S3 Autorisations de Fichier, Accès Refusé lors de la copie à partir d'un autre compte

J'ai un ensemble de fichiers vidéo qui ont été copiés à partir d'une AWS Seau à partir d'un autre compte à mon compte dans mon seau.

Je suis confronté à un problème maintenant avec tous les fichiers où je reçois des erreurs d'Accès Refusé lorsque je tente de faire tous les fichiers publics.

Plus précisément, je me connecter à mon compte AWS, aller dans S3, forer vers le bas à travers les structures de dossiers pour localiser l'une des vidéos les fichiers.

Quand je regarde ce specificfile, l'onglet permissions sur les fichiers n'affiche pas toutes les autorisations affectées à n'importe qui. Pas d'utilisateurs, de groupes, ou d'un système d'autorisations ont été attribuées.

Au bas de l'onglet Autorisations, je vois une petite case qui dit "Erreur: Accès Refusé". Je ne peux pas changer quoi que ce soit sur le fichier. Je ne peux pas ajouter des méta-données. Je ne peux pas ajouter un utilisateur dans le fichier. Je ne peux pas faire dans le fichier Public.

Est-il un moyen que je peux prendre le contrôle de ces fichiers afin que je puisse les rendre publiques? Il y a plus de 15 000 fichiers /autour de 60GBs de fichiers. J'aimerais éviter de télécharger et reuploading tous les fichiers.

Avec de l'aide et les suggestions des gens ici, j'ai essayé ce qui suit. J'ai fait un nouveau dossier dans mon seau appelé "médias".

J'ai essayé cette commande:

aws s3 cp s3://mybucket/2014/09/17/thumb.jpg s3://mybucket/media --grants read=uri=http://acs.amazonaws.com/groups/global/AllUsers full=emailaddress=my_aws_account_email_address

Je reçois une erreur fatale 403 lors de l'appel de la HeadObject opération: Interdit.

Utiliser AWS CLI de le faire en ligne de commande : docs.aws.amazon.com/cli/latest/userguide/using-s3-commands.html
je vois l' --consentir des options, mais ce que je ne suis pas sûr de savoir est ce que la commande à utiliser? Je ne veux pas de copier, de supprimer ou de le synchroniser. Je veux juste appliquer les autorisations pour le fichier. Je pense que la synchronisation serait ce que je veux faire depuis que le son ne marche pas comme il l'aurait fait déplacer le fichier ou de le supprimer.
pourquoi pensez-vous que l'OP auront des autorisations pour le faire à partir de la CLI? Vous devez configurer l'interface CLI avec les informations d'identification AWS. Si vous utilisez les mêmes identifiants que ceux que vous utilisez pour vous connecter à la console AWS, les chances sont que vous allez courir dans les mêmes problèmes d'autorisation.
J'ai remarqué que le "propriétaire" du fichier est toujours sur le compte que j'ai eu ces fichiers. Comment puis-je le remplacer? Est-il possible?
Vous êtes de droite. J'en mettant davantage l'accent sur les 60 go de fichiers pour lequel il a voulu changer les permissions mais je voulais éviter de re-télécharger. Il y a deux questions alors. L'un avec la permission et pour d'autres à l'aide de la CLI va lui éviter de passer si tous les fichiers manuellement.

InformationsquelleAutor Robbiegod | 2017-05-01

26

Une très intéressante énigme! Heureusement, il existe une solution.

Tout d'abord, un rappel:
- Un seau en Compte d'Une
- Seau B dans le Compte B
- Utilisateur en Compte d'Une des copies d'objets dans le Seau B (disposant des autorisations appropriées pour le faire)
- Objets dans un Seau B appartiennent encore à Un Compte et ne peut pas être consulté par le Compte B
J'ai réussi à reproduire ce et peut confirmer que les utilisateurs en Compte B ne peut pas accéder au fichier, pas même la racine de l'utilisateur dans le Compte B!

Heureusement, les choses peuvent être fixes. Le aws s3 cp commande dans le AWS Interface de Ligne de Commande (CLI) pouvez mettre à jour les autorisations sur un fichier lorsqu'il est copié sur le même nom. Cependant, à l'origine de cela, vous devez également mettre à jour quelque chose d'autre, sinon vous obtenez cette erreur:

Cette demande de copie est illégale parce qu'elle est en train d'essayer de copier un objet à lui-même sans modifier les métadonnées de l'objet, de classe de stockage, site web rediriger l'emplacement de chiffrement ou d'attributs.

Par conséquent, les autorisations peuvent être mis à jour avec cette commande:
```
aws s3 cp s3://my-bucket/s3://my-bucket/--recursive --acl bucket-owner-full-control --metadata "One=Two"
```
- Doit être exécuté par un Compte d'Un utilisateur qui dispose des autorisations d'accès aux objets (par exemple, l'utilisateur qui a d'abord été copié les objets de Seau B)
- Le contenu des métadonnées est sans importance, mais nécessaire pour forcer la mise à jour
- --acl bucket-owner-full-control accorde l'autorisation de Compte B de sorte que vous serez en mesure d'utiliser les objets comme normal
Résultat final: Un seau que vous pouvez utiliser!
- Que faire si Compte Un obtient une AccessDenied erreur lors de la modification des autorisations d'un fichier téléchargé vers Seau B? Est-ce une erreur d'autorisations en Compte Un Compte ou B? Ou Un Seau B?
- Les autorisations dans le compte qui est propriétaire de la ressource (dans ce cas, Seau B). À l'avenir, merci de créer une nouvelle Question plutôt que de poser une autre question dans un commentaire.
- Merci! Il nous a semblé pertinent parce que j'ai été en mesure de s'adapter à cette réponse d'accorder le contrôle total sur le Compte B sur un nouvelles télécharger. Googler autour de qui m'a amené ici.
- Merci, très utile! Tout en suivant des instructions pour obtenir la croix-compte PutObject opération de travail, je suis tombé sur un problème avec la politique de configurations. Il a travaillé seulement après avoir mis le "s3:PutObjectAcl" Action dans les DEUX seau politique, ainsi que le rôle de la politique. Je suppose que de toute façon il fait sens que vous avez besoin pour permettre à la fois de ressources et le côté utilisateur pour la croix-compte d'opérations. Si les ressources disponibles et l'utilisateur sont dans le même compte, il est généralement suffisant pour permettre à l'une des deux.
- J'ai juste essayé cela, et --metadata n'est pas nécessaire à la solution de travail. --acl bucket-owner-full-control est suffisant.
- Avons-nous besoin pour exécuter ce à chaque fois qu'un nouveau fichier est téléchargé?
- Le --metadata partie est nécessaire si l'intention est de modifier les autorisations sur un objet qui existe déjà, sinon le cp commande échoue parce que rien n'est "changé". Si un nouvel objet est copié (ou d'être copié à partir d'un emplacement différent), --metadata ne serait pas nécessaire.
- Une version plus élaborée explication avec des exemples de code en Python peuvent être trouvés dans ce milieu, l'article medium.com/artificial-industry/... (écrit par moi)
- Rotenstein mais que faire si le seau est la même et nous sommes à l'aide de copyobject() et au hasard arriver soufflet d'Erreur Cette demande de copie est illégale parce qu'elle est en train d'essayer de copier un objet à lui-même sans modifier les métadonnées de l'objet, de classe de stockage, site web rediriger l'emplacement de chiffrement ou d'attributs.
- En fait, j'ai récemment eu un problème avec cela aussi, même si j'étais de modification des métadonnées. N'hésitez pas à créer une nouvelle Question avec les détails et voir si quelqu'un peut aider.
InformationsquelleAutor John Rotenstein

aws s3 cp s3://account1/s3://accountb/--recursive --acl bucket-owner-full-control

InformationsquelleAutor loneStar

1

Au cas où quelqu'un essaie de faire la même, mais l'utilisation d'Hadoop/Spark emploi au lieu de AWS CLI.
- Étape 1: Accorder à un utilisateur dans le Compte de l'Une des autorisations appropriées pour copier
  les objets de Seau B. (mentionné dans la réponse ci-dessus)
- Étape 2: Définir les fs.s3a.acl.option de configuration par défaut à l'aide de Configuration Hadoop. Ce qui peut être défini dans le fichier conf ou dans le programme:
  
  Fichier Conf:
  
  <property> <name>fs.s3a.acl.default</name> <description>Set a canned ACL for newly created and copied objects. Value may be Private, PublicRead, PublicReadWrite, AuthenticatedRead, LogDeliveryWrite, BucketOwnerRead, or BucketOwnerFullControl.</description> <value>$chooseOneFromDescription</value> </property>
  
  Programme:
  
  spark.sparkContext.hadoopConfiguration.set("fs.s3a.acl.default", "BucketOwnerFullControl")
InformationsquelleAutor Durga P. Kapa

Pour définir correctement les autorisations appropriées pour les nouveaux fichiers ajoutés, ajouter ce seau politique:

[...]
{
    "Effect": "Allow",
    "Principal": {
        "AWS": "arn:aws:iam::123456789012::user/their-user"
    },
    "Action": [
        "s3:PutObject",
        "s3:PutObjectAcl"
    ],
    "Resource": "arn:aws:s3:::my-bucket/*"
}

Et de définir des ACL pour les fichiers nouvellement créés dans le code. Exemple Python:

import boto3

client = boto3.client('s3')
local_file_path = '/home/me/data.csv'
bucket_name = 'my-bucket'
bucket_file_path = 'exports/data.csv'
client.upload_file(
    local_file_path,
    bucket_name, 
    bucket_file_path, 
    ExtraArgs={'ACL':'bucket-owner-full-control'}
)

source: https://medium.com/artificial-industry/how-to-download-files-that-others-put-in-your-aws-s3-bucket-2269e20ed041 (avertissement: écrit par moi)

InformationsquelleAutor Nino van Hooff

0

Je crains que vous ne serez pas en mesure de transférer la propriété que vous le souhaitez. Voici ce que vous avez fait:

Ancien compte copies d'objets dans un nouveau compte.

La "bonne" façon de faire (en supposant que vous avez voulu assumer la propriété sur le nouveau compte) serait:

Nouveau compte copies des objets à partir de l'ancien compte.

Voir la petite mais importante différence? S3 docs genre de l'expliquer.

Je pense que vous pourriez sortir avec elle sans avoir besoin de télécharger l'ensemble de la chose par une simple copie de tous les fichiers dans le même seau, puis de supprimer les anciens fichiers. Assurez-vous que vous pouvez modifier les autorisations après avoir fait la copie. Cela devrait vous faire économiser de l'argent, que vous n'aurez pas à payer pour les frais de transfert de données de téléchargement de tout.
- Oui, je vois. Je vous remercie. Je n'ai pas pu être donné "seau" accès aux autres comptes de seau, de sorte que nous avons dû essayer de cette façon. Je vais essayer ce que vous suggérez.
- J'ai essayé de télécharger une image à l'aide de la Chicouté, mais même cela ne fonctionne pas. J'obtiens une erreur 403, Accès Refusé. J'ai essayé un cp dans l'interface de ligne de commande, mais je continue à obtenir erreurs 403 faire ça aussi. Pas sûr de ce que mes options sont maintenant. 🙁
- Je pensais que vous seriez en mesure de simplement copier/coller vos fichiers sur la console AWS lui-même. Si vous ne pouvez pas télécharger des fichiers à partir de ce compartiment, on dirait que vous n'avez même pas GetObject autorisations, seulement ListBucket. Qui serait réellement de sens, puisque GetObject est un objet de l'autorisation, et ListBucket est un seau d'autorisation, et vous possédez le seau, mais pas les fichiers. Si vous pouvez confirmer, vous aurez besoin de demander au propriétaire de l'autre compte AWS re-copier ou vous donner accès.
InformationsquelleAutor Viccari
0

en mettant

--acl seau-propriétaire-plein contrôle
au travail.
- u peut offrir un peu plus en détail? Où avez-vous mis cela?
- S'il vous plaît mettre qu'après votre aws s3 <paramètres> ensuite, l'utilisation ci-dessus
InformationsquelleAutor Barath Ravichander

Vous devez vous connecter pour publier un commentaire.