Télécharger s3 avec curl à l'aide de pré-signé URL (403)

J'utilise curl pour appeler en Java API ReST pour récupérer une URL. Java génère ensuite un pré-signé URL S3 charger à l'aide de mon S3 informations d'identification, et les retours que dans le Reste de la réponse. Curl prend l'URL et l'utilise pour télécharger les S3, S3 mais renvoie 403 "La demande de la signature, nous avons calculé ne correspond pas à la signature que vous avez fournis. Vérifiez votre clé et la signature de la méthode."

Voici le code que j'utilise pour générer le pré-signée URL:

public class S3Util {
    static final AmazonS3 s3 = new AmazonS3Client( new AWSCredentials() {
        @Override
        public String getAWSAccessKeyId() {
            return "XXXXXXX";
        }
        @Override
        public String getAWSSecretKey() {
            return "XXXXXXXXXXXXXX";
        }
    });
    static final String BUCKET = "XXXXXXXXXXXXXXXXXXXXXXXXXXX";

    static public URL getMediaChunkURL( MediaChunk mc, HttpMethod method ) {
        String key = ...
        //way in the future (for testing)...
        Date expiration = new Date( System.currentTimeMillis() + CalendarUtil.ONE_MINUTE_IN_MILLISECONDS*60*1000 );

        GeneratePresignedUrlRequest req = new GeneratePresignedUrlRequest(BUCKET, key, method);
        req.setExpiration(expiration);
        req.addRequestParameter("Content-Type", "application/octet-stream");

        //this gets passed to the end user:
        return s3.generatePresignedUrl(req);
    }
}

et en curl, exécuter à partir du bash, j'exécute ceci:

echo Will try to upload chunk to ${location}
curl -i -X POST \
        -F 'Content-Type=application/octet-stream' \
        -F "file=@${fileName}" \
        ${location} || (echo upload chunk failed. ; exit 1 )

Entre autres choses, j'ai essayé de METTRE, et j'ai essayé "Content-type" (T minuscule). Je me rends compte que je suis en manque de quelque chose (ou des choses) c'est évident, mais après la lecture de l'appropriées docs, google et en regardant beaucoup de questions similaires, je ne suis pas sûr de ce qui est. Je vois beaucoup de conseils sur les en-têtes, mais je pensais que le démissionné URL était censé éliminer ces besoins. Peut-être pas?

TIA!

Mise à jour:

Juste pour être clair, j'ai testé les téléchargements, et qui fonctionne très bien.

Java ressemble:

GeneratePresignedUrlRequest req = new GeneratePresignedUrlRequest(BUCKET, key, HttpMethod.GET);
req.setExpiration(expiration);

et curl est tout simplement:

curl -i ${location}

OriginalL'auteur Bjorn Roche | 2012-01-30

17

J'ai été en mesure de générer un pré-signé l'URL à l'aide de C# et de le transférer par la suite via curl comme prévu. Compte tenu de mes tests, je soupçonne que vous êtes en effet pas à l'aide de curl correctement - j'ai été en mesure de télécharger un fichier comme ceci:
```
curl -v --upload-file ${fileName} ${location}
```
Le paramètre -v décharges à la fois la demande et les en-têtes de réponse (ainsi que le handshake SSL) pour le débogage et à des fins d'illustration:
```
> PUT [...] HTTP/1.1
> User-Agent: curl/7.21.0 [...]
> Host: [...]
> Accept: */*
> Content-Length: 12
> Expect: 100-continue
```
Veuillez noter que --upload-file (ou -T) facilite PUTcomme prévu, mais ajoute des en-têtes appropriés, ce qui donne une bonne réponse en retour:
```
< HTTP/1.1 100 Continue
< HTTP/1.1 200 OK
< x-amz-id-2: [...]
< x-amz-request-id:  [...]
< Date: Tue, 31 Jan 2012 18:34:56 GMT
< ETag: "253801c0d260f076b0d5db5b62c54824"
< Content-Length: 0
< Server: AmazonS3
```
Merci pour cette. Je suis coller avec ma solution, car j'ai eu de travail en premier, mais je suis marquage ce en tant que correct, car il répond à la requête d'origine, et, honnêtement, je pense que c'est mieux.
Pour moi, le pré-signé url figurant des personnages qui m'a obligé d'entourer l'ensemble de l'url avec des guillemets. Une fois que je l'ai fait, votre réponse a parfaitement fonctionné.
Pour moi, à l'aide de pré-signé url du POST n'a pas fonctionné. Commutation juste la méthode (à la fois dans GeneratePresignedUrlRequest et en boucle) a résolu le problème.

OriginalL'auteur Steffen Opel
5

quand vous faites cela avec curl, vous devez placer l'url de guillemets simples ou autre moitié de la chaîne de requête est coupée (la partie avec la touche/signature).

OriginalL'auteur handler

La façon de générer l'URL:

private static URL generateRUL(String objectKey, String ACCESS_KEY, String SECRET_KEY, String BUCKET_NAME) {
    AmazonS3 s3Client = new AmazonS3Client(new BasicAWSCredentials(ACCESS_KEY, SECRET_KEY));
    URL url = null;

    try {
        GeneratePresignedUrlRequest request  = new GeneratePresignedUrlRequest(BUCKET_NAME, objectKey);
        request.setMethod(com.amazonaws.HttpMethod.PUT);
        request.setExpiration(new Date( System.currentTimeMillis() + (60 * 60 * 1000)));

        //Very important ! It won't work without adding this! 
        //And request.addRequestParameter("Content-Type", "application/octet-stream") won't work neither
        request.setContentType("application/octet-stream");

        url = s3Client.generatePresignedUrl(request ); 
    } catch (AmazonServiceException exception) { 
    } catch (AmazonClientException ace) { }

    return url;
}

La façon de télécharger le fichier:

public int upload(byte[] fileBytes, URL url) {
    HttpURLConnection connection = (HttpURLConnection) url.openConnection();
    connection.setDoOutput(true);
    connection.setRequestMethod("PUT");
    connection.setRequestProperty("Content-Type", "application/octet-stream"); //Very important ! It won't work without adding this!
    OutputStream output = connection.getOutputStream();

    InputStream input = new ByteArrayInputStream(fileBytes);
    byte[] buffer = new byte[4096];
    int length;
    while ((length = input.read(buffer)) > 0) {
        output.write(buffer, 0, length);
    }
    output.flush();

    return connection.getResponseCode();
}

demande.setContentType("application/octet-stream"); ça marche!!! J'ai eu 403 forbidden erreur avant. Je veux savoir pourquoi ça fonctionne

OriginalL'auteur Yuwen

-1

Malgré le fait que GeneratePresignedUrlRequest accepte une méthode http d'argument (et a un setMethod fonction), il semble être inutilisable pour quelque chose, mais OBTENIR.

http://wiki.nercomp.org/wiki/images/0/05/AmazonWebServices.pdf membres de "La pratique de la signature d'une demande et de le donner à un tiers pour l'exécution est adapté uniquement pour objet simple demande." Peut-être une autre méthode peut être utilisée pour quelque chose, mais apparemment pas.

Donc, au lieu de cela, j'ai dû suivre les instructions ici:

http://aws.amazon.com/articles/1434?_encoding=UTF8&jiveRedirect=1

C'est plus complexe, car le client est tenu d'afficher une forme complète, plutôt que de simplement en utilisant une URL, et tous les moyens que l'info du post doit être communiquée au client séparément, mais il ne semble pas fonctionner.

Intéressant, je n'étais pas au courant de ce (premier?) limitation - il a été retiré de la documentation sur ce sujet, bien que, par exemple, METTRE sur S3 : Problème illustre apparemment un exemple de travail à partir de l'utilisation de PUT (malgré le côté problèmes discutés).
J'ai juste confirmé que l'aide est, en effet, fonctionne très bien comme prévu par la génération d'un pré-signé URL via C# et le téléchargement par la suite, à l'aide de curl - je vais poster plus de détails, comme une réponse après une pause.
Merci pour le suivi.
je crois que le problème est dans la génération de la requête put lors de l'utilisation de java sdk, plus précisément dans la signature. Une url retournée par cette fonction peut être utilisée pour interroger le serveur, mais vous recevrez une erreur forbidden, avec une chaîne de caractères à signer octets (La demande), Si vous signez cette chaîne avec autre chose que la signature SERA différent. vous pouvez même échanger cette nouvelle signature avec celle sur la demande et la requête fonctionne. c'est peut-être un bug de java

OriginalL'auteur Bjorn Roche

Vous devez vous connecter pour publier un commentaire.