Proxy Nginx pour les Fichiers sur le Disque Local ou S3

Je suis donc un déplacement de mon site à l'écart de Apache et Nginx sur, et je vais avoir du mal avec ce scénario:

Utilisateur télécharge une photo. Cette photo est redimensionnée, et de le copier dans S3. S'il convient de place sur le disque (ou le fichier ne peut pas être transféré à S3), une version locale est conservé.

Je veux les demandes de ces images (comme http://www.mysite.com/p/1_1.jpg) de regarder d'abord dans le p/répertoire. Si aucun fichier n'existe pas, je veux proxy la demande pour S3 et le rendu de l'image (mais pas de redirection).

Dans Apache, je l'ai fait comme ça:

RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^p/([0-9]+_[0-9]+\.jpg)$ http://my_bucket.s3.amazonaws.com/$1 [P,L]

Ma tentative de reproduire ce comportement dans Nginx est-ce:

location /p/{
    if (-e $request_filename) {
        break;
    }
    proxy_pass http://my_bucket.s3.amazonaws.com/;
}

Ce qui se passe, c'est que chaque demande tente de frapper Amazon S3, même si le fichier existe sur le disque (et si elle n'existe pas sur Amazon, j'ai des erreurs.) Si je supprime le proxy_pass ligne, puis les demandes de fichiers sur le disque fonctionnent.

Aucune idée sur comment résoudre ce problème?

Pouvez-vous partager virual.fichier conf.

OriginalL'auteur Coomer | 2010-01-12

  1. 33

    Ne devrait-ce pas être un exemple d'utilisation de try_files?

    location /p/{
    try_files $uri @s3;
}

location @s3{ 
    proxy_pass http://my_bucket.s3.amazonaws.com;
}

    Assurez-vous qu'il n'est pas un slash sur le S3 url

    Super réponse! Clair et simple de la solution. Merci!

    OriginalL'auteur Dan Gayle

  2. 12

    Vous pourriez améliorer votre s3 proxy config de ce genre. Adapté de https://stackoverflow.com/a/44749584:

    location /p/{
    try_files $uri @s3;
}

location @s3 {
  set $s3_bucket        'your_bucket.s3.amazonaws.com';
  set $url_full         '$1';

  proxy_http_version     1.1;
  proxy_set_header       Host $s3_bucket;
  proxy_set_header       Authorization '';
  proxy_hide_header      x-amz-id-2;
  proxy_hide_header      x-amz-request-id;
  proxy_hide_header      x-amz-meta-server-side-encryption;
  proxy_hide_header      x-amz-server-side-encryption;
  proxy_hide_header      Set-Cookie;
  proxy_ignore_headers   Set-Cookie;
  proxy_intercept_errors on;

  resolver               8.8.4.4 8.8.8.8 valid=300s;
  resolver_timeout       10s;
  proxy_pass             http://$s3_bucket$url_full;
}

    OriginalL'auteur RubenCaro

  3. 3

    Merci de garder mon coderwall post 🙂 Pour la mise en cache, vous pouvez l'améliorer un peu:

    http {

  proxy_cache_path          /tmp/cache levels=1:2 keys_zone=S3_CACHE:10m inactive=24h max_size=500m;
  proxy_temp_path           /tmp/cache/temp;

  server {
    location ~* ^/cache/(.*) {
      proxy_buffering        on;
      proxy_hide_header      Set-Cookie;
      proxy_ignore_headers   Set-Cookie;
      ...
      proxy_cache            S3_CACHE;
      proxy_cache_valid      24h;
      proxy_pass             http://$s3_bucket/$url_full;
    }
  }

}

    Une recommandation est d'étendre le cache de résolution jusqu'à 5 min:

    resolver                  8.8.4.4 8.8.8.8 valid=300s;
resolver_timeout          10s;
    Vous n'avez pas besoin d'une barre oblique dans proxy_pass la directive, il est assez important. Il devrait ressembler à ceci: proxy_pass http://$s3_bucket$url_full;

    OriginalL'auteur Anatoly

  4. 0

    break n'est pas tout à fait ce que vous attendez de nginx va faire la dernière chose que vous lui demandez, ce qui est logique, si vous commencez à creuser autour des modules... mais au fond de protéger votre proxy_pass avec le n'existe pas version

    if (-f $request_filename) {
    break;
}
if(!-f $request_filename)
    proxy_pass  http://s3;
}
    J'ai essayé au début, mais Nginx ne démarre pas si j'ai le http://my_bucket.s3.amazonaws.com/ dans le proxy_pass appel. J'obtiens l'erreur suivante: Restarting nginx: 2010/01/11 20:53:36 [emerg] 1485#0: "proxy_pass" may not have URI part in location given by regular expression, or inside named location, or inside the "if" statement, or inside the "limit_except" block in /etc/nginx/sites-enabled/my_site.com:39 Si j'ai enlever le slash de fin, Nginx va commencer, mais mes demandes ne sont pas acheminés plus correctement. Des idées?

    OriginalL'auteur Chris Farmiloe

  5. 0

    J'ai fini par résoudre ce par la vérification pour voir si le fichier n'existe pas, et si oui, la réécriture de cette demande. J'ai ensuite gérer le re-demande écrite et de faire le proxy_pass il y a, comme suit:

    location /p/{
  if (!-f $request_filename) {
    rewrite ^/p/(.*)$ /ps3/$1 last;
    break;
  }
}

location /ps3/{
  proxy_pass http://my_bucket.s3.amazonaws.com/;
}
    Le if dans nginx est très imprévisible du comportement. Même si cela fonctionne bien, il est recommandé d'utiliser try_files chaque fois que possible, comme dans Dan Gayle réponse. Vérifier wiki.nginx.org/IfIsEvil pour les subtilités de if.

    OriginalL'auteur Coomer