Comment faire pour gérer correctement un format de page lors de l'utilisation de curl?

J'ai écrit un script bash qui obtient de sortie à partir d'un site web à l'aide de curl et fait un tas de manipulation de chaîne sur la sortie html. Le problème est que quand je le lance contre un site qui est de retour de sa sortie au format gzip. Va sur le site dans un navigateur fonctionne très bien.

Quand je lance le roulage à la main, je reçois format de sortie:

$ curl "http://example.com"

Voici l'en-tête à partir de ce site en particulier:

HTTP/1.1 200 OK
Server: nginx
Content-Type: text/html; charset=utf-8
X-Powered-By: PHP/5.2.17
Last-Modified: Sat, 03 Dec 2011 00:07:57 GMT
ETag: "6c38e1154f32dbd9ba211db8ad189b27"
Expires: Sun, 19 Nov 1978 05:00:00 GMT
Cache-Control: must-revalidate
Content-Encoding: gzip
Content-Length: 7796
Date: Sat, 03 Dec 2011 00:46:22 GMT
X-Varnish: 1509870407 1509810501
Age: 504
Via: 1.1 varnish
Connection: keep-alive
X-Cache-Svr: p2137050.pubip.peer1.net
X-Cache: HIT
X-Cache-Hits: 425

Je sais que les données retournées sont au format gzip, parce que cela renvoie html, comme prévu:

$ curl "http://example.com" | gunzip

Je ne veux pas le tuyau de la sortie à travers gunzip, parce que le script fonctionne comme sur d'autres sites, et de la tuyauterie par gzip serait briser cette fonctionnalité.

Ce que j'ai essayé de

  1. de changer le user-agent (j'ai essayé la même chaîne de mon navigateur envoie, "Mozilla/4.0", etc)
  2. homme curl
  3. recherche google
  4. recherche stackoverflow

Tout est venu vide

Des idées?

  • Pour moi, le problème était que cURL n'était pas en mesure de décompresser Brotli (curl 7.54.0 (x86_64-apple-darwin17.0) libcurl/7.54.0 LibreSSL/2.0.20 zlib/1.2.11 nghttp2/1.24.0) - résolu en supprimant br de Accept-Encoding. voir stackoverflow.com/questions/18983719/...
InformationsquelleAutor BryanH | 2011-12-03
  1. 241

    curl automatiquement décompresser la réponse, si vous définissez la --compressed drapeau:

    curl --compressed "http://example.com"

    --comprimé
    (HTTP) Demande une réponse compressée à l'aide de l'un des algorithmes de libcurl prend en charge, et enregistrer le document non compressé. Si cette option est utilisée, et le serveur envoie un codage non pris en charge, curl signaler une erreur.

    gzip est probablement pris en charge, mais vous pouvez le vérifier en exécutant curl -V et à la recherche d' libz quelque part dans les "Fonctions" de la ligne:

    $ curl -V
...
Protocols: ...
Features: GSS-Negotiate IDN IPv6 Largefile NTLM SSL libz

    Noter que c'est vraiment le site en question qui est en cause ici. Si curl ne passe pas une Accept-Encoding: gzip - tête de la requête, le serveur ne devrait pas avoir envoyé une réponse compressée.

    • Cela semble être une boucle de bug, car il doit déclencher son décodage en fonction de la réponse, non pas sur ce qu'il a demandé (étant donné qu'il prend en charge gzip). Pour citer HTTP 1.1: "Si aucun en-tête Accept-Encoding est présent dans une requête, le serveur PEUT supposer que le client acceptera tout le codage de contenu." Mais il continue à dire que les serveurs DOIVENT dans ce cas ne pas coder le contenu, hmm, allez comprendre.
    • en fait sur ma version fonctionne --comp --compress --comprimé
    • cela définit également la demande d'en-tête: "Accept-Encoding: dégonfler, gzip" c'est génial, car si le serveur sert gzip et pas de gzip, vous avez juste besoin d' --comprimé et de ne pas ajouter l'accepter tête de codage de vous-même
    • aider mon assurance qualité avec cette solution dans 1 minute ! merci!!!! Cela dit, mon application est en fait l'envoi gzip réponse Content-Encoding: gzip. Les navigateurs modernes et des outils (p. ex. httpie) gère automatiquement il. Je suppose que curl juste besoin d'un "hint"
    • Étonnamment, le réglage de Accept-Encoding: deflate, gzip n'est pas assez, même si le serveur renvoie un gzip réponse avec Content-Encoding: gzip, curl ne sont pas automatiquement ungzip il. Le --compressed drapeau est nécessaire.
    • (et supprimer --raw si il y est).

    InformationsquelleAutor Martin