Journal de toutes les demandes de python-les demandes de module

Je suis à l'aide de python Les demandes. J'ai besoin de debug OAuth activité, et pour que je le voudrais à enregistrer toutes les requêtes effectuées. J'ai pu obtenir cette information avec ngrep, mais malheureusement, il n'est pas possible de filtrer les connexions https (qui sont nécessaires pour OAuth)

Comment puis-je activer la journalisation de toutes les Url (+ paramètres) qui Requests accède?

La réponse de @yohann montre comment obtenir encore plus de sortie d'enregistrement, y compris les en-têtes que vous envoyez. Il faut l'accepté de répondre plutôt que de Martijn, qui ne montre pas les en-têtes que vous finissent par obtenir via wireshark et de la main-personnalisation d'une demande à la place.

InformationsquelleAutor dangonfast | 2013-05-02

63

Le sous-jacent urllib3 bibliothèque de journaux de toutes les nouvelles connexions et les Url avec le journalisation module, mais pas POST corps. Pour GET demandes ce devrait être suffisant:
```
import logging

logging.basicConfig(level=logging.DEBUG)
```
qui vous donne le plus de l'enregistrement détaillé de l'option; voir la la journalisation des HOWTO pour plus de détails sur la façon de configurer les niveaux d'enregistrement et de destinations.

Courte démo:
```
>>> import requests
>>> import logging
>>> logging.basicConfig(level=logging.DEBUG)
>>> r = requests.get('http://httpbin.org/get?foo=bar&baz=python')
INFO:requests.packages.urllib3.connectionpool:Starting new HTTP connection (1): httpbin.org
DEBUG:requests.packages.urllib3.connectionpool:"GET /get?foo=bar&baz=python HTTP/1.1" 200 353
```
Les messages suivants sont enregistrés:
- INFO: De nouvelles connexions (HTTP ou HTTPS)
- INFO: Perte de connexion
- INFO: Redirige
- WARN: Pool de connexion complet (si cela arrive souvent, d'augmenter le pool de connexion de taille)
- WARN: Nouvelle tentative de connexion
- DEBUG: Les détails de la connexion: méthode, le chemin, la version de HTTP, code d'état, et longueur de la réponse
- Curieusement, je ne vois pas le access_token dans le OAuth demande. Linkedin est de se plaindre non autorisée de la demande, et je veux vérifier si la bibliothèque que j'utilise (rauth sur le dessus de requests) envoie le jeton à la demande. Je m'attendais à voir que comme un paramètre de requête, mais peut-être qu'il est dans les en-têtes de requête? Comment puis-je forcer le urllib3 pour afficher les en-têtes de trop? Et le corps de la requête? Juste pour faire simple: comment puis-je voir le COMPLET demande?
- Vous ne pouvez pas le faire sans les patchs, j'en ai peur. La façon la plus commune pour diagnostiquer ces problèmes est avec un proxy ou un packet logger (j'ai utiliser wireshark pour capturer pleinement les demandes et les réponses moi-même). Je vois que vous vous poser une nouvelle question sur le sujet cependant.
- Bien sûr, je suis le débogage en ce moment avec wireshark, mais j'ai un problème: si je n'en http, je vois le paquet complet contenu, mais Linkedin retourne 401, ce qui est prévu, depuis Linkedin dit d'utiliser le protocole https. Mais en https, il ne fonctionne pas non plus, et je ne peux pas le corriger puisque je ne peux pas inspecter la couche TLS avec wireshark.
- Droite, je vois le problème. Ensuite, vous devez patcher requests connecter les en-têtes (je m'attends à le voir Authorization les en-têtes d'authentification OAuth demandes).
- Merci @Martijn Pieters: j'ai trouvé le problème de la manière suivante: désactiver le protocole https, demande de journal avec wireshark, vérifiez que Linkedin réponses avec "Porteur-tête de l'inconnu", supprimez-en-tête avec bearer_auth=False pour rauth, et de définir un paramètre de requête "oauth2_access_token", envoyer la demande à nouveau, du journal et de voir que linkedin est se plaindre maintenant sur "https nécessaire". Maintenant de passer à https résout le problème. J'ai eu de la chance que Linkedin vérifie d'abord l'en-tête et ensuite, http/https, sinon je n'aurais eu aucune idée. Je pense tout de même que l'enregistrement de plein de paquets est un intéressant fonctionnalité pour urrlib3. Je vais le suggérer.
- Je viens de regarder dans cette, va répondre à votre autre question peu de temps.
- Vous pouvez obtenir les en-têtes qui ont été envoyés sans avoir recours à wireshark. Voir @yohann réponse.
- gah, oui, la configuration d'un attribut de classe serait en effet activer le débogage dans httplib. Je ne souhaite que bibliothèque utilisée logging; la sortie de débogage est écrit directement sur la sortie standard plutôt que de les laisser vous rediriger vers un journal de la destination de votre choix.
- Bonjour, je suis en utilisant le module de journalisation pour les différents loging événements. comment puis-je désactiver la journalisation des requêtes module? comme implicite ci-dessus si vous importez les deux ils s'exécutent automatiquement.
- voir Comment puis-je désactiver les messages du journal de la Demande de la bibliothèque?
InformationsquelleAutor Martijn Pieters

Vous devez activer le débogage à httplib niveau (requests → urllib3 → httplib).

Voici quelques fonctions à la fois à bascule (..._on() et ..._off()) ou temporairement sur:

import logging
import contextlib
try:
    from http.client import HTTPConnection # py3
except ImportError:
    from httplib import HTTPConnection # py2

def debug_requests_on():
    '''Switches on logging of the requests module.'''
    HTTPConnection.debuglevel = 1

    logging.basicConfig()
    logging.getLogger().setLevel(logging.DEBUG)
    requests_log = logging.getLogger("requests.packages.urllib3")
    requests_log.setLevel(logging.DEBUG)
    requests_log.propagate = True

def debug_requests_off():
    '''Switches off logging of the requests module, might be some side-effects'''
    HTTPConnection.debuglevel = 0

    root_logger = logging.getLogger()
    root_logger.setLevel(logging.WARNING)
    root_logger.handlers = []
    requests_log = logging.getLogger("requests.packages.urllib3")
    requests_log.setLevel(logging.WARNING)
    requests_log.propagate = False

@contextlib.contextmanager
def debug_requests():
    '''Use with 'with'!'''
    debug_requests_on()
    yield
    debug_requests_off()

Démo d'utilisation:

>>> requests.get('http://httpbin.org/')
<Response [200]>

>>> debug_requests_on()
>>> requests.get('http://httpbin.org/')
INFO:requests.packages.urllib3.connectionpool:Starting new HTTP connection (1): httpbin.org
DEBUG:requests.packages.urllib3.connectionpool:"GET /HTTP/1.1" 200 12150
send: 'GET /HTTP/1.1\r\nHost: httpbin.org\r\nConnection: keep-alive\r\nAccept-
Encoding: gzip, deflate\r\nAccept: */*\r\nUser-Agent: python-requests/2.11.1\r\n\r\n'
reply: 'HTTP/1.1 200 OK\r\n'
header: Server: nginx
...
<Response [200]>

>>> debug_requests_off()
>>> requests.get('http://httpbin.org/')
<Response [200]>

>>> with debug_requests():
...     requests.get('http://httpbin.org/')
INFO:requests.packages.urllib3.connectionpool:Starting new HTTP connection (1): httpbin.org
...
<Response [200]>

Vous verrez la DEMANDE, y compris les en-TÊTES et les DONNÉES, et de la RÉPONSE avec les en-TÊTES de mais en l'absence de DONNÉES. La seule chose qui manque sera la réponse.corps qui n'est pas connecté.

Source

Merci pour l'aperçu sur l'utilisation de httplib.HTTPConnection.debuglevel = 1 pour obtenir les en-têtes - excellent! Mais je pense que j'obtiens les mêmes résultats en utilisant simplement logging.basicConfig(level=logging.DEBUG) en place de vos autres 5 lignes. Ai-je raté quelque chose? Je suppose que cela pourrait être un moyen de définir différents niveaux de journalisation pour la racine vs le urllib3, si vous le souhaitez.
Vous n'avez pas l'en-tête avec votre solution.
httplib.HTTPConnection.debuglevel = 2 permettra l'impression de POST corps.
httplib.HTTPConnection.debuglevel = 1 est assez @Mandible79 $ curl https://raw.githubusercontent.com/python/cpython/master/Lib/http/client.py |grep debuglevel c'est toujours debuglevel > 0
Vous êtes une rockstar homme. Im essayant de débogage demandes pour savoir pourquoi mes cookies sont vides sur certains sites, tous les indicateurs?
Cela fonctionne très bien pour les entêtes de la requête, mais en-têtes de réponse montrent vide, par exemple. GET / HTTP/1.1" 200 None header: Content-Encoding header: Cache-Control header: ...

InformationsquelleAutor Yohann

Pour les personnes à l'aide de python 3+

import requests
import logging
import http.client

http.client.HTTPConnection.debuglevel = 1

logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True

InformationsquelleAutor forrestj

3

Je suis à l'aide de python 3.4, les demandes des articles 2.19.1:

'urllib3' est l'enregistreur pour obtenir aujourd'hui (pas plus de demandes.les packages.urllib3'). Journalisation de base arrivera encore, sans réglage de http.client.HTTPConnection.debuglevel

InformationsquelleAutor Mike Smith

Vous devez vous connecter pour publier un commentaire.