En quoi est grequests asynchrone?

J'ai été en utilisant le python demandes de la bibliothèque pendant un certain temps, et a récemment eu besoin de faire une demande de façon asynchrone, ce qui signifie que je voudrais envoyer la requête HTTP, mon thread principal de continuer à exécuter, et ont une fonction de callback appelée lorsque la demande de retour.

Naturellement, j'ai été amené à le grequests bibliothèque (https://github.com/kennethreitz/grequests), mais je suis confus sur le comportement. Par exemple:

import grequests

def print_res(res):
    from pprint import pprint
    pprint (vars(res))

req = grequests.get('http://www.codehenge.net/blog', hooks=dict(response=print_res))
res = grequests.map([req])

for i in range(10):
    print i

Le code ci-dessus produira la sortie suivante:

<...large HTTP response output...>

0
1
2
3
4
5
6
7
8
9

La grequests.map() appel de toute évidence des blocs jusqu'à ce que la réponse HTTP est disponible. Il semble probable que j'ai mal compris le "asynchrone" comportement ici, et le grequests bibliothèque est juste pour l'exécution de plusieurs requêtes HTTP simultanément et envoyer toutes les réponses à un seul rappel. Est-ce exact?

  • Pas sûr, mais vous ne pourriez pas vous suffit d'utiliser le haut- urllib module et l'exécuter dans un thread d'arrière-plan avec la thread module?
  • Je crois que j'ai à faire. J'étais dans la confusion, et que vous voulez vérifier le comportement attendu.
  • Assurez-vous. J'ai juste tendance à coller avec built-ins, si possible, afin de maximiser la portabilité.
InformationsquelleAutor cacois | 2013-04-15
  1. 50

    .map() est destinée à exécuter la récupération de plusieurs Url en parallèle, et en effet attendre que ces tâches à accomplir (gevent.joinall(jobs)) est appelée).

    Utilisation .send() au lieu de pondre des emplois, à l'aide d'un Piscine exemple:

    req = grequests.get('http://www.codehenge.net/blog', hooks=dict(response=print_res))
job = grequests.send(req, grequests.Pool(1))

for i in range(10):
    print i

    Sans la piscine, le .send() appel se bloque toujours, mais seulement pour les gevent.spawn() appel il s'exécute.

    • Ah, je comprends maintenant. C'est parfait, merci!
    • pieters Pouvez-vous donner un exemple avec la poste. Pas en mesure de le faire fonctionner avec des appels
    • utilisez simplement grequests.post() à la place? Aussi loin que grequests, il n'y a pas de différence entre la demande de diverses méthodes.
    InformationsquelleAutor Martijn Pieters
  2. 6

    Si vous ne souhaitez pas utiliser grequests vous pouvez simplement mettre en œuvre les demandes avec des rappels à l'aide de requests + le threading module de la bibliothèque standard. C'est en fait très facile, et si tout ce que vous voulez faire est d'envoyer des requêtes avec des rappels de l'API est plus agréable que celui fourni par grequests.

    from threading import Thread

from requests import get, post, put, patch, delete, options, head



request_methods = {
    'get': get,
    'post': post,
    'put': put,
    'patch': patch,
    'delete': delete,
    'options': options,
    'head': head,
}


def async_request(method, *args, callback=None, timeout=15, **kwargs):
    """Makes request on a different thread, and optionally passes response to a
    `callback` function when request returns.
    """
    method = request_methods[method.lower()]
    if callback:
        def callback_with_args(response, *args, **kwargs):
            callback(response)
        kwargs['hooks'] = {'response': callback_with_args}
    kwargs['timeout'] = timeout
    thread = Thread(target=method, args=args, kwargs=kwargs)
    thread.start()

    Vous pouvez vérifier que cela fonctionne comme une appels AJAX en JS: vous envoyer une demande sur un autre thread, faire des trucs sur le thread principal, et si la requête retourne, vous appelez une fonction de rappel. Ce rappel se contente d'afficher le contenu de la réponse.

    async_request('get', 'http://httpbin.org/anything', callback=lambda r: print(r.json()))
for i in range(10):
    print(i)
    InformationsquelleAutor kylebebak
  3. 0

    Créer une liste de demandes et de les envoyer ensuite avec .imap:

    event_list = [grequests.get(url_viol_card, params={"viol": i},
              session=session) for i in print_ev_list]
for r in grequests.imap(event_list, size=5):
    print(r.request.url)
    • session est requests.Session() objet (facultatif)
    • size=5 envoyer 5 requêtes en même temps: dès que l'un d'entre eux est terminée, la prochaine est envoyé
    • Dans cet exemple, lors de toute demande (non ordonnée) est complété son url est imprimé
    InformationsquelleAutor Winand