Python Demandes: les demandes.des exceptions.TooManyRedirects: Dépassé 30 redirige

J'essayais d'analyser cette page à l'aide de python-les demandes de la bibliothèque

import requests
from lxml import etree,html

url = 'http://www.amazon.in/b/ref=sa_menu_mobile_elec_all?ie=UTF8&node=976419031'
r = requests.get(url)
tree = etree.HTML(r.text)
print tree

mais j'ai l'erreur ci-dessus. (TooManyRedirects)
J'ai essayé d'utiliser allow_redirects paramètre, mais même erreur

r = requests.get(url, allow_redirects=True)

J'ai même essayé d'envoyer des en-têtes et les données alongwith url mais je ne sais pas si c'est la bonne façon de le faire.

headers = {'content-type': 'text/html'}
payload = {'ie':'UTF8','node':'976419031'}
r = requests.post(url,data=payload,headers=headers,allow_redirects=True)

comment résoudre cette erreur. J'ai même essayé de belle-soup4 par curiosité et je me suis différente, mais de même type d'erreur

page = BeautifulSoup(urllib2.urlopen(url))

urllib2.HTTPError: HTTP Error 301: The HTTP server returned a redirect error that would lead to an infinite loop.
The last 30x error message was:
Moved Permanently
allow_redirects=True est la valeur par défaut; le problème n'est pas que vous ne suivez pas les redirections, le problème est que le serveur garde vous redirigeant. Probablement parce que vous n'acceptez pas les cookies..
Une session ne semble pas aider. L'URL que vous accédez à redirige vers http://www.amazon.in/b?ie=UTF8&node=976419031, qui redirige vers http://www.amazon.in/electronics/b?ie=UTF8&node=976419031. Ce dernier redirige vers elle-même.

OriginalL'auteur user3628682 | 2014-05-14

  1. 20

    Amazon est de rediriger votre demande à http://www.amazon.in/b?ie=UTF8&node=976419031, qui redirige vers http://www.amazon.in/electronics/b?ie=UTF8&node=976419031, après que vous avez entré une boucle:

    >>> loc = url
>>> seen = set()
>>> while True:
...     r = requests.get(loc, allow_redirects=False)
...     loc = r.headers['location']
...     if loc in seen: break
...     seen.add(loc)
...     print loc
... 
http://www.amazon.in/b?ie=UTF8&node=976419031
http://www.amazon.in/electronics/b?ie=UTF8&node=976419031
>>> loc
http://www.amazon.in/b?ie=UTF8&node=976419031

    Donc l'URL d'origine UNE redirige pas une nouvelle URL à B, qui redirige vers C, qui redirige vers B, etc.

    Apparemment Amazon fait en fonction du User-Agent en-tête, à quel point il définit un cookie après les demandes doivent renvoyer. Les ouvrages suivants:

    >>> s = requests.Session()
>>> s.headers['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36'
>>> r = s.get(url)
>>> r
<Response [200]>

    Cela a créé une session (pour la facilité de réutilisation et de biscuits, de persistance), et une copie du Chrome chaîne de l'agent utilisateur. La demande réussit (renvoie une réponse 200).

    Cela fonctionne pour moi sur Windows, mais pas sur une machine virtuelle Ubuntu.. des idées pourquoi?
    non, surtout pas quand vous ne me dites pas comment ça ne fonctionne pas, désolé.

    OriginalL'auteur Martijn Pieters

  2. 0

    Augmentation de max_redirect est possible en spécifiant explicitement le comte comme dans l'exemple ci-dessous:

    session = requests.Session()
session.max_redirects = 60
session.get('http://www.amazon.com')

    OriginalL'auteur Praba Karan

  3. 0

    Vous avez besoin de copier la valeur du cookie à vous d'en-tête. Il fonctionne sur ma fin.

    Comment dois-je faire?

    OriginalL'auteur Rocky Chen