Débutant: Comment surmonter Javascript “onclick” bouton à gratter de la page web?

C'est le lien que j'ai envie de gratter:
http://www.prudential.com.hk/PruServlet?module=fund&objectif=searchHistFund&fundCd=MMFU_U

La "Version anglaise" onglet dans le coin supérieur droit pour afficher la version anglaise de la page web.

Il y a un bouton, je dois appuyer sur pour lire le fonds d'information sur la page web. Si pas, la vue est bloquée, et à l'aide de scrapy shell toujours vide [].

<div onclick="AgreeClick()" style="width:200px; padding:8px; border:1px black solid; 
background-color:#cccccc; cursor:pointer;">Confirmed</div>

Et la fonction de AgreeClick est:

function AgreeClick() {
var cookieKey = "ListFundShowDisclaimer";
SetCookie(cookieKey, "true", null);
Get("disclaimerDiv").style.display = "none";
Get("blankDiv").style.display = "none";
Get("screenDiv").style.display = "none";
//Get("contentTable").style.display = "block";
ShowDropDown();

Comment puis-je surmonter cette onclick="AgreeClick()" fonction à gratter de la page web?

OriginalL'auteur Terence Ng | 2013-05-07

  1. 4

    Vous ne pouvez pas simplement cliquez sur le lien à l'intérieur de scrapy (voir Cliquez sur un Bouton de Scrapy).

    Tout d'abord, vérifiez si les données dont vous avez besoin est déjà là - dans le code html (c'est sur le fond de sorte qu'il est là).

    Une autre option est le sélénium:

    from selenium import webdriver
import time

browser = webdriver.Firefox()
browser.get("http://www.prudential.com.hk/PruServlet?module=fund&purpose=searchHistFund&fundCd=MMFU_U")

elem = browser.find_element_by_xpath('//*[@id="disclaimer"]/div/div')
elem.click()
time.sleep(0.2)

elem = browser.find_element_by_xpath("//*")
print elem.get_attribute("outerHTML")

    Une autre option est d'utiliser mécaniser. Il est impossible d'exécuter du code js, mais, d'après le code source, AgreeClick juste définit le cookie ListFundShowDisclaimer à true. C'est un point de départ (je ne sais pas si il fonctionne):

    import cookielib
import mechanize

br = mechanize.Browser()

cj = cookielib.CookieJar()
ck = cookielib.Cookie(version=0, name='ListFundShowDisclaimer', value='true', port=None, port_specified=False,
                      domain='www.prudential.com.hk', domain_specified=False, domain_initial_dot=False, path='/',
                      path_specified=True, secure=False, expires=None, discard=True, comment=None, comment_url=None,
                      rest={'HttpOnly': None}, rfc2109=False)
cj.set_cookie(ck)
br.set_cookiejar(cj)

br.open("http://www.prudential.com.hk/PruServlet?module=fund&purpose=searchHistFund&fundCd=MMFU_U")
print br.response().read()

    Ensuite, vous pouvez analyser le résultat avec BeautifulSoup ou ce que vous préférez.

    avez-vous aussi une solution dans les Demandes? Je suis à l'aide de Demandes et j'ai besoin pour ce faire.

    OriginalL'auteur alecxe

  2. 4

    Utiliser le spynner bibliothèque Python pour émuler un navigateur et de les exécuter du javascript côté client.

    import spynner

browser = spynner.Browser()
url = "http://www.prudential.com/path/?args=values"

browser.load(url)

browser.runjs("AgreeClick();")

markup = browser._get_html()

    Comme vous pouvez le voir, vous pouvez appeler n'importe quel Javascript les fonctions disponibles dans le code source de la page par programmation.

    Si vous aussi, vous devez analyser les résultats, je recommande fortement BeautifulSoup.

    OriginalL'auteur pztrick