Mécaniser et Javascript

Je veux utiliser Mécaniser pour simuler la navigation d'une page web avec active JavaScript, y compris les Événements DOM et AJAX, et jusqu'à présent je n'ai trouvé aucun moyen de le faire.

J'ai regardé quelques Python client navigateurs qui prennent en charge JavaScript comme Spynner et Zope, et aucun d'entre eux fonctionnent vraiment pour moi. Spynner accidents de PyQt tout le temps, et Zope ne prend pas en charge JavaScript, comme il semble.

Est-il un moyen de simuler la navigation avec Python (pas de processus supplémentaire) comme WATIR ou des bibliothèques de manipuler Firefox ou Internet Explorer tout en soutenant Javascript que si parcourez actuellement la page?

  • Le Zope test de navigateur (construit sur mécaniser) n'a jamais prétendu à l'appui de JavaScript; où avez-vous lu qu'il le pourrait?
  • Pourriez-vous expliquer le problème que vous essayez de résoudre? Il se pourrait que vous ne pouvez pas besoin de JavaScript activé après tout.
  • Dites-nous ce que vous essayez de faire, et nous vous dirons si nous pouvons vous aider!
  • Je suis en train de simuler la navigation à l'aide strictement python. Je ne peux pas utiliser autre chose parce que j'ai besoin d'utiliser certains réglages spécifiques et des crochets que je peux (pour l'instant) uniquement le faire en python. Je suis prêt à même de faire des efforts et essayer et pont de Mécaniser et d'PyV8, mais je n'ai aucune idée de par où commencer... quelqu'un A déjà fait quelque chose comme ça avant?
InformationsquelleAutor Jeff Klip | 2011-04-26
  1. 24

    J'ai joué avec cette nouvelle alternative de Mécaniser (j'adore) appelé Phantom JS.

    C'est un full web, kit de navigateur comme Safari ou Chrome, mais est décapité et scriptable. Vous script en javascript, pas de python (pour autant que je sais au moins).

    Il y a des scripts d'exemple pour vous aider à démarrer. C'est comme beaucoup d'aide de Firebug. J'ai seulement passé quelques min à l'aide, mais j'ai trouvé j'ai été assez productif dès le début.

    • Bel outil! Pourquoi est-ce que les gens downvote sans explication?
    • Je me suis demandé la même chose. 🙂
    • C'est parce que 1) c'est un Javascript outil lorsque la question demande explicitement un Python outil et 2) la manipulation de l'outil via l'API JS à partir de Python serait un hacky PITA au mieux.
    • +1 je pense que phnatomjs est le chemin à parcourir, et de JavaScript est le langage du web
    • Ne PhantomJS fait exécuter le javascript sur les pages, il les charges? (Distinct du javascript dans le phantomjs script.) Je pense qu'il fait, mais c'est difficile à dire.
    • Oui, PhantomJS tourne la page comme un navigateur web n', mais sans INTERFACE utilisateur.

    InformationsquelleAutor newz2000
  2. 16

    De http://wwwsearch.sourceforge.net/mechanize/faq.html#general

    Si vous tombez sur ce dans une page que vous souhaitez automatiser, vous disposez de quatre options. Ici, ils sont, à peu près dans l'ordre de la simplicité.

    À comprendre ce que le JavaScript est en train de faire et de s'en inspirer dans votre code Python: par exemple, en ajoutant manuellement les cookies de votre CookieJar exemple, l'appel de méthodes sur HTMLForms, appelant urlopen, etc. Voir ci-dessus les formulaires re.

    Utilisation de Java interface htmlunit ou HttpUnit de Jython, car ils savent un peu de JavaScript.

    Au lieu d'utiliser mécaniser, d'automatiser un navigateur à la place. Par exemple, l'utilisation de MS Internet Explorer via son COM des interfaces d'automatisation à l'aide de Python pour Windows extensions, aka pywin32, aka win32all (par exemple, la fonction simple, pamie; pywin32 chapitre de l'O'Reilly livre) ou ctypes (exemple). Ce genre de chose peut également s'avérer utile sur Windows pour les cas où les API d'automatisation est absente. Pour Firefox, il y a PyXPCOM.

    Obtenir ambitieux et automatiquement déléguer le travail à un interprète (Mozilla interpréteur JavaScript, par exemple). C'est ce que l'interface htmlunit et httpunit faire. J'ai fait un pic le long de ces lignes il y a quelques années, mais je pense qu'il serait (encore) être beaucoup de travail pour bien faire.

    • Salut, merci pour les commentaires, mais j'ai vraiment besoin de rester purement python...
    • Options #1 et #3 sont purement python.
    • #1 est en effet python, et que peut-être ce qui va aller avec, mais je suis également intéressé sur la façon dont je peut généraliser le processus à l'avenir. #3 est vraiment à l'aide de COM et IE...
    • pourquoi est-il un problème avec l'aide d'un headless browser ou un navigateur automater?
    InformationsquelleAutor Jordan
  3. 6

    Fondamentalement, si vous voulez quelque chose qui traite de javascript alors vous avez besoin d'un réel moteur javascript, ces impliquent toujours l'automatisation d'un vrai navigateur (je suis, y compris sans tête dans cette).

    Java de l'interface htmlunit ne pas faire un très bon travail comme il n'utilise pas un moteur javascript d'un véritable navigateur. Phantom JS sons idéal (comme newz2000 souligne) cependant, je trouve que lorsque l'on manipule des pages avec javascript, il peut être très difficile à déboguer votre script si vous ne pouvez pas réellement voir la page que vous avez affaire.

    Cela conduit à des solutions telles que Selenium Webdriver qui a une API python pour automatiser les différents navigateurs, cependant, vous devez exécuter une application java jar et il lance le navigateur, donc pas pure python solution que vous êtes après (mais je pense que c'est aussi proche que vous pouvez obtenir).

    • J'ai utilisé le Sélénium pour automatiser Firefox via l'API Python. C'est un peu buggé, mais il fonctionne, en général, et est probablement la meilleure solution que j'ai vu.
    • J'ai moi aussi eu recours à de Sélénium pour automatiser la navigation sur le web pour un projet où l'exécution de Javascript est nécessaire. Pour le développement local, j'ai utilisé chromedirver et pour la production, j'ai utilisé le Sélénium Serveur. Le le Sélénium binding Python docs sont assez utiles.
    InformationsquelleAutor cerberos
  4. 4

    Vous pouvez utiliser le Sélénium avec Python. Vous pouvez ensuite gratter contenu généré par JavaScript ainsi que de manipuler la page avec JavaScript supplémentaire (comme Python).

    # In your virtualenv: pip install selenium
from selenium import webdriver

# Launch Firefox GUI
browser = webdriver.Firefox()

# Alternatively, you can drive PhantomJS without a GUI
# With Node.js installed: `npm install -g phantomjs`
# browser = webdriver.PhantomJS()

# Fetch a webpage
browser.get('http://example.com')

# If you need the whole HTML document
# just like inspecting the rendered page with the console
html = browser.page_source

# Get an element, even if it was created with JS
button = browser.find_element_by_css_selector('div.some-class > \
                                               input.the-submit-button')

# Click on something
button.click()

# Execute some JavaScript (assumes jQuery is loaded on the page)
browser.execute_script("$('html, body').animate({ scrollTop: 500 }, 50);")

    Vous pouvez exécuter le code en Python REPL et utiliser la saisie semi-automatique de découvrir les méthodes disponibles sur browser ou quel que soit l'élément que vous avez sélectionné. Ou faire quelque chose comme print(dir(browser)) pour voir ce qui est disponible.

    InformationsquelleAutor Josh
  5. 3

    Un exemple sur la façon d'utiliser PyV8, afin d'exécuter du JS sur un DOM avec python peuvent être trouvés ici:

    https://github.com/buffer/thug

    Ce devrait être assez facile de le faire fonctionner avec mechanize.

    InformationsquelleAutor Michael