Comment utiliser Http, Socks4 et Socks5 en java?

Je veux écran-gratter un site web et que je veux utiliser Http, Socks4 et Sock5 procurations. Donc mes questions sont les suivantes:

  1. Est-il possible d'utiliser ces procurations par Java sans utiliser de toute autre API externe? Par exemple, Est-il possible d'envoyer une demande par le biais de HttpURLConnection par theseproxies?
  2. Si il n'est pas possible, alors Que d'autres les Api externe que je peux utiliser?
  3. Je le faisais à l'aide d'un navigateur sans condition par Interface htmlunit mais cela prend du temps de chargement, même de simples pages web, donc, pourriez-vous s'il vous plaît me suggérer d'autres Api (le cas échéant) qui offrent à la tête d'un navigateur rapide dans le chargement des pages web. Je ne veux pas ouvrir les pages web qui contiennent de lourds AJAX ou du code Javascript. J'ai juste besoin de cliquer sur le bouton de formes à travers le navigateur sans.

OriginalL'auteur Yatendra Goel | 2010-01-16

  1. 3

    Est-il possible d'utiliser ces procurations par Java sans utiliser de toute autre API externe? Par exemple, Est-il possible d'envoyer une demande par le biais de HttpURLConnection par le biais de ces proxies?

    Oui, vous pouvez configurer les procurations, soit à l'aide de (global) des propriétés du système, ou à l'aide de la Proxy classe, ou à l'aide d'un ProxySelector. Les deux options sont disponibles depuis Java 5 et sont plus flexibles. Jetez un oeil à Java mise en Réseau et proxy comme mentionné par jarnbjo pour tous les détails.

    Je le faisais à l'aide d'un navigateur sans condition par l'interface htmlunit, mais il faut du temps pour charger même de simples pages web, donc, pourriez-vous s'il vous plaît me suggérer d'autres Api (le cas échéant) qui offrent à la tête d'un navigateur rapide dans le chargement des pages web. Je ne veux pas ouvrir les pages web qui contiennent de lourds AJAX ou du code Javascript. J'ai juste besoin de cliquer sur le bouton de formes à travers le navigateur sans.

    Malheureusement, la première des solutions de rechange que je peux penser sont soit interface htmlunit base (comme JWebUnit ou WebTest) ou plus lent (Le sélénium, WebDriver - que vous pouvez exécuter dans headless mode). Mais peut-être que vous pourriez essayer HttpUnit si vous n'avez pas besoin d'avancée de la prise en charge JavaScript.

    Votre réponse est très instructif. J'ai déjà utilisé le Sélénium trop. Et vous avez raison que le Sélénium est plus lent que l'interface htmlunit, donc il n'est pas question de l'utilisation de Sélénium par le remplacement de l'interface htmlunit. J'avais essayé HttpUnit aussi deux jours en arrière, mais l' .jar fichier que j'ai téléchargé pour HttpUnit contenues diverses librairies, donc quand j'ai essayé d'exécuter le programme, il y avait beaucoup de références des erreurs se référant à d'autres bibliothèques. J'ai téléchargé quelques-uns d'entre eux, mais ne pouvait pas téléchargé à tous j'ai donc arrêté de l'utiliser.
    Avec Maven ou de Lierre, il serait assez facile de configurer votre projet (avec les dépendances). Si vous n'êtes pas en utilisant l'un de ces outils, les dépendances sont mentionnés ici par exemple: mvnrepository.com/artifact/httpunit/httpunit/1.6.2

    OriginalL'auteur Pascal Thivent

  2. 1

    Oui, c'est possible. Vous pouvez trouver les options de configuration pour les différents proxies réseau ici.

    OriginalL'auteur jarnbjo