Ouvrir une connexion avec Jsoup, obtenir code d'état, et analyser le document

Je suis la création d'une classe à l'aide de jsoup que va faire ce qui suit:

Le constructeur ouvre une connexion vers une url.
J'ai une méthode qui permettra de vérifier l'état de la page. c'est à dire 200, 404, etc.
J'ai une méthode pour analyser la page et de revenir une liste d'url.#

Ci-dessous est un rude travail de ce que je suis en train de faire, pas son très rude que j'ai essayé beaucoup de choses différentes

public class ParsePage {
private String path;
Connection.Response response = null;

private ParsePage(String langLocale){
    try {
        response = Jsoup.connect(path)
                .userAgent("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.21 (KHTML, like Gecko) Chrome/19.0.1042.0 Safari/535.21")
                .timeout(10000)
                .execute();
    } catch (IOException e) {
        System.out.println("io - "+e);
    }
}

public int getSitemapStatus(){
    int statusCode = response.statusCode();
    return statusCode;
}

public ArrayList<String> getUrls(){
    ArrayList<String> urls = new ArrayList<String>();

 }
}

Comme vous pouvez le voir je peux obtenir le statut de la page, mais à l'aide de la déjà d'ouvrir une connexion à partir du constructeur, je ne sais pas comment pour obtenir le document à analyser, j'ai essayé d'utiliser:

Document doc = connection.get();

Mais c'est un no go. Toutes les suggestions? Ou de meilleures façons d'aller à ce sujet?

OriginalL'auteur Peck3277 | 2012-05-09

Comme indiqué dans le JSoup de la Documentation pour la Connexion.Réponse type, il y a un parse() méthode d'analyse de la réponse du corps comme un Document et le renvoie.
Quand vous avez cela, vous pouvez faire ce que vous voulez avec elle.

Voir, par exemple, la mise en œuvre de getUrls()

public class ParsePage {
   private String path;
   Connection.Response response = null;

   private ParsePage(String langLocale){
      try {
         response = Jsoup.connect(path)
            .userAgent("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.21 (KHTML, like Gecko) Chrome/19.0.1042.0 Safari/535.21")
            .timeout(10000)
            .execute();
      } catch (IOException e) {
         System.out.println("io - "+e);
      }
   }

   public int getSitemapStatus() {
      int statusCode = response.statusCode();
      return statusCode;
   }

   public ArrayList<String> getUrls() {
      ArrayList<String> urls = new ArrayList<String>();
      Document doc = response.parse();
      //do whatever you want, for example retrieving the <url> from the sitemap
      for (Element url : doc.select("url")) {
         urls.add(url.select("loc").text());
      }
      return urls;
   }
}

bien que résolu que plutôt bien, merci!

OriginalL'auteur Alex

Si vous n'avez pas besoin de connexion, utilisation:

Document doc = Jsoup.connect("url").get();

Si vous avez besoin de login, je conseille d'utiliser:

Response res = Jsoup.connect("url")
    .data("loginField", "yourUser", "passwordField", "yourPassword")
    .method(Method.POST)
    .execute();
Document doc = res.parse();

//If you need to keep logged in to the page, use
Map<String, String> cookies = res.cookies;

//And by every consequent connection, you'll need to use
Document pageWhenAlreadyLoggedIn = Jsoup.connect("url").cookies(cookies).get();

Dans votre utilisation à obtenir les url, je serais probablement essayer

Elements elems = doc.select(a[href]);
for (Element elem : elems) {
    String link = elem.attr("href");
}

C'est à ce sujet.. continuez le bon travail

OriginalL'auteur Igor Brusamolin Lobo Santos

2

Vous devriez être en mesure d'appeler parse() sur la réponse de l'objet.
```
Document doc = response.parse();
```
OriginalL'auteur B. Anderson

Semble que votre situation comme vous voulez établir la connexion avec jsoup ensuite, vérifiez le code d'état, et ensuite, selon le code de statut vous permettra d'analyser ou de ce que vous voulez faire.

Pour cela, vous devez d'abord vérifier l'état du code de l'URL à la place de la création de la connexion.

  Response response = Jsoup.connect("Your Url ").followRedirects(false).execute();
        System.out.println(response.statusCode() + " : " + response.url());

response.statusCode() va vous retourner le code d'état

Après que vous pouvez créer votre connexion

 if (200 == response.statusCode()) {
        doc = Jsoup.connect(" Your URL").get();
        Elements elements = doc.select("href");
        /* what ever you want to do*/
      }

Votre classe va ressembler cette

package com.demo.soup.core;

import java.io.IOException;

import org.jsoup.Connection.Response;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

/**
 * The Class DemoConnectionWithJsoup.
 *
 * @author Ankit Sood Apr 21, 2017
 */
public class DemoConnectionWithJsoup {

    /**
     * The main method.
     *
     * @param args
     *            the arguments
     */
    public static void main(String[] args) {
    Response response;
    try {
        response = Jsoup.connect("Your URL ").followRedirects(false).execute();

        /* response.statusCode() will return you the status code */
        if (200 == response.statusCode()) {
        Document doc = Jsoup.connect("Your URL").get();

        /* what ever you want to do */
        }
    } catch (IOException e) {
        e.printStackTrace();
    }

    }

}

OriginalL'auteur Ankit Sood

Vous devez vous connecter pour publier un commentaire.