Java - le moyen le plus Rapide pour vérifier si l'URL existe

Salut, je suis en train d'écrire un programme qui passe par de nombreuses différentes URLs et vérifie juste si ils existent ou non. Je suis fondamentalement de vérifier si le code d'erreur retourné est 404 ou pas. Cependant comme je suis la vérification de plus de 1000 URLs, je veux être capable de faire cela très rapidement. Voici mon code, je me demandais comment je peut le modifier pour travailler rapidement (si possible):

final URL url = new URL("http://www.example.com");
HttpURLConnection huc = (HttpURLConnection) url.openConnection();
int responseCode = huc.getResponseCode();

if (responseCode != 404) {
System.out.println("GOOD");
} else {
System.out.println("BAD");
}

Serait-il plus rapide d'utiliser JSoup?

Je suis conscient que certains sites donnent le code 200 et disposent de leur propre page d'erreur, je sais cependant les liens que je suis la vérification de ne pas le faire, donc ce n'est pas nécessaire.

InformationsquelleAutor Matt9Atkins | 2013-08-08
  1. 30

    Essayer d'envoyer une "TÊTE" demande à la place de la requête get. Qui devrait être plus rapide depuis le corps de la réponse n'est pas téléchargé.

    huc.setRequestMethod("HEAD");

    De nouveau au lieu de vérifier si le statut de la réponse n'est pas 400, vérifier si elle est 200. C'est-à vérifier pour le positif plutôt que négatif. 404,403,402.. tous 40x statuts sont à peu près équivalent à non valide non existant url.

    Vous pouvez faire usage de multi-threading pour le rendre encore plus rapide.

    • Petite question au sujet de cette méthode, Est-il possible de changer de référent ou de l'agent utilisateur à l'aide de cette façon?
    • pour définir l'agent utilisateur huc.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_5_8; fr-fr) AppleWebKit/532.5 (KHTML, like Gecko) Chrome/4.0.249.0 Safari/532.5"); vous pouvez définir référent aussi l'utilisation de setRequestProperty() la méthode.
    • pour définir l'agent utilisateur: huc.setRequestProperty("User-Agent","Votre user-agent")
    • pour définir référent setRequestProperty (le"Parrain", "Votre URL de référence ");
    InformationsquelleAutor Vishnuprasad R
  2. 1

    Essayer de demander au Serveur DNS suivant

    class DNSLookup
{
    public static void main(String args[])
    {
        String host = "stackoverflow.com";
        try
        {
            InetAddress inetAddress = InetAddress.getByName(host);
            //show the Internet Address as name/address
            System.out.println(inetAddress.getHostName() + " " + inetAddress.getHostAddress());
        }
        catch (UnknownHostException exception)
        {
            System.err.println("ERROR: Cannot access '" + host + "'");
        }
        catch (NamingException exception)
        {
            System.err.println("ERROR: No DNS record for '" + host + "'");
            exception.printStackTrace();
        }
    }
}
    • Cela ne fonctionne pas pour une URL qui a un chemin après le nom de domaine.
    InformationsquelleAutor Khinsu
  3. 0

    Semble que vous pouvez définir le délai d'attente de la propriété, assurez-vous qu'il est acceptable. Et si vous avez de nombreuses adresses de test, le faire en parallèle, il sera beaucoup plus rapide. Espérons que ce sera utile.

    InformationsquelleAutor Spark8006