Get source de site web en java

Vous pouvez obtenir à faible niveau et il suffit de demander avec un socket. En java, il ressemble à

//Arg[0] = Hostname
//Arg[1] = File like index.html
public static void main(String[] args) throws Exception {
    SSLSocketFactory factory = (SSLSocketFactory) SSLSocketFactory.getDefault();

    SSLSocket sslsock = (SSLSocket) factory.createSocket(args[0], 443);

    SSLSession session = sslsock.getSession();
    X509Certificate cert;
    try {
        cert = (X509Certificate) session.getPeerCertificates()[0];
    } catch (SSLPeerUnverifiedException e) {
        System.err.println(session.getPeerHost() + " did not present a valid cert.");
        return;
    }

    //Now use the secure socket just like a regular socket to read pages.
    PrintWriter out = new PrintWriter(sslsock.getOutputStream());
    out.write("GET " + args[1] + " HTTP/1.0\r\n\r\n");
    out.flush();

    BufferedReader in = new BufferedReader(new InputStreamReader(sslsock.getInputStream()));
    String line;
    String regExp = ".*<a href=\"(.*)\">.*";
    Pattern p = Pattern.compile( regExp, Pattern.CASE_INSENSITIVE );

    while ((line = in.readLine()) != null) {
        //Using Oscar's RegEx.
        Matcher m = p.matcher( line );  
        if( m.matches() ) {
            System.out.println( m.group(1) );
        }
    }

    sslsock.close();
}

OriginalL'auteur Bernie Perez

Probablement vous pourriez obtenir un meilleur affichage des trésors. de Pete ou sktrdie options. Voici un moyen supplémentaire si vous voulez savoir comment le faire "en avait"

Je ne suis pas très bon à la regex donc, dans ce cas, elle renvoie le dernier maillon d'une ligne. Eh bien, c'est un début.

import java.io.*;
import java.net.*;
import java.util.regex.*;

public class Links { 
    public static void main( String [] args ) throws IOException  { 

        URL url = new URL( args[0] );
        InputStream is = url.openConnection().getInputStream();

        BufferedReader reader = new BufferedReader( new InputStreamReader( is )  );

        String line = null;
        String regExp = ".*<a href=\"(.*)\">.*";
        Pattern p = Pattern.compile( regExp, Pattern.CASE_INSENSITIVE );

        while( ( line = reader.readLine() ) != null )  {
            Matcher m = p.matcher( line );  
            if( m.matches() ) {
                System.out.println( m.group(1) );
            }
        }
        reader.close();
    }
}

MODIFIER

Ooops j'ai totalement raté le "secure" partie. De toute façon je ne pouvais pas m'en empêcher, j'ai dû écrire cet exemple 😛

OriginalL'auteur OscarRyz

Vous pouvez utiliser javacurl pour obtenir le site du html, et java DOM pour l'analyser.

OriginalL'auteur Luca Matteis

Il y a deux significations de la source dans un contexte web:

La source HTML: Si vous demandez une page web par URL, vous obtenez toujours le code source HTML. En fait, il n'y a rien d'autre que vous pourriez obtenir à partir de l'URL. Les pages web sont toujours transmises sous forme de code source, il n'y a pas une telle chose comme un compilé page web. Et pour ce que vous essayez, cela devrait être suffisant pour remplir votre tâche.

À la Source du Script: Si la page web est généré dynamiquement, alors il est codé dans certains langage de script côté serveur (comme PHP, Ruby, JSP...). Il y a aussi existe un code source à ce niveau. Mais à l'aide d'une connexion HTTP vous n'êtes pas en mesure d'obtenir ce genre de code source. Ce n'est pas un fonctionnalité manquante mais complètement à la fin.

Analyse: Ayant cela dit, vous devez en quelque sorte analyser le code HTML. Si vous avez juste besoin de la des liens, à l'aide d'une RegEx (comme Oscar Reyes a montré) sera la méthode la plus pratique, mais vous pouvez également écrire un simple analyseur "manuellement". Il est lent, plus de code... mais qui fonctionne.

Si vous souhaitez accéder à ce code sur un plus au niveau logique, l'analyse à un DOM serait la voie à suivre. Si le code est valide XHTML vous pouvez simplement analyser pour un org.le w3c.dom.Document et faire quelque chose avec elle. Si elle est au moins HTML valide vous pouvez appliquer quelques astuces pour le convertir en XHTML (dans certains cas rares, en remplacement de <br> par <br/>, et de changer le doctype est assez) et l'utiliser comme XML.

Si il n'est pas valide XML, vous auriez besoin d'un HTML DOM parser. Je n'ai aucune idée si une telle chose existe pour Java et si elle effectue nice.

OriginalL'auteur Lena Schimmel