Lecture du contenu du site Web dans une chaîne

Actuellement, je suis en train de travailler sur une classe qui peut être utilisé pour lire le contenu du site web spécifié par l'url. Je suis juste au début de mes aventures avec java.io et java.net j'ai donc besoin de consulter mon design.

Utilisation:

TextURL url = new TextURL(urlString);
String contents = url.read();

Mon code:

package pl.maciejziarko.util;

import java.io.*;
import java.net.*;

public final class TextURL
{
    private static final int BUFFER_SIZE = 1024 * 10;
    private static final int ZERO = 0;
    private final byte[] dataBuffer = new byte[BUFFER_SIZE];
    private final URL urlObject;

    public TextURL(String urlString) throws MalformedURLException
    {
        this.urlObject = new URL(urlString);
    }

    public String read() 
    {
        final StringBuilder sb = new StringBuilder();

        try
        {
            final BufferedInputStream in =
                    new BufferedInputStream(urlObject.openStream());

            int bytesRead = ZERO;

            while ((bytesRead = in.read(dataBuffer, ZERO, BUFFER_SIZE)) >= ZERO)
            {
                sb.append(new String(dataBuffer, ZERO, bytesRead));
            }
        }
        catch (UnknownHostException e)
        {
            return null;
        }
        catch (IOException e)
        {
            return null;
        }

        return sb.toString();
    }

    //Usage:
    public static void main(String[] args)
    {
        try
        {
            TextURL url = new TextURL("http://www.flickr.com/explore/interesting/7days/");
            String contents = url.read();

            if (contents != null)
                System.out.println(contents);
            else
                System.out.println("ERROR!");
        }
        catch (MalformedURLException e)
        {
            System.out.println("Check you the url!");
        }
    }
}

Ma question est:
Est-ce un bon moyen pour obtenir ce que je veux? Sont-il de meilleures solutions?

Je n'ai pas comme sb.append(new String(dataBuffer, ZERO, bytesRead)); mais je n'étais pas capable de l'exprimer d'une manière différente. Est-il bon de créer une nouvelle Chaîne à chaque itération? Je suppose que non.

Tout autre point faible?

Merci d'avance!

source d'informationauteur Maciej Ziarko

io java networking url

Envisager d'utiliser URLConnection à la place. En outre, vous pourriez vouloir tirer profit IOUtils de Apache Commons IO pour que la chaîne de la lecture plus facile. Par exemple:

URL url = new URL("http://www.example.com/");
URLConnection con = url.openConnection();
InputStream in = con.getInputStream();
String encoding = con.getContentEncoding();  //** WRONG: should use "con.getContentType()" instead but it returns something like "text/html; charset=UTF-8" so this value must be parsed to extract the actual encoding
encoding = encoding == null ? "UTF-8" : encoding;
String body = IOUtils.toString(in, encoding);
System.out.println(body);

Si vous ne souhaitez pas utiliser IOUtils je serais probablement réécrire la ligne au-dessus de quelque chose comme:

ByteArrayOutputStream baos = new ByteArrayOutputStream();
byte[] buf = new byte[8192];
int len = 0;
while ((len = in.read(buf)) != -1) {
    baos.write(buf, 0, len);
}
String body = new String(baos.toByteArray(), encoding);

Je recommande fortement d'utiliser une bibliothèque dédiée, comme HtmlParser:

Parser parser = new Parser (url);
NodeList list = parser.parse (null);
System.out.println (list.toHtml ());

D'écrire votre propre code html parser est une perte de temps. Voici sa dépendance maven. Regardez sa JavaDoc pour creuser dans ses fonctions.

L'échantillon doit être convaincant:

Parser parser = new Parser(url);
NodeList movies = parser.extractAllNodesThatMatch(
    new AndFilter(new TagNameFilter("div"),
    new HasAttributeFilter("class", "movie")));

2

À moins que c'est une sorte d'exercice que vous voulez de code pour l'amour de l'apprentissage ... je ne voudrais pas réinventer la roue et je voudrais utiliser HttpURLConnection.

HttpURLConnection fournit une bonne encapsulation des mécanismes pour faire face avec le protocole HTTP. Par exemple, votre code ne fonctionne pas avec des redirections HTTP, HttpURLConnection de corriger pour vous.
2

Vous pouvez envelopper votre InputStream dans un InputStreamReader et peut utiliser c'est read() méthode pour lire des données de caractère directement (notez que vous devrait spécifier l'encodage lors de la création de la Readermais pour trouver le codage de l'arbitraire Url est non-trivial). Puis il suffit d'appeler sb.append() avec le char[] que vous venez de lire (et le décalage correct et de la longueur).

Hey s'il vous Plaît utiliser ces lignes de codes , il aidera u..

 <!DOCTYPE html>
    <html>
        <head>
            <script src="http://ajax.googleapis.com/ajax/libs/jquery/1.10.2/jquery.min.js"></script>
            <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
            <title>JSP Page</title>

        </head>
        <body>
            <h1>Hello World!</h1> 






        URL uri= new URL("Your url");
        URLConnection ec = uri.openConnection();
        BufferedReader in = new BufferedReader(new InputStreamReader(
                ec.getInputStream(), "UTF-8"));
        String inputLine;
        StringBuilder a = new StringBuilder();
        while ((inputLine = in.readLine()) != null)
            a.append(inputLine);
        in.close();

        out.println(a.toString());

0

Je sais que c'est une vieille question, mais je suis sûr que d'autres personnes trouveront aussi.

Si vous n'avez pas l'esprit un supplément de dépendance, voici une façon très simple
```
Jsoup.connect("http://example.com/").get().toString()
```
Vous aurez besoin d'un Jsoup de la bibliothèque, mais vous pouvez ajouter rapidement avec maven/gradle et il permet également de manipuler le contenu de la page et de trouver des noeuds.

Vous devez vous connecter pour publier un commentaire.