Comment je peux obtenir la page web de contenu et l'enregistrer dans la variable de chaîne

Comment je peux obtenir le contenu de la page web à l'aide de ASP.NET? J'ai besoin d'écrire un programme pour obtenir le code HTML d'une page web et de le stocker dans une variable de chaîne.

InformationsquelleAutor kamiar3001 | 2010-12-22
  1. 109

    Vous pouvez utiliser le WebClient

    WebClient client = new WebClient();
string downloadString = client.DownloadString("http://www.gooogle.com");
    • Malheureusement DownloadString (comme de .NET 3.5) n'est pas assez intelligent pour travailler avec les Nomenclatures. J'ai inclus une alternative dans ma réponse.
    • Pas de vote car aucune aide(client web client = new WebClient()){} 🙂
    • C'est l'équivalent de Steven Spielberg en réponse, posté 3 minutes avant, donc pas de +1.
    InformationsquelleAutor dhinesh
  2. 70

    J'ai rencontré des problèmes avec Webclient.Downloadstring avant. Si vous le faites, vous pouvez essayer ceci:

    WebRequest request = WebRequest.Create("http://www.google.com");
WebResponse response = request.GetResponse();
Stream data = response.GetResponseStream();
string html = String.Empty;
using (StreamReader sr = new StreamReader(data))
{
    html = sr.ReadToEnd();
}
    • Pouvez-vous élaborer sur le problème que vous aviez?
    • c'était un problème de performances. Je n'ai jamais vraiment résolu, mais WebClient.DownloadString serait prendre de 5 à 10 secondes pour tirer vers le bas le HTML, où que WebRequest/WebResponse a été presque immédiat. Voulais juste proposer une autre solution de rechange dans le cas de l'OP eu des problèmes similaires ou voulu un peu plus de contrôle sur la demande/réponse.
    • pour trouver ce. Il suffit d'exécuter certains tests. DownloadString a pris beaucoup plus de temps lors de la première utilisation (5299ms downloadstring vs 200ms WebRequest). Testé dans une boucle de 50 x de la BBC, 50 x CNN et 50 x un Autre flux RSS Url, en utilisant des Url différentes pour éviter la mise en cache. Après la charge initiale, DownloadString est sorti 20ms plus rapide pour la BBC, 300ms plus rapide sur CNN. Pour les autres flux RSS, WebRequest était 3ms plus rapide. En général, je pense que je vais utiliser WebRequest pour les célibataires et DownloadString pour faire une boucle par le biais d'Url.
    • Cela a fonctionné parfaitement pour moi, merci! Juste pour peut-être sauver les autres un peu de recherche, WebRequest est dans System.Net et des Flux dans le Système.Io
    • Scott, @HockeyJ - je ne sais pas ce qui a changé depuis que vous avez utilisé le service WebClient, mais quand je l'ai testé (à l'aide .NET 4.5.2), il a été assez rapide - 950ms (encore un peu plus lent que d'une seule WebRequest qui a eu 450 ms, mais pas de 5 à 10 secondes pour être sûr).
    • C'est encore 2x plus lent. Pas sûr que j'avais le double du temps nécessaire à l'exécution d'une requête web juste pour sauver un couple de lignes de code réutilisable.

    InformationsquelleAutor Scott
  3. 24

    Je recommande pas à l'aide de WebClient.DownloadString. C'est parce que (au moins dans .NET 3.5) DownloadString n'est pas assez intelligent pour utiliser/suppression de la NOMENCLATURE, doit-il être présent. Cela peut entraîner dans la NOMENCLATURE () incorrecte apparaissant comme partie de la chaîne lorsque des données UTF-8 est de retour (au moins sans un charset) - ick!

    Au lieu de cela, cette légère variation de fonctionner correctement avec les Nomenclatures:

    string ReadTextFromUrl(string url) {
    //WebClient is still convenient
    //Assume UTF8, but detect BOM - could also honor response charset I suppose
    using (var client = new WebClient())
    using (var stream = client.OpenRead(url))
    using (var textReader = new StreamReader(stream, Encoding.UTF8, true)) {
        return textReader.ReadToEnd();
    }
}
    • remplir un rapport de bogue
    InformationsquelleAutor user2246674
  4. 9
    Webclient client = new Webclient();
string content = client.DownloadString(url);

    Passer l'URL de la page qui vous voulez obtenir. Vous pouvez analyser le résultat de l'utilisation de htmlagilitypack.

    InformationsquelleAutor