HtmlAgilityPack HtmlWeb.Charge le retour du Document vide

J'ai été en utilisant HtmlAgilityPack pour les 2 derniers mois dans un Crawler Web Application avec pas de problèmes de chargement d'une page web.

Maintenant quand j'essaye de charger cette page en particulier, le document OuterHtml est vide, si ce test échoue

var url = "http://www.prettygreen.com/";
var htmlWeb = new HtmlWeb();
var htmlDoc = htmlWeb.Load(url);
var outerHtml = htmlDoc.DocumentNode.OuterHtml;
Assert.AreNotEqual("", pageHtml);

Je peux charger une autre page du site avec pas de problèmes, tels que le réglage de

url = "http://www.prettygreen.com/news/";

Dans le passé une fois, j'ai eu un problème avec des encodages, j'ai joué un peu avec htmlWeb.OverrideEncoding et htmlWeb.AutoDetectEncoding avec pas de chance. Je n'ai aucune idée de ce que pourrait être le problème avec cette page web.

  • essayez de changer l'URL de la chaîne :- @"http:\\www.prettygreen.com\";
  • pas de chance, Système.UriFormatException : URI non Valide: Le nom d'hôte n'a pas pu être analysée.
InformationsquelleAutor craastad | 2012-11-15
  1. 10

    Il semble que ce site nécessite l'activation des cookies. Donc, la création d'un cookie contenant pour votre demande web devrait résoudre le problème:

    var url = "http://www.prettygreen.com/";
var htmlWeb = new HtmlWeb();
htmlWeb.PreRequest += request =>
    {
        request.CookieContainer = new System.Net.CookieContainer();
        return true;
    };
var htmlDoc = htmlWeb.Load(url);
var outerHtml = htmlDoc.DocumentNode.OuterHtml;
Assert.AreNotEqual("", outerHtml);
    • comment voulez-vous ajouter un cookie vous disposez déjà d'un précédent HttpWebRequest vous déjà fait?
    • pas sûr à 100%, mais les cookies doit être disponible dans les htmlWeb exemple
    InformationsquelleAutor Alex