HTTPWebResponse + StreamReader Très Lent

Je suis en train de mettre en œuvre limitée de crawler web en C# (pour quelques centaines de sites seulement)
à l'aide de HttpWebResponse.GetResponse() et Streamreader.ReadToEnd() , a également essayé à l'aide de StreamReader.Read() et une boucle pour créer ma chaîne HTML.

Je suis seulement de téléchargement des pages qui sont de 5-10K.

C'est très lent! Par exemple, la moyenne de la GetResponse() est d'environ une demi-seconde, alors que la moyenne StreamREader.ReadToEnd() est d'environ 5 secondes!

Tous les sites devraient être très rapide, car ils sont très proches de ma position, et ont des serveurs rapides. (dans l'Explorateur de pratiquement rien pour D/L) et je ne suis pas en utilisant un proxy.

Mon Robot a environ 20 threads de lecture simultanément à partir du même site. Cela pourrait-il être la cause du problème?

Comment puis-je réduire StreamReader.ReadToEnd fois de façon DRASTIQUE?

InformationsquelleAutor Roey | 2009-05-23
  1. 15

    HttpWebRequest peut prendre un certain temps à détecter votre les paramètres de proxy. Essayez d'ajouter ceci à votre demande de config:

    <system.net>
  <defaultProxy enabled="false">
    <proxy/>
    <bypasslist/>
    <module/>
  </defaultProxy>
</system.net>

    Vous pouvez également voir un léger gain de performance de mise en mémoire tampon de votre lit afin de réduire le nombre d'appels reçus par le système d'exploitation de socket:

    using (BufferedStream buffer = new BufferedStream(stream))
{
  using (StreamReader reader = new StreamReader(buffer))
  {
    pageContent = reader.ReadToEnd();
  }
}
    • Merci!!!! Totalement d'accélérer mon code de quelques secondes à quelques millisecondes!
    • Ce qui est l'équivalent de code en C++? L'aide (...) ne fonctionne pas en C++
    InformationsquelleAutor kgriffs
  2. 8

    WebClient est DownloadString est un simple wrapper pour HttpWebRequest, pourriez-vous essayer d'utiliser que temporairement et de voir si la vitesse s'améliore? Si les choses deviennent beaucoup plus rapide, pourriez-vous partager votre code afin que nous puissions avoir un regard sur ce que peut être le problème avec elle?

    EDIT:

    Il semble HttpWebRequest observe IE 'max connexions simultanées", de ces URLs sur le même domaine? Vous pourriez essayer d'augmenter la limite de connexions pour voir si cela aide? J'ai trouvé cet article sur le problème:

    Par défaut, vous ne pouvez pas effectuer plus de
    que 2-3 async HttpWebRequest (dépend
    sur l'OS). Afin de le remplacer
    (la façon la plus simple, à mon humble avis), n'oubliez pas
    pour ajouter ce sous
    section dans l'application de la config
    fichier:

    <system.net>
  <connectionManagement>
     <add address="*" maxconnection="65000" />
  </connectionManagement>
</system.net>
    • Essayé d'utiliser le service WebClient, mêmes résultats (moyenne des temps n'ont pas changé). Je devrais aussi mentionner que j'ai un 1,5 MBPS connexion avec une moyenne d/l la vitesse de 180KBPS je pensais que peut-être 20 threads tous les appelant StreamReader.Lire en même temps pourrait avoir quelque chose à faire avec elle? Ou est-ce indifférent?
    • Dans mon expérience, sur une connexion comme ça, on va saturer la bande passante avec 3 ou 4 fils. Pas besoin de courir plus, à moins que les sites web que vous envoyez une requête ping sont vraiment très lent et vous avez threads dormir beaucoup, en attente sur les I/O.
    • wow!!! J'ai été en utilisant async HttpWebRequest de test de charge serveur avec environ 300 threads pour chaque client et chaque thread a été télécharger "en série". changer maxconnection réglage effectué chaque thread de télécharger des données 10 fois plus rapide.
    InformationsquelleAutor Matt Brindley
  3. 4

    J'ai eu le même problème, mais lorsque je me suis assis la HttpWebRequest Proxy paramètre est null, il a résolu le problème.

    UriBuilder ub = new UriBuilder(url);
HttpWebRequest request = (HttpWebRequest)WebRequest.Create( ub.Uri );
request.Proxy = null;
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
    InformationsquelleAutor bisand
  4. 1

    Avez-vous essayé ServicePointManager.maxConnections? J'ai l'habitude de le régler à 200 pour des choses similaires à ce.

    InformationsquelleAutor No Refunds No Returns
  5. 1

    J'ai eu des problème le même problème mais en pire.
    réponse = (HttpWebResponse)webRequest.GetResponse(); dans mon code
    retardée d'environ 10 secondes avant d'exécuter le code, et après cela, le téléchargement saturé ma connexion.

    kurt réponse defaultProxy enabled="false"

    résolu le problème. maintenant, la réponse est presque instantanément et je peux télécharger tout fichier http lors de mes connexions vitesse maximale 🙂
    désolé pour le mauvais anglais

    InformationsquelleAutor vt2
  6. 1

    J'ai trouvé l'Application Config méthode n'a pas fonctionné, mais le problème était toujours en raison de la configuration du serveur proxy. Mon simple demande utilisé pour prendre jusqu'à 30 secondes, maintenant il faut de 1.

    public string GetWebData()
{
            string DestAddr = "http://mydestination.com";
            System.Net.WebClient myWebClient = new System.Net.WebClient();
            WebProxy myProxy = new WebProxy();
            myProxy.IsBypassed(new Uri(DestAddr));
            myWebClient.Proxy = myProxy;
            return myWebClient.DownloadString(DestAddr);
}
    InformationsquelleAutor thunder
  7. 0

    Merci à vous tous pour les réponses, elles m'ont aidé à creuser dans la bonne direction. J'ai fait face au même problème de performance, si la solution proposée à la demande de changement de fichier de config (ce que j'ai compris que la solution est pour les applications web) ne correspond pas à mes besoins, ma solution est indiqué ci-dessous:

    HttpWebRequest webRequest;

webRequest = (HttpWebRequest)System.Net.WebRequest.Create(fullUrl);
webRequest.Method = WebRequestMethods.Http.Post;

if (useDefaultProxy)
{
    webRequest.Proxy = System.Net.WebRequest.DefaultWebProxy;
    webRequest.Credentials = CredentialCache.DefaultCredentials;
}
else
{
    System.Net.WebRequest.DefaultWebProxy = null;
    webRequest.Proxy = System.Net.WebRequest.DefaultWebProxy;
}
    InformationsquelleAutor Yuriy
  8. 0

    Pourquoi ne pas le multithreading résoudre ce problème? Le Multithreading permettrait de minimiser le réseau des temps d'attente, et puisque vous seriez le stockage du contenu de la mémoire tampon dans la mémoire système (RAM), il n'y aurait pas d'IO goulot d'étranglement de traiter avec un système de fichiers. Ainsi, votre 82 pages qui prennent 82 secondes pour le téléchargement et l'analyse, devrait prendre 15 secondes (en supposant un processeur 4x). Corrigez-moi si je me manque quelque chose.

    ____ TÉLÉCHARGER LE THREAD_____*

    De Télécharger Du Contenu

    Forme De Flux

    Lire Le Contenu

    _________________________*

    InformationsquelleAutor Pangamma