est-il un script java, web crawler cadre

Est-il un JavaScript web crawler cadre?

Pourriez-vous être plus précis? Cherchez-vous un web crawler implémenté en JavaScript? Côté serveur (Node.js) ou côté client (dans un navigateur)?
Est-il côté client webcrawler cadre? Comment cela fonctionnerait-il?
J'ai écrit trois Api à l'aide de javascript côté serveur. Vous pouvez exécuter nodejs de votre commande en ligne aussi facile que vous pouvez python. C'est une question tout à fait pertinente.

OriginalL'auteur saleh Hosseinkahni | 2011-04-05

  1. 10

    Il y a un nouveau cadre qui vient d'être communiqué pour Node.js appelé spider. Il utilise jQuery sous le capot d'analyse/de l'index d'un site web des pages HTML. L'API et de configuration sont vraiment sympa, surtout si vous savez déjà jQuery.

    De la suite de tests, voici un exemple de l'analyse du site du New York Times:

    var spider = require('../main');

spider()
  .route('www.nytimes.com', '/pages/dining/index.html', function (window, $) {
    $('a').spider();
  })
  .route('travel.nytimes.com', '*', function (window, $) {
    $('a').spider();
    if (this.fromCache) return;

    var article = { title: $('nyt_headline').text(), articleBody: '', photos: [] }
    article.body = '' 
    $('div.articleBody').each(function () {
      article.body += this.outerHTML;
    })
    $('div#abColumn img').each(function () {
      var p = $(this).attr('src');
      if (p.indexOf('ADS') === -1) {
        article.photos.push(p);
      }
    })
    console.log(article);
  })
  .route('dinersjournal.blogs.nytimes.com', '*', function (window, $) {
    var article = {title: $('h1.entry-title').text()}
    console.log($('div.entry-content').html())
  })
  .get('http://www.nytimes.com/pages/dining/index.html')
  .log('info')
  ;
    Passer une matinée à faire araignée au travail, il ne peut pas être exécuté dans les dernières 0.6.6 node.js.
    C'est un bon début, mais il ne semble pas gérer les méta redirections ou document de base remplace donc il ne pourra pas analyser de nombreux sites. Mais c'est la meilleure application que j'ai vu pour le nœud. Et avec le soutien pour les cookies c'est mieux que d'autres open source les robots.

    OriginalL'auteur Shakakai

  2. 8

    Essayer le PhantomJS. Pas exactement un robot, mais pourrait facilement être utilisé à cette fin. Il a entièrement fonctionnel moteur WebKit intégré, avec une capacité à enregistrer des captures d'écran etc. Des œuvres comme la simple ligne de commande JS interprète.

    OriginalL'auteur zindel

  3. 1

    Côté serveur?

    Essayer nœud-robot: https://github.com/joshfire/node-crawler

    Je ne voudrais pas considérer cela comme un robot, car il ne veut pas compiler ultérieure d'uri à analyser. Il va télécharger la source d'une URL donnée et de déclencher un rappel sur l'achèvement. C'est au consommateur de définir la logique pour analyser les liens fournis dans cette page, quelque chose qui n'est pas très simple.

    OriginalL'auteur bpierre