Obtenir plus de résultats de recherche par page via l'URL

J'ai écrit un programme qui extrait les données à partir de recherches sur le web. Pour obtenir plus de données, je serais l'idéal pour extraire le plus d'résultats par requête via un script (disons 100).

Ma question est, est-il un moyen de modifier l'URL pour Google, Yahoo, ou Bing (de préférence dans cet ordre), de sorte que je peux obtenir plus de 10 résultats par requête?

Pour Google, l'ajout d'une &num=99 l'habitude de travailler sur un point, mais ne fonctionne plus 🙁
J'ai vu un semblable ajouter de &count=50 mais cela ne fonctionne pas sur tout les moteurs de recherche.

Cette question appartient à Web Applications SE.

OriginalL'auteur user1319504 | 2013-07-15

  1. 8

    La raison num=99 ne fonctionne pas pour Google est parce que le num paramètre valeur réelle n'est pas utilisé, mais est plutôt par rapport à une liste de permis valeurs.

    Les valeurs autorisées sont 10, 20, 30, 40, 50, et 100. Toutes les autres valeurs de ce champ sont ignorés.

    Pour Bing, le paramètre est count=## où ## peut être quelque chose de 1-100.

    Pour Yahoo, le paramètre est n=## où ## peut être quelque chose de 1-100.

    Dans la plupart des cas, le paramètre d'URL ne fonctionnera que si l'utilisateur n'a pas spécifié le nombre de résultats de recherche à afficher dans le moteur de recherche de paramètres de recherche. Sinon, le cookie sera prioritaire.

    ne fonctionne pas sur Bing plus
    Je l'ai juste testé avec certains nombres aléatoires et il a bien fonctionné: bing.com/search?q=cats&count=1 bing.com/search?q=cats&count=13 bing.com/search?q=cats&count=75
    L'université d'ottawa, vous avez raison! C'est seulement en travaillant pour mon dans un "onglet privé", pas dans ma séance publique. Peut-être un cookie. Merci de vérifier à nouveau.

    OriginalL'auteur Steve

  2. 2

    Je ne sais pas quel langage de programmation que vous utilisez, mais l'idée générale est de charger la page de recherche google avec les bon paramètres des cookies (c'est la façon dont ils sont stockés à la rédaction de ce document).

    Vous pouvez définir et afficher les cookies dans Google Chrome. Pour éviter les cookies, commencer par l'ouverture d'une nouvelle fenêtre de navigation privée (Ctrl+Maj+N), et en parcourant les paramètres de recherche (https://www.google.com/preferences).

    Au moment de la rédaction, vous souhaitez cochez la case "ne Jamais montrer des résultats instantanés", puis réglez le curseur de "Résultats par page" à la valeur que vous souhaitez. Après avoir cliquer sur "Enregistrer" en bas, vous pouvez désormais afficher vos cookies en ouvrant la console développeur (Ctrl+Maj+J), et en accédant à l'onglet ressources.

    De nouveau, au moment de la rédaction, Google met deux variables, NID et PREF. PREF est celui qui nous intéresse pour obtenir les résultats de la recherche pour le changement. Un exemple de ce à quoi il pourrait ressembler:

    ID=8155cce71859f7d0:U=fe6e69e174148b7b:FF=0:LD=en:NR=40:TM=1379366492:LM=1379366586:SG=2:S=FoybwBhek8noyp0t

    (Cette clé récupère 40 résultats comme indiqué par NR=40)

    Avec cette clé (PREF) et de la valeur pour elle (comme vu ci-dessus), vous pouvez envoyer le cookie lors de la demande d'une page à l'aide de wget, curl, etc. Dans mon projet le plus récent à cet égard, j'ai été en utilisant node avec la les demandes de la bibliothèque.

    Voici un extrait sur la façon dont vous pouvez aller sur l'extraction d'une page Google avec 40 résultats (modification de l'exemple de la demande de documentation):

    var j = request.jar();
var cookie = request.cookie('PREF=ID=8155cce71859f7d0:U=fe6e69e174148b7b:FF=0:LD=en:NR=40:TM=1379366492:LM=1379366586:SG=2:S=FoybwBhek8noyp0t');
j.add(cookie);
request({url: 'https://www.google.com/search', jar: j}, 
function(error, response, body) {
    //do something with the body (html) of the page! 
});

    Ou de prendre un regard sur les pages man wget /curl. Je sais que wget spécifie un --load-cookies drapeau que vous pouvez utiliser.

    Vous pouvez l'appliquer à tout autre cookie site web que vous avez besoin de contenu. Yahoo! utilise des cookies en fonction des paramètres - je ne suis pas sûr de ce que Bing utilise.

    NR m eaning ?

    OriginalL'auteur JayQuerie.com

  3. 1

    Ajouter &n=100 de liens. Page avec 100 résultats

    Ne semble pas fonctionner. Besoin num.
    Je pense que cela devrait &num=100, pas &n=100. Et il peut ou ne peut pas travailler seulement pour la Recherche Google.

    OriginalL'auteur Voprosec Voprosec