Télécharger 1000 premières images de la recherche google

mise à jour 3: j'ai corrigé le script fonctionne avec phantomjs 2.x.

mise à jour 2: j'ai modifié le script pour utiliser phantomjs. Il est plus difficile à installer, mais au moins il fonctionne à nouveau. http://sam.nipl.net/b/google-images http://sam.nipl.net/b/google-images.js

mise à jour 1: Malheureusement cela ne fonctionne plus. Il semble que Javascript et autre magie est maintenant nécessaire de trouver l'endroit où les images se trouvent. Voici une version du script pour yahoo recherche d'image: http://sam.nipl.net/code/nipl-tools/bin/yimg

réponse originale à cette question: j'ai piraté quelque chose ensemble pour cela. J'ai l'habitude d'écrire de petits outils et de les utiliser ensemble, mais vous l'avez demandé un script shell, pas trois douzaines. C'est délibérément dense code.

http://sam.nipl.net/code/nipl-tools/bin/google-images

Il semble fonctionner très bien jusqu'à présent. S'il vous plaît laissez-moi savoir si vous pouvez l'améliorer, ou de suggérer les meilleures techniques de codage (étant donné que c'est un script shell).

#!/bin/bash
[ $# = 0 ] && { prog=`basename "$0"`;
echo >&2 "usage: $prog query count parallel safe opts timeout tries agent1 agent2
e.g. : $prog ostrich
$prog nipl 100 20 on isz:l,itp:clipart 5 10"; exit 2; }
query=$1 count=${2:-20} parallel=${3:-10} safe=$4 opts=$5 timeout=${6:-10} tries=${7:-2}
agent1=${8:-Mozilla/5.0} agent2=${9:-Googlebot-Image/1.0}
query_esc=`perl -e 'use URI::Escape; print uri_escape($ARGV[0]);' "$query"`
dir=`echo "$query_esc" | sed 's/%20/-/g'`; mkdir "$dir" || exit 2; cd "$dir"
url="http://www.google.com/search?tbm=isch&safe=$safe&tbs=$opts&q=$query_esc" procs=0
echo >.URL "$url" ; for A; do echo >>.args "$A"; done
htmlsplit() { tr '\n\r \t' ' ' | sed 's/</\n</g; s/>/>\n/g; s/\n *\n/\n/g; s/^ *\n//; s/$//;'; }
for start in `seq 0 20 $[$count-1]`; do
wget -U"$agent1" -T"$timeout" --tries="$tries" -O- "$url&start=$start" | htmlsplit
done | perl -ne 'use HTML::Entities; /^<a .*?href="(.*?)"/and print decode_entities($1), "\n";' | grep '/imgres?' |
perl -ne 'use URI::Escape; ($img, $ref) = map { uri_unescape($_) } /imgurl=(.*?)&imgrefurl=(.*?)&/;
$ext = $img; for ($ext) { s,.*[/.],,; s/[^a-z0-9].*//i; $_ ||= "img"; }
$save = sprintf("%04d.$ext", ++$i); print join("\t", $save, $img, $ref), "\n";' |
tee -a .images.tsv |
while IFS=$'\t' read -r save img ref; do
wget -U"$agent2" -T"$timeout" --tries="$tries" --referer="$ref" -O "$save" "$img" || rm "$save" &
procs=$[$procs + 1]; [ $procs = $parallel ] && { wait; procs=0; }
done ; wait

Caractéristiques:

• moins de 1500 octets
• explique l'utilisation, si elle est exécutée sans args
• téléchargements plein d'images en parallèle
• sûr option de recherche
• la taille de l'image, le type, etc. opte chaîne
• timeout /tentatives options
• emprunte l'identité de googlebot pour récupérer toutes les images
• numéros de fichiers image
• enregistre les métadonnées

Je vais poster une version modulaire certain temps, pour montrer que cela peut être fait très bien avec un ensemble de scripts shell et outils simples.

OriginalL'auteur Sam Watkins

Plutôt que de le faire en shell avec les expressions régulières, vous pouvez avoir un temps plus facile si vous utilisez quelque chose qui peut effectivement analyser le code HTML lui-même, comme PHP de la classe DOMDocument.

Si vous êtes coincé en utilisant seulement la coquille et de la nécessité de slurp Url de l'image, vous ne pouvez pas être totalement hors de la chance. Les Expressions régulières sont inappropriés pour l'analyse HTML, parce que le HTML n'est pas un langage régulier. Mais vous pouvez toujours être en mesure de s'en sortir si vos données d'entrée est hautement prévisible. (Il n'y a aucune garantie de cela, parce que Google met à jour ses produits et services régulièrement et souvent sans préavis.)

Cela dit, dans la sortie de l'URL que vous avez indiqué dans votre question, à chaque URL de l'image semble être incorporé dans une ancre des liens vers /imgres?…. Si l'on peut analyser ces liens, nous pouvons probablement de recueillir ce que nous avons besoin d'eux. Au sein de ces liens, Url de l'image semble être précédé &imgurl=. Donc, nous allons gratter cette.

#!/usr/local/bin/bash
# Possibly violate Google's terms of service by lying about our user agent
agent="Mozilla/5.0 (X11; FreeBSD amd64; rv:12.0) Gecko/20100101 Firefox/12.0"
# Search URL
url="http://www.google.com/search?hl=en&q=panda&bav=on.2,or.r_gc.r_pw.r_cp.r_qf.,cf.osb&biw=1287&bih=672&um=1&ie=UTF-8&tbm=isch&source=og&sa=N&tab=wi&ei=qW4FUJigJ4jWtAbToInABg"
curl -A "$agent" -s -D- "$url" \
| awk '{gsub(/<a href=/,"\n")} 1' \
| awk '
/imgres/{
sub(/" class=rg_l >.*/, "");       # clean things up
split($0, fields, "\&amp;");       # gather the "GET" fields
for (n=1; n<=length(fields); n++) {
split(fields[n], a, "=");        # split name=value pair
getvars[a[1]]=a[2];              # store in array
}
print getvars["imgurl"];           # print the result
}
'

Je suis l'aide de deux awk commandes parce que ... eh bien, je suis paresseux, et qui a été le moyen le plus rapide pour générer des lignes dans lesquelles je pourrais facilement trouver le "imgres" de la chaîne. On pourrait passer plus de temps à tout nettoyer et de le rendre plus élégant, mais la loi des rendements décroissants dicte que c'est pour autant que je aller avec celui-ci. 🙂

Ce script renvoie une liste d'Url que vous pouvez télécharger facilement à l'aide d'autres shell outils. Par exemple, si le script est appelé getimages, puis:

./getimages | xargs -n 1 wget

Noter que Google semble être en me donnant seulement 83 résultats (et non 1000) lorsque j'exécute ce avec l'URL de recherche que vous avez spécifié dans votre question. Il est possible que ce est juste la première page de Google serait généralement à un navigateur avant "expansion" de la page (à l'aide de JavaScript) quand j'arrive près du fond. Le bon façon de gérer ce qui serait d'utiliser Google API de recherche, par Pavan réponse, et de PAYER google pour leurs données si vous êtes plus de 100 recherches par jour.

OriginalL'auteur ghoti

Plutôt que de tenter d'analyser le code HTML (ce qui est très difficile et le risque de rupture), pensez à l'API est mis en évidence par @Paven dans sa réponse.

En outre, envisager d'utiliser un outil qui tente déjà de faire quelque chose de similaire. WGET (web-get) a une araignée comme caractéristique de suivre les liens (en particulier pour les types de fichiers spécifiés). Voir cette réponse à un StackOverflow question "comment puis-je utiliser wget pour télécharger toutes les images dans un dossier unique'.

Regex est très utile, mais je ne pense pas que c'est dans ce contexte - n'oubliez pas la Regex mantra:

Certaines personnes, lorsqu'ils sont confrontés à un problème, pense que "je sais, je vais utiliser des expressions régulières." Maintenant, ils ont deux problèmes.

-- Jamie Zawinski

OriginalL'auteur Ray Hayes

J'ai trouvé un moyen plus facile de le faire avec cet outil je peux confirmer que ça fonctionne bien comme de ce post.

Demandes de fonctionnalités pour le développeur: le

• Obtenir un aperçu de l'image(s) afin de vérifier qu'elle est correcte.
• Autoriser la saisie de plusieurs termes de manière séquentielle (c'est à dire le traitement par lots).

OriginalL'auteur Vijay

Comment au sujet de l'utilisation de cette bibliothèque?google-images-télécharger

Pour quiconque cherche toujours une manière décente pour télécharger 100s d'images, peuvent utiliser cet argument de ligne de commande code.

OriginalL'auteur Hardik Vasa