Comment pouvez-vous faire une recherche Google par programmation de l'API Java

Quelques faits:

1. Google propose un public search webservice API qui renvoie JSON: http://ajax.googleapis.com/ajax/services/search/web. La Documentation ici

2. Java offre java.net.URL et java.net.URLConnection à feu et à gérer les requêtes HTTP.

3. JSON peut être converti en Java pour un fullworthy Javabean objet à l'aide d'un arbitraire Java API JSON. Un des meilleurs est Google Gson.

Maintenant faire le calcul:

public static void main(String[] args) throws Exception {
    String google = "http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=";
    String search = "stackoverflow";
    String charset = "UTF-8";

    URL url = new URL(google + URLEncoder.encode(search, charset));
    Reader reader = new InputStreamReader(url.openStream(), charset);
    GoogleResults results = new Gson().fromJson(reader, GoogleResults.class);

    //Show title and URL of 1st result.
    System.out.println(results.getResponseData().getResults().get(0).getTitle());
    System.out.println(results.getResponseData().getResults().get(0).getUrl());
}

Avec cette classe Javabean qui représentent la plus importante de données JSON renvoyé par Google (il retourne en fait plus de données, mais il est laissé à vous comme un exercice pour développer ce Javabean code en conséquence):

public class GoogleResults {

    private ResponseData responseData;
    public ResponseData getResponseData() { return responseData; }
    public void setResponseData(ResponseData responseData) { this.responseData = responseData; }
    public String toString() { return "ResponseData[" + responseData + "]"; }

    static class ResponseData {
        private List<Result> results;
        public List<Result> getResults() { return results; }
        public void setResults(List<Result> results) { this.results = results; }
        public String toString() { return "Results[" + results + "]"; }
    }

    static class Result {
        private String url;
        private String title;
        public String getUrl() { return url; }
        public String getTitle() { return title; }
        public void setUrl(String url) { this.url = url; }
        public void setTitle(String title) { this.title = title; }
        public String toString() { return "Result[url:" + url +",title:" + title + "]"; }
    }

}

Voir aussi:

• Comment incendie et de gérer les requêtes HTTP en utilisant java.net.URLConnection
• Comment faire pour convertir en JSON pour Java

---

Mise à jour depuis novembre 2010 (2 mois après la réponse ci-dessus), le public search webservice est devenu obsolète (et le dernier jour au cours duquel le service a été offert était le 29 septembre 2014). Votre meilleur pari est maintenant l'interrogation http://www.google.com/search directement avec un utilisateur honnête agent et ensuite d'analyser le résultat de l'utilisation d'un Analyseur HTML. Si vous omettez l'agent de l'utilisateur, puis vous obtenez une 403 de retour. Si vous êtes couché dans l'agent utilisateur et simuler un navigateur web (par exemple, google Chrome ou Firefox), vous obtiendrez une manière beaucoup plus large HTML réponse qui est un gaspillage de bande passante et de performance.

Voici un coup d'envoi en utilisant par exemple Jsoup comme analyseur HTML:

String google = "http://www.google.com/search?q=";
String search = "stackoverflow";
String charset = "UTF-8";
String userAgent = "ExampleBot 1.0 (+http://example.com/bot)"; //Change this to your company's name and bot homepage!

Elements links = Jsoup.connect(google + URLEncoder.encode(search, charset)).userAgent(userAgent).get().select(".g>.r>a");

for (Element link : links) {
    String title = link.text();
    String url = link.absUrl("href"); //Google returns URLs in format "http://www.google.com/url?q=<url>&sa=U&ei=<someKey>".
    url = URLDecoder.decode(url.substring(url.indexOf('=') + 1, url.indexOf('&')), "UTF-8");

    if (!url.startsWith("http")) {
        continue; //Ads/news/etc.
    }

    System.out.println("Title: " + title);
    System.out.println("URL: " + url);
}

De recherche google à l'aide de l'API, vous devez utiliser Recherche Personnalisée Google, la récupération de la page web est pas permis

En java, vous pouvez utiliser CustomSearch de l'API de la Bibliothèque du Client pour Java

La dépendance maven est:

<dependency>
    <groupId>com.google.apis</groupId>
    <artifactId>google-api-services-customsearch</artifactId>
    <version>v1-rev57-1.23.0</version>
</dependency> 

Exemple la recherche par code à l'aide de Google CustomSearch de l'API de la Bibliothèque du Client

public static void main(String[] args) throws GeneralSecurityException, IOException {

    String searchQuery = "test"; //The query to search
    String cx = "002845322276752338984:vxqzfa86nqc"; //Your search engine

    //Instance Customsearch
    Customsearch cs = new Customsearch.Builder(GoogleNetHttpTransport.newTrustedTransport(), JacksonFactory.getDefaultInstance(), null) 
                   .setApplicationName("MyApplication") 
                   .setGoogleClientRequestInitializer(new CustomsearchRequestInitializer("your api key")) 
                   .build();

    //Set search parameter
    Customsearch.Cse.List list = cs.cse().list(searchQuery).setCx(cx); 

    //Execute search
    Search result = list.execute();
    if (result.getItems()!=null){
        for (Result ri : result.getItems()) {
            //Get title, link, body etc. from search
            System.out.println(ri.getTitle() + ", " + ri.getLink());
        }
    }

}

Comme vous pouvez le voir, vous aurez besoin de demande d'une clé api et l'installation d'un moteur de recherche id, cx.

Notez que vous pouvez rechercher sur le web entier en sélectionnant l'option "Recherche web" sur la base de l'onglet paramètres lors de l'installation de cx, mais le résultat ne sera pas exactement le même comme un navigateur de recherche de google.

Actuellement (date de la réponse), vous obtenez 100 appels de l'api par jour pour gratuit, google aime partager votre profit.

Google TOS ont été un peu assouplie en avril 2014. Maintenant, il est indiqué:

"N'est pas une mauvaise utilisation de nos Services. Par exemple, ne pas interférer avec nos Services ou pour essayer d'y accéder en utilisant une méthode autre que l'interface et les instructions que nous fournissons."

De sorte que le passage sur les "moyens automatisés" et des scripts est maintenant disparu. De toute évidence, il n'est pas encore souhaité (par google) d'accéder à leurs services, mais je pense que c'est maintenant officiellement ouvert à l'interprétation de ce qu'est une "interface" et si cela fait une différence que de la façon dont exactement HTML renvoyée est traitée (rendu ou analysé). De toute façon, j'ai écrit un Java commodité de la bibliothèque, et c'est à vous de décider de l'utiliser ou pas:

https://github.com/afedulov/google-web-search

Comme une alternative à BalusC réponse comme il a été déprécié, et vous devez utiliser les proxy, vous pouvez utiliser ce package. Échantillon de Code:

Map<String, String> parameter = new HashMap<>();
parameter.put("q", "Coffee");
parameter.put("location", "Portland");
GoogleSearchResults serp = new GoogleSearchResults(parameter);

JsonObject data = serp.getJson();
JsonArray results = (JsonArray) data.get("organic_results");
JsonObject first_result = results.get(0).getAsJsonObject();
System.out.println("first coffee: " + first_result.get("title").getAsString());

Bibliothèque sur GitHub