L'extraction de données à partir d'une URL résultat avec une mise en forme particulière

Il semble que vous pouvez briser ce problème en plusieurs sous-problèmes.

Sous-problèmes

Il y a une poignée de problèmes qui doivent être résolus avant d'écrire le script terminé:

1. Formant l'URL de la requête: la Création d'un configuré URL de la requête à partir d'un modèle
2. De la récupération des données: en Fait la demande, de
3. Déballage JSONP: Les données renvoyées semble être JSON enveloppé dans un appel de fonction JavaScript
4. De la traversée de l'objet graphique: diriger par la suite pour trouver le désiré des bits d'information

Formant l'URL de la requête

C'est juste de la simple mise en forme de chaîne.

url_template = 'http://somewhere.com/relatedqueries?limit={limit}&query={seedterm}'
url = url_template.format(limit=2, seedterm='seedterm')

Python 2 Remarque

Vous aurez besoin d'utiliser la mise en forme de chaîne de l'opérateur (%) ici.

url_template = 'http://somewhere.com/relatedqueries?limit=%(limit)d&query=%(seedterm)s'
url = url_template % dict(limit=2, seedterm='seedterm')

De la récupération des données

Vous pouvez utiliser le haut-urllib.demande de module pour cela.

import urllib.request
data = urllib.request.urlopen(url) # url from previous section

Cette fonction renvoie un fichier comme objet appelé data. Vous pouvez également utiliser un avec-déclaration ici:

with urllib.request.urlopen(url) as data:
    # do processing here

Python 2 Remarque

Importation urllib2 au lieu de urllib.request.

Déballage JSONP

Le résultat que vous avez collé ressemble JSONP. Étant donné que l'emballage de la fonction qui est appelée (oo.visualization.Query.setResponse) ne change pas, nous ne pouvons tout simplement tranche de l'appel de cette méthode.

result = data.read()

prefix = 'oo.visualization.Query.setResponse('
suffix = ');'

if result.startswith(prefix) and result.endswith(suffix):
    result = result[len(prefix):-len(suffix)]

Parsing JSON

L'résultant result chaîne est juste des données JSON. Analyser avec l'intégré dans le module json.

import json

result_object = json.loads(result)

De la traversée de l'objet graphique

Maintenant, vous avez un result_object qui représente la réponse JSON. L'objet lui-même être un dict avec des touches de version, reqId, et ainsi de suite. Basé sur votre question, voici ce que vous devez faire pour créer votre liste.

# Get the rows in the table, then get the second column's value for
# each row
terms = [row['c'][2]['v'] for row in result_object['table']['rows']]

Mettre tous ensemble

#!/usr/bin/env python3
"""A script for retrieving and parsing results from requests to
somewhere.com.
This script works as either a standalone script or as a library. To use
it as a standalone script, run it as `python3 scriptname.py`. To use it
as a library, use the `retrieve_terms` function."""
import urllib.request
import json
import sys
E_OPERATION_ERROR = 1
E_INVALID_PARAMS = 2
def parse_result(result):
"""Parse a JSONP result string and return a list of terms"""
prefix = 'oo.visualization.Query.setResponse('
suffix = ');'
# Strip JSONP function wrapper
if result.startswith(prefix) and result.endswith(suffix):
result = result[len(prefix):-len(suffix)]
# Deserialize JSON to Python objects
result_object = json.loads(result)
# Get the rows in the table, then get the second column's value
# for each row
return [row['c'][2]['v'] for row in result_object['table']['rows']]
def retrieve_terms(limit, seedterm):
"""Retrieves and parses data and returns a list of terms"""
url_template = 'http://somewhere.com/relatedqueries?limit={limit}&query={seedterm}'
url = url_template.format(limit=limit, seedterm=seedterm)
try:
with urllib.request.urlopen(url) as data:
data = perform_request(limit, seedterm)
result = data.read()
except:
print('Could not request data from server', file=sys.stderr)
exit(E_OPERATION_ERROR)
terms = parse_result(result)
print(terms)
def main(limit, seedterm):
"""Retrieves and parses data and prints each term to standard output"""
terms = retrieve_terms(limit, seedterm)
for term in terms:
print(term)
if __name__ == '__main__'
try:
limit = int(sys.argv[1])
seedterm = sys.argv[2]
except:
error_message = '''{} limit seedterm
limit must be an integer'''.format(sys.argv[0])
print(error_message, file=sys.stderr)
exit(2)
exit(main(limit, seedterm))

Version de Python 2.7

#!/usr/bin/env python2.7
"""A script for retrieving and parsing results from requests to
somewhere.com.
This script works as either a standalone script or as a library. To use
it as a standalone script, run it as `python2.7 scriptname.py`. To use it
as a library, use the `retrieve_terms` function."""
import urllib2
import json
import sys
E_OPERATION_ERROR = 1
E_INVALID_PARAMS = 2
def parse_result(result):
"""Parse a JSONP result string and return a list of terms"""
prefix = 'oo.visualization.Query.setResponse('
suffix = ');'
# Strip JSONP function wrapper
if result.startswith(prefix) and result.endswith(suffix):
result = result[len(prefix):-len(suffix)]
# Deserialize JSON to Python objects
result_object = json.loads(result)
# Get the rows in the table, then get the second column's value
# for each row
return [row['c'][2]['v'] for row in result_object['table']['rows']]
def retrieve_terms(limit, seedterm):
"""Retrieves and parses data and returns a list of terms"""
url_template = 'http://somewhere.com/relatedqueries?limit=%(limit)d&query=%(seedterm)s'
url = url_template % dict(limit=2, seedterm='seedterm')
try:
with urllib2.urlopen(url) as data:
data = perform_request(limit, seedterm)
result = data.read()
except:
sys.stderr.write('%s\n' % 'Could not request data from server')
exit(E_OPERATION_ERROR)
terms = parse_result(result)
print terms
def main(limit, seedterm):
"""Retrieves and parses data and prints each term to standard output"""
terms = retrieve_terms(limit, seedterm)
for term in terms:
print term
if __name__ == '__main__'
try:
limit = int(sys.argv[1])
seedterm = sys.argv[2]
except:
error_message = '''{} limit seedterm
limit must be an integer'''.format(sys.argv[0])
sys.stderr.write('%s\n' % error_message)
exit(2)
exit(main(limit, seedterm))

OriginalL'auteur Wesley