Analyser le JavaScript renvoyé par BeautifulSoup

Je voudrais analyser la page web http://dcsd.nutrislice.com/menu/meadow-view/lunch/ à saisir aujourd'hui le menu du midi. (J'ai construit un Adafruit #IoT Imprimante Thermique et je voudrais imprimer automatiquement le menu de chaque jour.)

J'ai d'abord abordé ce problème à l'aide de BeautifulSoup, mais il s'avère que la plupart des données sont chargées en JavaScript et je ne suis pas sûr de BeautifulSoup peut le manipuler. Si vous affichez la source, vous verrez les données pertinentes stockées dans bootstrapData['menuMonthWeeks'].

import urllib2
from BeautifulSoup import BeautifulSoup

url = "http://dcsd.nutrislice.com/menu/meadow-view/lunch/"
soup = BeautifulSoup(urllib2.urlopen(url).read())

C'est un moyen facile d'obtenir de la source et de l'examen.

Ma question est: quel est le moyen le plus facile pour extraire ces données de sorte que je peux faire quelque chose avec elle? Littéralement, tout ce que je veux est une chaîne de caractères quelque chose comme:

Sud-ouest, Omelette au Fromage, pommes de terre frites, La Récolte de la Barre (THB), THB - Fromage au Pesto de Pain, de Jambon Sandwich, Rouge de Bâtonnets de poivrons, Fraises

J'ai pensé à utiliser webkit pour traiter la page et obtenir le code HTML (c'est à dire ce qu'est un navigateur), mais qui semble inutilement complexe. Je préfère tout simplement de trouver quelque chose qui peut analyser la bootstrapData['menuMonthWeeks'] de données.

source d'informationauteur Wade | 2014-01-11

  1. 10

    Quelque chose comme PhantomJS peut être plus robuste, mais voici quelques éléments de base du code Python à extraire le menu complet:

    import json
import re
import urllib2

text = urllib2.urlopen('http://dcsd.nutrislice.com/menu/meadow-view/lunch/').read()
menu = json.loads(re.search(r"bootstrapData\['menuMonthWeeks'\]\s*=\s*(.*);", text).group(1))

print menu

    Après cela, vous aurez envie de chercher dans le menu pour la date qui vous intéresse.

    MODIFIER: Certains exagéré de ma part:

    import itertools
import json
import re
import urllib2

text = urllib2.urlopen('http://dcsd.nutrislice.com/menu/meadow-view/lunch/').read()
menus = json.loads(re.search(r"bootstrapData\['menuMonthWeeks'\]\s*=\s*(.*);", text).group(1))

days = itertools.chain.from_iterable(menu['days'] for menu in menus)

day = next(itertools.dropwhile(lambda day: day['date'] != '2014-01-13', days), None)

if day:
    print '\n'.join(item['food']['description'] for item in day['menu_items'])
else:
    print 'Day not found.'
  2. 4

    Tous vous avez besoin est un peu de la chaîne de découpage:

    import json

soup = BeautifulSoup(urllib2.urlopen(url).read())
script = soup.findAll('script')[1].string
data = script.split("bootstrapData['menuMonthWeeks'] = ", 1)[-1].rsplit(';', 1)[0]
data = json.loads(data)

    JSON est, après tout, un sous-ensemble de JavaScript.

  3. 0

    sans BeautifulSoup, un moyen simple peut nous:

    import urllib2
import json
url = "http://dcsd.nutrislice.com/menu/meadow-view/lunch/"
for line in urllib2.urlopen(url):
    if "bootstrapData['menuMonthWeeks']" in line:
        data = json.loads(line.split("=")[1].strip('\n;'))
        print data[0]["last_updated"]

    de sortie:

    2013-11-11T11:18:13.636

    pour plus générique façon de voir JavaScript analyseur en Python