Scrapy, Schaben Daten in ein Javascript

Ich bin mit scrapy - Bildschirm kratzen von Daten von einer website. Jedoch die Daten, die ich wollte war nicht im html-Code selbst, sondern von einem javascript. So, meine Frage ist:

Wie man die Werte (text-Werte) von solchen Fällen aus?

Dies ist die Seite, die ich versuche zu screen scrape:
https://www.mcdonalds.com.sg/locate-us/

Attribute, die ich versuche zu bekommen:
Adresse, Kontakt, öffnungszeiten.

Wenn Sie einen "Rechtsklick", "view source" in einem chrome-browser, werden Sie sehen, dass diese Werte nicht verfügbar sind, selbst in den HTML-Code.

Bearbeiten

Sry paul, ich Tat, was Sie mir erzählte, fand die admin-ajax.php und sah den Körper, aber ich bin wirklich nun fest.

Wie Kriege ich die Werte aus dem json-Objekt und speichern es in eine variable ein Feld meines eigenen? Es wäre gut, wenn Sie könnten, wie genau ein Attribut für die öffentlichkeit und für diejenigen, die gerade begonnen scrapy als gut.

Hier ist mein code bisher

Items.py

class McDonaldsItem(Item):
name = Field()
address = Field()
postal = Field()
hours = Field()

McDonalds.py

from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
import re

from fastfood.items import McDonaldsItem

class McDonaldSpider(BaseSpider):
name = "mcdonalds"
allowed_domains = ["mcdonalds.com.sg"]
start_urls = ["https://www.mcdonalds.com.sg/locate-us/"]

def parse_json(self, response):

    js = json.loads(response.body)
    pprint.pprint(js)

Sry für die lange Bearbeiten, so kurz, wie Speichere ich die json-Wert in my-Attribut? für zB

*** * item['Adresse'] = * abrufen ****

P. S, nicht sicher, ob das hilft, aber ich führen Sie diese Skripts auf der cmd-line mit

scrapy crawl mcdonalds -o-McDonalds.json -t json ( zum speichern aller meiner Daten in eine json-Datei )

Ich kann nicht genug betonen, wie dankbar ich mich fühle. Ich weiß, es ist ziemlich unvernünftig zu Fragen, das u wird völlig okay sein, auch wenn Sie nicht die Zeit haben, für diese.

InformationsquelleAutor HeadAboutToExplode | 2013-09-26

(Ich habe dies geschrieben, um scrapy-users mailing-Liste, allerdings von Paul ' s Vorschlag bin ich Entsendung es hier, wie es ergänzt die Antwort mit der shell Befehl Interaktion.)

In der Regel, Webseiten mit einem Drittanbieter-Dienst zu machen einige Daten-Visualisierung (Karte, Tabelle, etc) haben Daten zu senden, irgendwie, und in den meisten Fällen diese Daten sind zugänglich über den browser.

Für diesen Fall eine Inspektion (d.h. die Erkundung der Anforderungen vom browser) zeigt, dass die für das laden der Daten aus einer POST-Anforderung an https://www.mcdonalds.com.sg/wp-admin/admin-ajax.php

Also, grundsätzlich haben Sie dort alle Daten, die Sie wollen in einem netten json-format, bereit für den Verzehr.

Scrapy bietet die shell Befehl ist sehr praktisch, um Denker, die mit der Webseite vor dem schreiben der Spinne:

$ scrapy shell https://www.mcdonalds.com.sg/locate-us/
2013-09-27 00:44:14-0400 [scrapy] INFO: Scrapy 0.16.5 started (bot: scrapybot)
...

In [1]: from scrapy.http import FormRequest

In [2]: url = 'https://www.mcdonalds.com.sg/wp-admin/admin-ajax.php'

In [3]: payload = {'action': 'ws_search_store_location', 'store_name':'0', 'store_area':'0', 'store_type':'0'}

In [4]: req = FormRequest(url, formdata=payload)

In [5]: fetch(req)
2013-09-27 00:45:13-0400 [default] DEBUG: Crawled (200) <POST https://www.mcdonalds.com.sg/wp-admin/admin-ajax.php> (referer: None)
...

In [6]: import json

In [7]: data = json.loads(response.body)

In [8]: len(data['stores']['listing'])
Out[8]: 127

In [9]: data['stores']['listing'][0]
Out[9]: 
{u'address': u'678A Woodlands Avenue 6<br/>#01-05<br/>Singapore 731678',
 u'city': u'Singapore',
 u'id': 78,
 u'lat': u'1.440409',
 u'lon': u'103.801489',
 u'name': u"McDonald's Admiralty",
 u'op_hours': u'24 hours<br>\r\nDessert Kiosk: 0900-0100',
 u'phone': u'68940513',
 u'region': u'north',
 u'type': [u'24hrs', u'dessert_kiosk'],
 u'zip': u'731678'}

Kurz: in Ihrem spider haben Sie die Rückkehr der FormRequest(...) oben, dann in der callback-laden der json-Objekt aus response.body und schließlich für jede Filiale die Daten in der Liste data['stores']['listing'] erstellen Sie ein Element mit den gewünschten Werte ein.

Etwas wie dieses:

class McDonaldSpider(BaseSpider):
    name = "mcdonalds"
    allowed_domains = ["mcdonalds.com.sg"]
    start_urls = ["https://www.mcdonalds.com.sg/locate-us/"]

    def parse(self, response):
        # This receives the response from the start url. But we don't do anything with it.
        url = 'https://www.mcdonalds.com.sg/wp-admin/admin-ajax.php'
        payload = {'action': 'ws_search_store_location', 'store_name':'0', 'store_area':'0', 'store_type':'0'}
        return FormRequest(url, formdata=payload, callback=self.parse_stores)

    def parse_stores(self, response):
        data = json.loads(response.body)
        for store in data['stores']['listing']:
            yield McDonaldsItem(name=store['name'], address=store['address'])

Thx für die Hilfe Rho es ist informativ und es hat geklappt ! *Für diejenigen die vor dem gleichen problem wie ich, tun, überprüfen Sie in diesem Beitrag aus *

InformationsquelleAutor Rolando Max

Beim öffnen https://www.mcdonalds.com.sg/locate-us/ in Ihrem browser der Wahl, öffnen Sie die "überprüfen" - tool (ich hoffe, es hat ein, z.B. Chrome oder Firefox), und suchen Sie die "Netzwerk" - Reiter.

Können Sie einen weiteren filter für "XHR" (XMLHttpRequest) Ereignisse, und Sie werden sehen, eine POST Anfrage https://www.mcdonalds.com.sg/wp-admin/admin-ajax.php mit diesem Körper

action=ws_search_store_location&store_name=0&store_area=0&store_type=0

Die Antwort auf die POST-Anfrage ist ein JSON-Objekt mit allen Informationen, die Sie wollen

import json
import pprint
...
class MySpider(BaseSpider):
...
    def parse_json(self, response):

        js = json.loads(response.body)
        pprint.pprint(js)

Diesem würde die Ausgabe etwas wie:

{u'flagicon': u'https://www.mcdonalds.com.sg/wp-content/themes/mcd/images/storeflag.png',
 u'stores': {u'listing': [{u'address': u'678A Woodlands Avenue 6<br/>#01-05<br/>Singapore 731678',
                           u'city': u'Singapore',
                           u'id': 78,
                           u'lat': u'1.440409',
                           u'lon': u'103.801489',
                           u'name': u"McDonald's Admiralty",
                           u'op_hours': u'24 hours<br>\r\nDessert Kiosk: 0900-0100',
                           u'phone': u'68940513',
                           u'region': u'north',
                           u'type': [u'24hrs', u'dessert_kiosk'],
                           u'zip': u'731678'},
                          {u'address': u'383 Bukit Timah Road<br/>#01-09B<br/>Alocassia Apartments<br/>Singapore 259727',
                           u'city': u'Singapore',
                           u'id': 97,
                           u'lat': u'1.319752',
                           u'lon': u'103.827398',
                           u'name': u"McDonald's Alocassia",
                           u'op_hours': u'Daily: 0630-0100',
                           u'phone': u'68874961',
                           u'region': u'central',
                           u'type': [u'24hrs_weekend',
                                     u'drive_thru',
                                     u'mccafe'],
                           u'zip': u'259727'},

                        ...
                          {u'address': u'60 Yishuan Avenue 4 <br/>#01-11<br/><br/>Singapore 769027',
                           u'city': u'Singapore',
                           u'id': 1036,
                           u'lat': u'1.423924',
                           u'lon': u'103.840628',
                           u'name': u"McDonald's Yishun Safra",
                           u'op_hours': u'24 hours',
                           u'phone': u'67585632',
                           u'region': u'north',
                           u'type': [u'24hrs',
                                     u'drive_thru',
                                     u'live_screening',
                                     u'mccafe',
                                     u'bday_party'],
                           u'zip': u'769027'}],
             u'region': u'all'}}

Lasse ich Sie zum extrahieren der Felder, die Sie wollen.

In der FormRequest() schicken Sie mit Scrapy Sie wahrscheinlich benötigen, um eine "X-Requested-With: XMLHttpRequest" - header (die Ihr browser sendet, wenn man sich die request-Header in den inspect-tool)

schnelle Antwort! thx paul, 2. Zeit u mir geholfen :DDD
Du bist herzlich willkommen. Das ist es, was SO geht: das teilen und helfen.
bump, bearbeitet. kann ich mir etwas mehr Beratung?

InformationsquelleAutor paul trmbrth

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.