Wie Sie kratzen Sie alle Inhalte von jedem link mit scrapy?

Ich versuche, Ihre Frage zu beantworten.

Erste von allen, weil von Ihr falscher XPath-Abfrage, haben Sie leere Ergebnisse. Von einem XPath - ".//*[@id='sortable-results']//ul//li//p" Sie sich relevante <p> Knoten korrekt, aber ich weiß nicht, wie Sie Ihre query-Ausdruck. Allerdings habe ich keine Idee von den folgenden XPath-Ausdruck ".//*[@id='titletextonly']" und "a/@href" konnten Sie nicht finden, link und Titel wie erwartet. Vielleicht dein Sinn ist zu, suchen Sie den text, der Titel und der Link der Titel. Wenn ja, ich glaube, Sie müssen lernen, Xpath, und beginnen Sie bitte mit HTML-DOM.

Ich will dich anweisen, wie zu tun XPath-Abfrage, da es viele Ressourcen online. Erwähnen möchte ich einige Funktionen von Scrapy XPath-Selektor:

1. Scrapy XPath-Selektor ist eine verbesserte wrapper der standard XPath-Abfrage.

In standard-XPath-Abfrage, es gibt ein array von DOM-Knoten abgefragt. Sie können die open-development-Modus in Ihrem browser(F12), verwenden Sie console-Befehl $x(x_exp) zu testen. Ich sehr empfehlen, die testen Sie Ihr XPath-Ausdruck, durch diese Weise. Es wird Ihnen sofortige Ergebnisse und eine Menge Zeit sparen. Wenn Sie Zeit haben, vertraut sein mit web-Entwicklungs-tools in Ihrem browser, die Sie haben, werden schnell verstehen, web-Seiten-Struktur und suchen Sie den Eintrag, den Sie suchen.

Während, Scrapy response.xpath(x_exp) gibt ein array von Selector entsprechenden Objekte zu tatsächlichen XPath-Abfrage, die eigentlich eine SelectorList Objekt. Dies bedeutet XPath-Ergebnisse ist reprented von SelectorsList. Und beide Selector und SelectorList - Klasse stellt einige nützliche Funktionen zur Bedienung die Ergebnisse:

• extract, zurückgeben einer Liste von serialisierte Dokument-nodes (unicode strings)
• extract_first, return Skalar, first des extract Ergebnisse
• re - , Rückgabe einer Liste re des extract Ergebnisse
• re_first, return Skalar, first des re Ergebnisse.

Diese Funktionen machen Ihre Programmierung viel bequemer. Ein Beispiel dafür ist, dass Sie rufen xpath Funktion direkt auf SelectorList Objekt. Wenn Sie versucht lxml vor, Sie würden sehen, dass dies ist super nützlich: wenn Sie uns anrufen wollen xpath Funktion auf die Ergebnisse einer früheren xpath Ergebnisse in lxml haben Sie zur Iteration über die früheren Ergebnisse. Ein weiteres Beispiel ist, dass, wenn Sie definitiv wissen, dass es höchstens ein element in dieser Liste können Sie mit extract_first einen skalaren Wert, anstatt mit list-index-Methode (z.B. rlist[0]) die Ursache wäre aus der index-Ausnahme aus, wenn kein element zugeordnet. Denken Sie daran, dass es immer Ausnahmen, wenn Sie analysieren die web-Seite, seien Sie vorsichtig und robuster Ihrer Programmierung.

1. Absolute XPath-vs. relative XPath

Beachten Sie, dass, wenn Sie nisten XPathSelectors, und verwenden Sie einen XPath, beginnt mit /, dass XPath wird absolut zum document und nicht in Bezug auf die XPathSelector Sie fordern es von sich.

Wenn Sie das tun Betrieb node.xpath(x_expr), wenn x_expr beginnt mit /, es ist eine absolute Abfrage XPath-Suche von root; else if x_expr beginnt mit ., ist es eine relativ Abfrage. Dies ist auch darauf hingewiesen, in Normen 2.5 Abgekürzte Syntax

. wählt den Kontextknoten

.//para selektiert die para element die Nachkommen des Kontextknotens

.. - wählt die parent des Kontext-node

../@lang wählt das Attribut lang des parent des Kontext-node

1. Wie man die nächste Seite und am Ende des folgenden.

Für Ihre Anwendung ist, müssen Sie wahrscheinlich nach der nächsten Seite. Hier, auf der nächsten Seite Knoten ist leicht zu finden-es gibt weiter-Tasten. Allerdings müssen Sie auch aufpassen, die Zeit zu stoppen, folgende. Achten Sie auf Ihre URL-query-parameter sagen Sie dem URL-Muster Ihrer Anwendung. Hier, um zu bestimmen, Wann zu stoppen, Folgen Sie der nächsten Seite können Sie vergleichen Sie aktuelle Artikel-Reihe mit der Gesamtanzahl der Elemente.

Neu Bearbeitet

War ich ein wenig verwirrt mit der Bedeutung von Inhalt des Links. Jetzt habe ich es, dass @student verkriechen wollte, die Verbindung zu extrahieren, die AD-Inhalte als auch. Das folgende ist eine Lösung.

1. Anfrage senden und befestigen Sie den parser

Wie Sie vielleicht bemerken, dass ich mit Scrapy Request Klasse zu Folgen auf der nächsten Seite. Tatsächlich, die Leistung von Anfrage - Klasse ist darüber hinaus, dass-Sie können anfügen die gewünschte Funktion parse für jede Anforderung durch Einstellung des Parameters callback.

callback (callable) – die Funktion, die aufgerufen wird, mit der Antwort dieser Anfrage (sobald Ihr heruntergeladen) als ersten parameter. Weitere Informationen finden Sie unter Übergeben von zusätzlichen Daten zu callback-Funktionen unten. Wenn eine Anfrage nicht angeben, einen Rückruf, der spider parse () - Methode verwendet werden. Beachten Sie, dass, wenn Ausnahmen ausgelöst werden, die während der Verarbeitung, errback aufgerufen wird, statt.

In Schritt 3 habe ich nicht gesetzt callback beim senden der nächsten Seite-Anfragen, diese Anfrage umgegangen werden soll, die standardmäßig parse Funktion. Jetzt kommt zu der angegebenen AD-Seite, eine andere Seite als die vorherigen AD-Listen-Seite. Somit müssen wir definieren eine neue Seite parser-Funktion, sagen wir mal parse_ad, wenn wir senden jede ANZEIGE Seite verlangen, bringen Sie diese parse_ad - Funktion, mit der Anfragen.

Weiter geht es mit dem überarbeiteten Beispiel-code, das funktioniert für mich:

items.py

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class ScrapydemoItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    link = scrapy.Field()


class AdItem(scrapy.Item):
    title = scrapy.Field()
    description = scrapy.Field()

Die Spinne

# -*- coding: utf-8 -*-
from scrapy.spiders import Spider
from scrapy.http import Request
from scrapydemo.items import ScrapydemoItem
from scrapydemo.items import AdItem
try:
    from urllib.parse import urljoin
except ImportError:
    from urlparse import urljoin


class MySpider(Spider):
    name = "demo"
    allowed_domains = ["craigslist.org"]
    start_urls = ["http://sfbay.craigslist.org/search/npo"]

    def parse(self, response):
        # locate list of each item
        s_links = response.xpath("//*[@id='sortable-results']/ul/li")
        # locate next page and extract it
        next_page = response.xpath(
            '//a[@title="next page"]/@href').extract_first()
        next_page = urljoin(response.url, next_page)
        to = response.xpath(
            '//span[@class="rangeTo"]/text()').extract_first()
        total = response.xpath(
            '//span[@class="totalcount"]/text()').extract_first()
        # test end of following
        if int(to) < int(total):
            # important, send request of next page
            # default parsing function is 'parse'
            yield Request(next_page)

        for s_link in s_links:
            # locate and extract
            title = s_link.xpath("./p/a/text()").extract_first().strip()
            link = s_link.xpath("./p/a/@href").extract_first()
            link = urljoin(response.url, link)
            if title is None or link is None:
                print('Warning: no title or link found: %s', response.url)
            else:
                yield ScrapydemoItem(title=title, link=link)
                # important, send request of ad page
                # parsing function is 'parse_ad'
                yield Request(link, callback=self.parse_ad)

    def parse_ad(self, response):
        ad_title = response.xpath(
            '//span[@id="titletextonly"]/text()').extract_first().strip()
        ad_description = ''.join(response.xpath(
            '//section[@id="postingbody"]//text()').extract())
        if ad_title is not None and ad_description is not None:
            yield AdItem(title=ad_title, description=ad_description)
        else:
            print('Waring: no title or description found %s', response.url)

Key-Note -

• Zwei parse-Funktion parse für die Anforderungen der AD-Liste-Seite und parse_ad für die Anforderung der angegebenen AD-Seite.
• Zu extrahieren Inhalt der ANZEIGE zu posten, müssen Sie einige tricks. Sehen Wie kann ich mich auf den plain-text aus einer Webseite mit Scrapy

Einen Schnappschuss der Ausgabe:

2016-11-10 21:25:14 [scrapy] DEBUG: Scraped from <200 http://sfbay.craigslist.org/eby/npo/5869108363.html>
{'description': '\n'
                '        \n'
                '            QR Code Link to This Post\n'
                '            \n'
                '        \n'
                'Agency History:\n' ........
 'title': 'Staff Accountant'}
2016-11-10 21:25:14 [scrapy] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 39259,
 'downloader/request_count': 117,
 'downloader/request_method_count/GET': 117,
 'downloader/response_bytes': 711320,
 'downloader/response_count': 117,
 'downloader/response_status_count/200': 117,
 'finish_reason': 'shutdown',
 'finish_time': datetime.datetime(2016, 11, 11, 2, 25, 14, 878628),
 'item_scraped_count': 314,
 'log_count/DEBUG': 432,
 'log_count/INFO': 8,
 'request_depth_max': 2,
 'response_received_count': 117,
 'scheduler/dequeued': 116,
 'scheduler/dequeued/memory': 116,
 'scheduler/enqueued': 203,
 'scheduler/enqueued/memory': 203,
 'start_time': datetime.datetime(2016, 11, 11, 2, 24, 59, 242456)}
2016-11-10 21:25:14 [scrapy] INFO: Spider closed (shutdown)

Dank. Hoffe, dass dies hilfreich wäre und Spaß haben.