scrapy item loader return Liste nicht einen einzigen Wert

Ich bin mit scrapy 0.20.

Ich möchte, um das Element zu verwenden loader

dies ist mein code:

l = XPathItemLoader(item=MyItemClass(), response=response)
        l.add_value('url', response.url)
        l.add_xpath('title',"my xpath")
        l.add_xpath('developer', "my xpath")
return l.load_item()

Bekam ich das Ergebnis im json-Datei. die url ist eine Liste. Die title ist eine Liste. Die developer ist eine Liste.

Gewusst wie: extrahieren von einzelnen Wert statt der Liste?

Sollte ich ein Element "pipeline"? Ich hoffe, es ist ein schneller Weg,

InformationsquelleAutor Marco Dinatsoli | 2014-05-27
  1. 31

    Müssen Sie eine Input-oder Output-Prozessor. TakeFirst perfekt funktionieren würde in Ihrem Fall.

    Es gibt mehrere Orte, wo Sie es definieren können, z.B. in der Item definition:

    from scrapy.item import Item, Field
from scrapy.loader.processors import TakeFirst

class MyItem(Item):
    url = Field(output_processor=TakeFirst())
    title = Field(output_processor=TakeFirst())
    developer = Field(output_processor=TakeFirst())

    Oder, eine default_output_processor auf eine XpathItemLoader() Beispiel:

    l.default_output_processor = TakeFirst()
    • Ausgezeichnet. +1 ich werde annehmen, sobald das system ermöglicht. Aber bitte, was ist der Unterschied zwischen den beiden Möglichkeiten, die Sie zur Verfügung gestellt haben?
    • Auch gibt es eine ähnliche Möglichkeit, die Ausgabe-falls die Liste leer war? weil jetzt bin ich immer null als Wert-leer-Attribut. Zum Beispiel, einige Seiten haben nicht die title Attribut, das ich nicht nul aber bevor ich nur wurde immer ""
    • gut, das sprechen über den Unterschied, Declaring Input and Output Processors erklärt, die Priorität der input-und output-Prozessoren. Item Klasse Felder können wiederverwendet werden, indem mehrere Lader, und welche loader seine eigene Art und Weise zu präsentieren, die gecrawlten Daten. Ich würde definieren Sie den Prozessor auf den loader, anstatt auf die Artikel-Felder in Ihrem Fall.
    • geben versuchen, Join statt TakeFirst, aber stellen Sie sicher, dass es nur einen einzigen Wert in einer Liste.
    • könnten Sie überprüfen, meine Frage hier bitte stackoverflow.com/questions/24109713/...
    InformationsquelleAutor alecxe
Schreibe einen Kommentar