scrapy von Skript-Ausgabe in json

Ich bin mit scrapy in einem python-Skript

def setup_crawler(domain):
    dispatcher.connect(stop_reactor, signal=signals.spider_closed)
    spider = ArgosSpider(domain=domain)
    settings = get_project_settings()
    crawler = Crawler(settings)
    crawler.configure()
    crawler.crawl(spider)
    crawler.start()
    reactor.run()

erfolgreich ausgeführt und beendet, aber wo ist das Ergebnis ? Ich möchte das Ergebnis im json-format, wie kann ich das tun?

result = responseInJSON

wie wir mit dem Befehl

scrapy crawl argos -o result.json -t json

InformationsquelleAutor der Frage Wasif Khalil | 2014-05-09

  1. 22

    Müssen Sie FEED_FORMAT und FEED_URI Einstellungen manuell:

    settings.overrides['FEED_FORMAT'] = 'json'
settings.overrides['FEED_URI'] = 'result.json'

    Wenn Sie möchten, bekommen Sie die Ergebnisse in eine variable, die Sie definieren können Pipeline Klasse, würde sammeln Sie Elemente in der Liste. Verwenden Sie die spider_closed signal handler um die Ergebnisse zu sehen:

    import json

from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy import log, signals
from scrapy.utils.project import get_project_settings


class MyPipeline(object):
    def process_item(self, item, spider):
        results.append(dict(item))

results = []
def spider_closed(spider):
    print results

# set up spider    
spider = TestSpider(domain='mydomain.org')

# set up settings
settings = get_project_settings()
settings.overrides['ITEM_PIPELINES'] = {'__main__.MyPipeline': 1}

# set up crawler
crawler = Crawler(settings)
crawler.signals.connect(spider_closed, signal=signals.spider_closed)
crawler.configure()
crawler.crawl(spider)

# start crawling
crawler.start()
log.start()
reactor.run()

    FYI, schauen Sie, wie Scrapy analysiert Kommandozeilen-Argumente.

    Siehe auch: Die Erfassung stdout innerhalb des gleichen Prozesses in Python.

    InformationsquelleAutor der Antwort alecxe

  2. 10

    Habe ich es geschafft, damit es funktioniert, indem Sie einfach FEED_FORMAT und FEED_URI zu den CrawlerProcess Konstruktor, mit dem basic-Scrapy-API-tutorial-code wie folgt:

    process = CrawlerProcess({
'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
'FEED_FORMAT': 'json',
'FEED_URI': 'result.json'
})

    InformationsquelleAutor der Antwort Alvaro Cavalcanti

  3. 4

    Einfach!

    from scrapy import cmdline

cmdline.execute("scrapy crawl argos -o result.json -t json".split())

    Setzen, script, wo du scrapy.cfg

    InformationsquelleAutor der Antwort Aminah Nuraini

Schreibe einen Kommentar