Scrapy : die Speicherung der Daten

Ich bin neu in python und scrapy. Ich bin tring zu Folgen Scrapy tutorial, aber ich verstehe nicht die Logik der storage Schritt.

scrapy crawl spidername -o items.json -t json

scrapy crawl spidername --set FEED_URI=output.csv --set FEED_FORMAT=csv

Ich verstehe nicht die Bedeutung von :

  • -o
  • -t
  • --set

Danke für Eure Hilfe

InformationsquelleAutor Stephen | 2012-12-28
  1. 23

    Können Sie eine Liste der verfügbaren Befehle durch Tippen scrapy crawl -h aus dem Projekt-Verzeichnis.

    scrapy crawl spidername -o items.json -t json
    • -o gibt den Ausgabe-Dateinamen für die gedumpten Elemente (items.json)
    • -t legt das format für dumping-Objekte (json)

    scrapy crawl spidername --set FEED_URI=output.csv --set FEED_FORMAT=csv

    • --set wird verwendet, um/überschreiben einer Einstellung
    • FEED_URI wird verwendet, um das storage-backend für den Artikel wegwerfen. In diesem Fall ist es auf "Ausgang.csv", die mit dem lokalen Dateisystem, dh eine einfache Ausgabedatei.(für das aktuelle Beispiel - Ausgabe.csv)
    • FEED_FORMAT wird verwendet, um die Serialisierung für ein format (output) - feed-ie (für das aktuelle Beispiel csv)

    Referenzen (Scrapy Dokumentation):

    1. Tool-Befehle (für die Kommandozeile)
    2. Feed exportiert
    • Also die beiden Zeilen sind Entsprechungen, wenn etwa die erste, die ich ändern item.json in output.csv und json in csv ?
    • Das ist richtig. Alternativ können Sie fügen Sie FEED_URI und FEED_FORMAT zu Ihrem settings.py Datei und geben Sie dann einfach 'scrapy crawl spidername', ohne die anderen Parameter.
    • Bitte akzeptieren Sie diese Antwort, wenn es behandelt die Fragen, oder lassen Sie mich wissen, wenn es etwas gibt, was ich tun kann, um zu verbessern die Antwort. 🙂
    InformationsquelleAutor Talvalin
Schreibe einen Kommentar