Wie kann ich verschiedene Pipelines für verschiedene Spinnen in einem Scrapy-Projekt verwenden?

Gebäude auf die Lösung von Pablo Hoffman, können Sie die folgenden decorator auf die process_item Methode, die eine Pipeline-Objekt so, dass es prüft die pipeline Attribut des spider für den ob oder nicht es ausgeführt werden soll. Zum Beispiel:

def check_spider_pipeline(process_item_method):

    @functools.wraps(process_item_method)
    def wrapper(self, item, spider):

        # message template for debugging
        msg = '%%s %s pipeline step' % (self.__class__.__name__,)

        # if class is in the spider's pipeline, then use the
        # process_item method normally.
        if self.__class__ in spider.pipeline:
            spider.log(msg % 'executing', level=log.DEBUG)
            return process_item_method(self, item, spider)

        # otherwise, just return the untouched item (skip this step in
        # the pipeline)
        else:
            spider.log(msg % 'skipping', level=log.DEBUG)
            return item

    return wrapper

Für diesen Dekorator, um korrekt zu arbeiten, der spider muss ein pipeline-Attribut mit einem container der Pipeline-Objekte, die Sie verwenden möchten, verarbeiten Sie das Objekt, zum Beispiel:

class MySpider(BaseSpider):

    pipeline = set([
        pipelines.Save,
        pipelines.Validate,
    ])

    def parse(self, response):
        # insert scrapy goodness here
        return item

Dann in einer pipelines.py Datei:

class Save(object):

    @check_spider_pipeline
    def process_item(self, item, spider):
        # do saving here
        return item

class Validate(object):

    @check_spider_pipeline
    def process_item(self, item, spider):
        # do validating here
        return item

Alle Pipeline-Objekte sollten noch definiert werden in ITEM_PIPELINES in den Einstellungen (in der richtigen Reihenfolge -- wäre schön, so zu ändern, dass die Reihenfolge angegeben werden kann, auf die Spinne, Beine).

InformationsquelleAutor der Antwort mstringer

Können Sie die name Attribut der Spinne in Ihre pipeline

class CustomPipeline(object)

    def process_item(self, item, spider)
         if spider.name == 'spider1':
             # do something
             return item
         return item

Definieren, werden alle Leitungen auf diese Weise können erreichen, was Sie wollen.

InformationsquelleAutor der Antwort pad

Ich bin mit zwei pipelines, eine für Bild-download (MyImagesPipeline) und die zweite für das speichern von Daten in mongodb (MongoPipeline).

nehmen wir an, wir haben viele Spinnen(spider1,spider2,...........),in meinem Beispiel spider1 und spider5 nicht verwenden können, MyImagesPipeline

settings.py

ITEM_PIPELINES = {'scrapycrawler.pipelines.MyImagesPipeline' : 1,'scrapycrawler.pipelines.MongoPipeline' : 2}
IMAGES_STORE = '/var/www/scrapycrawler/dowload'

Und Balg vollständige code der pipeline

import scrapy
import string
import pymongo
from scrapy.pipelines.images import ImagesPipeline

class MyImagesPipeline(ImagesPipeline):
    def process_item(self, item, spider):
        if spider.name not in ['spider1', 'spider5']:
            return super(ImagesPipeline, self).process_item(item, spider)
        else:
           return item 

    def file_path(self, request, response=None, info=None):
        image_name = string.split(request.url, '/')[-1]
        dir1 = image_name[0]
        dir2 = image_name[1]
        return dir1 + '/' + dir2 + '/' +image_name

class MongoPipeline(object):

    collection_name = 'scrapy_items'
    collection_url='snapdeal_urls'

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE', 'scraping')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        #self.db[self.collection_name].insert(dict(item))
        collection_name=item.get( 'collection_name', self.collection_name )
        self.db[collection_name].insert(dict(item))
        data = {}
        data['base_id'] = item['base_id']
        self.db[self.collection_url].update({
            'base_id': item['base_id']
        }, {
            '$set': {
            'image_download': 1
            }
        }, upsert=False, multi=True)
        return item

InformationsquelleAutor der Antwort Nanhe Kumar