crawl-Website, hat eine unendliche scrollen mit python

Ich mache seit Forschung und bisher fand ich heraus, das python-Paket, das ich plan mit seinem scrapy, jetzt bin ich versucht, herauszufinden, was ist ein guter Weg, um erstellen Sie einen Spachtel mit scrapy crawl Website mit infinite scrolling. Nach dem Graben um ich fand heraus, dass es ist ein Paket call Selen und es hat python-Modul. Ich habe Gefühl jemand bereits getan hat, mit Scrapy und Selen zu kratzen Website mit infinite scrolling. Es wäre toll, wenn jemand in Richtung Punkt ein Beispiel.

Ein Weg, dies zu tun ist, um zu bewirken, einige nach-unten-Pfeiltasten, um Ihren browser nach unten scrollen.
Werfen Sie einen Blick: stackoverflow.com/questions/17975471/...

InformationsquelleAutor add-semi-colons | 2014-03-28

  1. 2
    from selenium.webdriver.common.keys import Keys
import selenium.webdriver
driver = selenium.webdriver.Firefox()
driver.get("http://www.something.com")
lastElement = driver.find_elements_by_id("someId")[-1]
lastElement.send_keys(Keys.NULL)

    Dies wird eine Seite öffnen, finden Sie das Unterste element mit der angegebenen id und die schriftrolle, element in den Blick. Sie haben zu halten, die Abfrage der "Treiber", um das Letzte element beim laden der Seite mehr, und ich habe festgestellt, dass dies ziemlich langsam, da die Seiten sehr groß. Die Zeit ist geprägt durch den Aufruf von driver.find_element_* weil ich nicht weiß, wie ausdrücklich Abfrage das Letzte element in der Seite.

    Durch Experimente, die Sie dort finden könnte, ist eine Obere Grenze für die Anzahl der Elemente der Seite geladen, dynamisch, und am besten wäre es, wenn Sie etwas schrieb, dass geladen wird, die Anzahl und die nur dann einen Aufruf an driver.find_element_*.

    InformationsquelleAutor maxywb

  2. 1

    Können Sie Selen zu verschrotten, das unendliche scrollen auf Webseiten wie twitter oder facebook.

    Schritt 1 : Installieren von Selen mittels pip 

    pip install selenium

    Schritt 2 : verwenden Sie den folgenden code zu automatisieren, unendliche scroll, und extrahieren Sie den Quellcode

    from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import Select
from selenium.webdriver.support.ui import WebDriverWait
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import NoSuchElementException
from selenium.common.exceptions import NoAlertPresentException
import sys

import unittest, time, re

class Sel(unittest.TestCase):
    def setUp(self):
        self.driver = webdriver.Firefox()
        self.driver.implicitly_wait(30)
        self.base_url = "https://twitter.com"
        self.verificationErrors = []
        self.accept_next_alert = True
    def test_sel(self):
        driver = self.driver
        delay = 3
        driver.get(self.base_url + "/search?q=stackoverflow&src=typd")
        driver.find_element_by_link_text("All").click()
        for i in range(1,100):
            self.driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
            time.sleep(4)
        html_source = driver.page_source
        data = html_source.encode('utf-8')


if __name__ == "__main__":
    unittest.main()

    Die for-Schleife ermöglicht es Ihnen, zu analysieren, durch die unendliche Schriftrollen und post, die Sie extrahieren können die geladenen Daten.

    Schritt 3 : Drucken Sie die Daten, wenn erforderlich.

    InformationsquelleAutor Pawan Kumar

Schreibe einen Kommentar