Wie bekomme ich Daten von " inspect element einer Webseite mittels Python

Ich würde gerne die Daten von element untersuchen mit Python. Ich bin in der Lage, laden Sie den Quellcode mit BeautifulSoup aber jetzt brauche ich den text von " inspect element einer Webseite. Ich würde wirklich schätzen, wenn Sie könnten mich beraten, wie es zu tun.

Bearbeiten:
Von element untersuchen ich meine, in google chrome, klicken Sie rechts gibt uns eine option namens element untersuchen die code für jedes element der jeweiligen Seite. Ich möchte zu extrahieren, code/nur text-strings.

Du gehst zu haben, um zu beschreiben, was Sie wollen, zu tun, viel mehr klar. Was ist ein "element untersuchen"? Bitte geben Sie ein Beispiel von dem, was Sie tun möchten.
Es muss nicht die Verwendung von Python, aber chrome können Sie Copy as HTML wenn Sie mit der rechten klicken Sie auf die blau markierte Zeile im editor.
Gibt es eine andere Möglichkeit es zu tun, da werde ich zu tun haben, für viele Seiten. Kopieren Sie auch als HTML funktioniert es nur für eine einzige Linie, wie pro mein Verständnis. @AndrewJohnson
kann Sie nicht entpacken Sie Sie alle aus dem html, die Sie heruntergeladen haben?
Richtig. Copy as HTML gibt Sie nur das ausgewählte element aus einer Seite. Im folgenden wird eine einfache web-scraper, die Ihnen würde eine ähnliche Ausgabe über python automatisch.

InformationsquelleAutor user3783999 | 2014-07-30

  1. 4

    Wenn Sie möchten, um automatisch abrufen einer web-Seite, von Python in einer Weise, dass Javascript läuft, sollten Sie sich in Selen. Es kann automatisch fahren einen web-browser (auch ein headless-browser wie PhantomJS, so dass Sie nicht haben, um ein Fenster zu öffnen).

    Um die HTML, die Sie benötigen, um zu bewerten, einige javascript. Einfaches Beispiel-code, alter, Farbe:

    from selenium import webdriver

driver = webdriver.PhantomJS()
driver.get("http://google.com")

# This will get the initial html - before javascript
html1 = driver.page_source

# This will get the html after on-load javascript
html2 = driver.execute_script("return document.documentElement.innerHTML;")

    Hinweis 1: Wenn Sie wollen, ein bestimmtes element oder die Elemente, die Sie tatsächlich haben ein paar Optionen -- Parsen der HTML-Code in Python, oder mehr schreiben bestimmte JavaScript zurückgibt, was Sie wollen.

    Hinweis 2: wenn Sie tatsächlich benötigen bestimmte Informationen von Chrome tools, die nicht nur dynamisch generierte HTML-Code, müssen Sie einen Weg, um Haken in Chrome selbst. Kein Weg herum.

    Ich danke Ihnen sehr. Es funktionierte perfekt, außer, dass ich fügte hinzu, die Lage des phantomjs.exe in der zweiten Zeile wie diese Treiber = webdriver.PhantomJS(executable_path=phantomjs_path)

    InformationsquelleAutor Jason S

  2. 1

    Element untersuchen zeigt alle der HTML-Code der Seite, die das gleiche wie das abrufen der html urllib

    so etwas tun

    import urllib
from bs4 import BeautifulSoup as BS

html = urllib.urlopen(URL).read()

soup = BS(html)

print soup.findAll(tag_name).get_text()

    InformationsquelleAutor Serial

  3. 1

    Ich würde gerne die update-Antwort von Jason S., ich war nicht in der Lage zu starten phantomjs auf OS X

    driver = webdriver.PhantomJS()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File     "/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/selenium/webdriver/phantomjs/webdriver.py", line 50, in __init__
self.service.start()
File "/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/selenium/webdriver/phantomjs/service.py", line 74, in start
raise WebDriverException("Unable to start phantomjs with ghostdriver.", e)
selenium.common.exceptions.WebDriverException: Message: Unable to start phantomjs with ghostdriver.

    Gelöst, indem die Antwort hier durch das herunterladen ausführbare Dateien 

    driver = webdriver.PhantomJS("phantomjs-2.0.0-macosx/bin/phantomjs")

    InformationsquelleAutor Jakub

  4. 0

    BeautifulSoup könnte verwendet werden, um zu analysieren das html-Dokument, und extrahieren Sie alles was Sie wollen. Es ist nicht entworfen, zum herunterladen. Sie könnten finden die Elemente, die Sie wollen, indem Sie die Klasse und die id.

    InformationsquelleAutor flyingfoxlee

Schreibe einen Kommentar