Warten Sie das laden der Seite, bevor man Daten mit Anfragen.Holen Sie sich in python 3

Ich habe eine Seite, die ich brauche, um die Quelle zu verwenden, mit BS4, aber in der Mitte der Seite dauert 1 Sekunde(vielleicht auch weniger) zum laden der Inhalte und Anforderungen.Holen Sie fängt den Quellcode der Seite, bevor der Abschnitt lädt, wie kann ich eine Sekunde warten, bevor man die Daten?

r = requests.get(URL + self.search, headers=USER_AGENT, timeout=5 )
    soup = BeautifulSoup(r.content, 'html.parser')
    a = soup.find_all('section', 'wrapper')

Die Seite

<section class="wrapper" id="resultado_busca">

InformationsquelleAutor ribas | 2017-08-01

  1. 13

    Es sieht nicht wie ein problem zu warten, es sieht aus wie das element erstellt wird, wird durch JavaScript requests kann nicht mit dynamisch generierten Elemente von JavaScript. Ein Vorschlag ist die Verwendung Selen zusammen mit PhantomJS man den Quelltext der Seite, dann können Sie BeautifulSoup für Ihre Analyse, wird der unten gezeigte code wird genau das tun:

    from bs4 import BeautifulSoup
from selenium import webdriver

url = "http://legendas.tv/busca/walking%20dead%20s03e02"
browser = webdriver.PhantomJS()
browser.get(url)
html = browser.page_source
soup = BeautifulSoup(html, 'lxml')
a = soup.find('section', 'wrapper')

    Auch, es gibt keine Notwendigkeit zu verwenden .findAll wenn Sie nur auf der Suche für ein element nur.

    Update: Selen-Unterstützung für PhantomJS wurde als veraltet markiert, sollten Sie headless-Versionen von Chrome oder Firefox statt.

    InformationsquelleAutor Vinícius Aguiar

  2. 3

    In Python 3 Mit dem Modul urllib in der Praxis besser funktioniert, beim laden von dynamischen Webseiten als die requests Modul.

    ich.e

    import urllib.request
try:
    with urllib.request.urlopen(url) as response:

        html = response.read().decode('utf-8')#use whatever encoding as per the webpage
except urllib.request.HTTPError as e:
    if e.code==404:
        print(f"{url} is not found")
    elif e.code==503:
        print(f'{url} base webservices are not available')
        ## can add authentication here 
    else:
        print('http error',e)

    InformationsquelleAutor Ingy Swan

Schreibe einen Kommentar