Ist Selen langsam, oder ist mein code falsch?

Also ich versuche auf login zu Quora mit Python und dann kratzen ein paar Sachen.

Ich bin mit Selen zur Anmeldung auf der Website. Hier ist mein code:

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

driver = webdriver.Firefox()
driver.get('http://www.quora.com/')

username = driver.find_element_by_name('email')
password = driver.find_element_by_name('password')

username.send_keys('email')
password.send_keys('password')
password.send_keys(Keys.RETURN)

driver.close()

Nun die Fragen:

Es dauerte ~4 Minuten zu finden, und füllen Sie das login-Formular, die quälend langsam. Gibt es etwas, was ich tun kann, um den Prozess zu beschleunigen?
Wenn überhaupt, login, wie kann ich sicherstellen, dass es keine Fehler? In anderen Worten, wie kann ich prüfen, ob der response-code?
Wie kann ich das speichern von cookies, die mit Selen-so kann ich fortsetzen, Schaben, sobald ich mich anmelden?
Wenn es keinen Weg gibt, um das Selen schneller, gibt es eine andere alternative für die Anmeldung? (Quora nicht über eine API)

Die Linien sind sich die Zeit?
Fast alle von Ihnen. Der browser öffnet sich ganz gut, aber dann finden Sie die Felder aus, und füllen Sie dauert etwa eine minute, jeden.
Ja. Läuft einwandfrei auf Google. Muss ein Problem mit quora.
Mit Quora und die neuesten Selen C# - API, es ist schnell für mich.
Wie schnell? Weil ich habe versucht, auf 3 Maschinen mit der Python-API und es geht so verdammt langsam.
Noch kann ich es reproduzieren mit Firefox + Python/C#2.33.0 Bindungen. driver.Navigate().GoToUrl("http://www.quora.com/physics");Thread.Sleep(3000);var source = WebDriver.PageSource; Erhalten Ausnahme.
haben Sie es geschafft, kratzen Sie etwas von Quora mit python?
Ich kann kratzen Sie die öffentlichen Inhalte (Frage, Titel, top-Antwort), aber alles andere ist eine Sauerei.
Ich habe das gleiche problem mit Quora. Selen dauert ewig zu tun, einfache Aufgaben. Ich denke, dass Sie nicht wollen, dass wir uns kratzen Sie.
Ich versuchte kopflos Chrom-Treiber, jedoch driver.get('http://www.quora.com/') läuft immer noch langsam, und es dauert fast 4 Minuten. @KaranGoel Haben Sie eine Lösung gefunden, um den Prozess zu beschleunigen? Danke!

InformationsquelleAutor Karan Goel | 2013-07-04

9

Ich hatte ein ähnliches problem mit der sehr langsamen find_elements_xxx Anrufe in Python selenium mit der ChromeDriver. Ich schließlich aufgespürt die Mühe, einen Treiber.implicitly_wait () - Aufruf machte ich vor meiner find_element_xxx() aufruft; und wenn ich nahm es heraus, mein find_element_xxx () - Aufrufe lief schnell.

Nun, ich wissen diese Elemente waren es, als ich die find_elements_xxx () - Aufrufe. Also ich kann mir nicht vorstellen, warum die implicit_wait sollten betroffene die Geschwindigkeit dieser Vorgänge, aber er Tat es.
- Hat mir sehr geholfen, als ich eingeschaltet, um die WebDriverWait Methode und völlig vergessen, über diesen Anruf. Danke !
- omg ich zum testen eine Weile her, und vergaß es dort war. ich hab mich schon gewundert, warum es so verdammt lange laufen. ty so viel <33333
InformationsquelleAutor Polly
3
1. Bin ich dort gewesen, Selen langsam ist. Es kann nicht sein, so langsam wie 4 Minuten, um ein Formular auszufüllen. Ich habe dann begonnen, mit phantomjs, die ist viel schneller als firefox, denn es ist kopflos. Sie können ersetzen Sie einfach die Firefox - () mit PhantomJS() in der webdriver Linie nach der Installation der neuesten phantomjs.
2. Um zu prüfen, ob login können Sie geltend machen, für einige element, die angezeigt wird, nachdem login.
3. Solange Sie nicht aufhören, Ihr Fahrer, werden cookies zur Verfügung, um links Folgen
4. Können Sie versuchen, mit das urllib und post direkt zum Anmelde-link. Sie können cookiejar, dass cookies gespeichert werden. Sie können auch einfach speichern, cookie, nachdem alle, ein cookie ist einfach ein string im http-header
- 1. PhantomJS ist viel schneller sicher (ich nahm noch 38 Sekunden). Aber ich möchte in der Lage sein zu sehen, was das Skript tut, in den browser, bevor ich auf headless-browser. 2. assert "Home" in driver.title gab mir AssertionError. 4. Ich kann versuchen, das ist sicher.
- Installieren der neuesten version von phantomjs zur Verfügung über Ihre website, nicht apt-get. version 1.9.1
- Ja, das ist, was ich Tat. Download der neuesten, von Ihrer website, platziert Sie im gleichen Ordner wie mein Programm und habe diesen Fehler. Die Datei, die ich runtergeladen habe, war phantonjs (keine Erweiterung)
- Karan, Sie haben, um es in einem Ordner, wird es in $PATH-variable. Es kann nicht funktionieren, wenn Sie es in den aktuellen Ordner, wenn Sie Ihre $PATH enthält .
InformationsquelleAutor manish
3

Können Sie befestigen Sie Ihr Formular ausfüllen, indem Sie mit Ihren eigenen setAttribute-Methode, hier ist der code für java für it -
```
public void setAttribute(By locator, String attribute, String value) {
    ((JavascriptExecutor) getDriver()).executeScript("arguments[0].setAttribute('" + attribute
            + "',arguments[1]);",
            getElement(locator),
            value);
}
```
- Können Sie erklären, was diese tut und wie es das script schneller macht?
- Sie können nur ausführen setAttribute(FindBy*****(Ihr locator hier), "Wert", "Text, den Sie möchten, in das Feld); und es wird das HTML-Attribut "value", um text, den Sie möchten, um das Feld auszufüllen. Grundsätzlich gibt es einen timeout auf der send_keys Betrieb, meine Methode umgeht dies in JS-Injektion in Ihre Seite, weisen Sie Ihren text in das Feld, dies würde sehr schnell gemacht werden.
- omg super süß!!! ich gehe davon aus das würde erreicht werden mit browser.execute_script(' // javascript goes here ') mit python??
InformationsquelleAutor Stormy

Läuft der web-Treiber headlessly verbessern sollte seine Ausführungsgeschwindigkeit zu einem gewissen Grad.

from selenium.webdriver import Firefox
from selenium.webdriver.firefox.options import Options

options = Options()
options.add_argument('-headless')
browser = webdriver.Firefox(firefox_options=options)

browser.get('https://google.com/')
browser.close()

InformationsquelleAutor BugWhisperer

0

Für Windows 7 und IEDRIVER mit Python, Selenium, Endet der Windows-Kommandozeile und einen Neustart geheilt mein Problem.

Ich Probleme mit find_element..Klicks. Sie waren unter 30 Sekunden plus ein bisschen. Hier ist die Art von code, den ich auch erfassen, wie lange zu laufen.
```
timeStamp = time.time()
elem = driver.find_element_by_css_selector(clickDown).click()
print("1 took:",time.time() - timeStamp)

timeStamp = time.time()
elem = driver.find_element_by_id("cSelect32").click()
print("2 took:",time.time() - timeStamp)
```
Wurde die Aufnahme etwa 31 Sekunden pro Klick. Nach Ende der Befehlszeile ein und Neustart (die hat am Ende, jede IEDRIVERSERVER.exe Prozesse), es war 1 Sekunde pro Klick.

InformationsquelleAutor user3002067

Habe ich geändert Locator-Punkte und das funktioniert schnell. Auch ich habe Hinzugefügt, arbeiten mit cookies. Überprüfen Sie den code unten:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.keys import Keys
import pickle


driver = webdriver.Firefox()
driver.get('http://www.quora.com/')
wait = WebDriverWait(driver, 5)
username = wait.until(EC.presence_of_element_located((By.XPATH, '//div[@class="login"]//input[@name="email"]')))
password = wait.until(EC.presence_of_element_located((By.XPATH, '//div[@class="login"]//input[@name="password"]')))

username.send_keys('email')
password.send_keys('password')
password.send_keys(Keys.RETURN)

wait.until(EC.presence_of_element_located((By.XPATH, '//span[text()="Add Question"]'))) # checking that user logged in
pickle.dump( driver.get_cookies() , open("cookies.pkl","wb")) # saving cookies
driver.close()

Wir haben cookies gespeichert und jetzt werden wir Sie in einem neuen browser -:

driver = webdriver.Firefox()
driver.get('http://www.quora.com/')
cookies = pickle.load(open("cookies.pkl", "rb"))
for cookie in cookies:
    driver.add_cookie(cookie)
driver.get('http://www.quora.com/')

Hoffe, das wird helfen.

InformationsquelleAutor Alex Makarenko

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.