Wie login und dann eine Datei herunterladen, die von aspx-web-Seiten mit R

Ich bin versucht, zu automatisieren, das download der Panel-Studie der Einkommens-Dynamik Dateien auf diese web-Seite mit R. Klick auf eine dieser Dateien führt den Nutzer durch zu diese login - /Authentifizierungs-Seite. Nach der Authentifizierung, es ist einfach, laden Sie die Dateien mit Ihrem web-browser. Leider, die httr code unten nicht angezeigt wird, um die Aufrechterhaltung der Authentifizierung. Ich habe versucht mit der Inspektion der Headers in Chrom für den Login.aspx-Seite (wie hier beschrieben), aber es scheint nicht zu halten, die die Authentifizierung, auch wenn ich glaube, ich bin vorbei in alle die richtigen Werte. Ist mir egal, wenn es fertig ist mit httr oder RCurl oder etwas anderes, ich möchte nur etwas, dass Werke in R, so dass ich nicht brauchen, um den Benutzer des scripts zum download der Dateien manuell oder mit etwas komplett anderes Programm. Einer meiner versuche, diese ist unten, aber es funktioniert nicht. Jede Hilfe würde geschätzt werden. Danke!! 😀

require(httr)

values <- 
    list( 
        "ctl00$ContentPlaceHolder3$Login1$UserName" = "[email protected]" , 
        "ctl00$ContentPlaceHolder3$Login1$Password" = "somepassword" ,
        "ctl00$ContentPlaceHolder3$Login1$LoginButton" = "Log In" ,
        "_LASTFOCUS" = "" ,
        "_EVENTTARGET" = "" ,
        "_EVENTARGUMENT" = "" 
    )

POST( "http://simba.isr.umich.edu/u/Login.aspx?redir=http%3a%2f%2fsimba.isr.umich.edu%2fZips%2fZipMain.aspx" , body = values )

resp <- GET( "http://simba.isr.umich.edu/Zips/GetFile.aspx" , query = list( file = "1053" ) )
  • Speichern Sie die cookie nach der Authentifizierung und übergeben, dass mit jedem weiteren aufrufen - siehe z.B. stackoverflow.com/a/15451157/564164
  • danke.. ich habe eigentlich versucht, zu replizieren, dass man gestern, es hat nicht funktioniert. 🙁 könnte sonst etwas Los werden?
InformationsquelleAutor Anthony Damico | 2013-04-06
  1. 11

    Neben der Speicherung der cookie nach der Authentifizierung (siehe meinen obigen Kommentar), aber es war ein weiterer problematischer Punkt in Ihre Lösung: die ASP.net Website setzt einen VIEWSTATE Schlüssel-Wert-paar in die cookie, die ist reserviert in Ihren Abfragen - wenn Sie überprüfen, Sie konnte nicht einmal den login in deinem Beispiel (das Ergebnis der POST Befehl enthält Informationen dazu, wie login, nur check it out).

    Eine Skizze eines möglichen Lösung:

    1. Laden RCurl Paket:

      > library(RCurl)

    2. Einige praktische curl Optionen:

      > curl = getCurlHandle()
> curlSetOpt(cookiejar = 'cookies.txt', followlocation = TRUE, autoreferer = TRUE, curl = curl)

    3. Laden Sie die Seite zum ersten mal zu erfassen VIEWSTATE:

      > html <- getURL('http://simba.isr.umich.edu/u/Login.aspx', curl = curl)

    4. Extrakt VIEWSTATE mit einem regulären Ausdruck oder einem anderen tool:

      > viewstate <- as.character(sub('.*id="__VIEWSTATE" value="([0-9a-zA-Z+/=]*).*', '\\1', html))

    5. Stellen Sie die Parameter wie Ihren Benutzernamen, Passwort und die VIEWSTATE:

      > params <- list(
    'ctl00$ContentPlaceHolder3$Login1$UserName'    = '<USERNAME>',
    'ctl00$ContentPlaceHolder3$Login1$Password'    = '<PASSWORD>',
    'ctl00$ContentPlaceHolder3$Login1$LoginButton' = 'Log In',
    '__VIEWSTATE'                                  = viewstate
    )

    6. Anmelden zuletzt:

      > html = postForm('http://simba.isr.umich.edu/u/Login.aspx', .params = params, curl = curl)

      Herzlichen Glückwunsch, Sie sind nun eingeloggt und curl hält das cookie überprüfen, dass!

    7. Überprüfen Sie, ob Sie angemeldet sind:

      > grepl('Logout', html)
[1] TRUE

    8. So können Sie voran gehen und laden Sie eine Datei - nur sicher sein, pass curl = curl alle Ihre Abfragen.

    • ja!!!!!!! das hat geklappt. danke!!!! 🙂 hier sind die zwei letzten Zeilen zu bekommen, was ich wollte: file <- getBinaryURL("http://simba.isr.umich.edu/Zips/GetFile.aspx?file=1053", curl=curl) und writeBin( file , "c:/temp/thefile.zip" )
    • Cool, ich bin froh, dass ich helfen konnte.
    • Ich habe eine ähnliche Abfrage mit einer anderen .NET Website. Bitte lassen Sie mich wissen, wenn Sie möchte, dass ich einen neuen thread aufmachen.
    • Eröffnet einen neuen thread:stackoverflow.com/questions/45372987/login-to-net-site-using-r
    InformationsquelleAutor daroczig
Schreibe einen Kommentar