java.io.IOException: Server returned HTTP response code: 503 for URL: Fehler

Ich bin Schaben von Daten von einer website, indem man den HTML-code von der website haben, dann analysieren Sie es in Java.

Ich bin derzeit mit java.net.URL sowie java.net.URLConnection. Dies ist der code, den ich verwenden, um den HTML-code von einer bestimmten website (zu Finden auf diese website, leicht bearbeitet und an meine Bedürfnisse anzupassen):

public static String getURL(String name) throws Exception{

    //Set URL
    String s = "";
    URL url = new URL(name);
    URLConnection spoof = url.openConnection();

    //Spoof the connection so we look like a web browser
    spoof.setRequestProperty( "User-Agent", "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0; H010818)" );
    BufferedReader in = new BufferedReader(new InputStreamReader(spoof.getInputStream()));
    String strLine = "";

    //Loop through every line in the source
    while ((strLine = in.readLine()) != null){

        //Prints each line to the console
        s = s + strLine + "\n";
    }
    return s;
}

Wenn ich es laufen, der HTML-code korrekt empfangen für etwa 100-200 Seiten. Doch bevor ich damit fertig bin, packte HTML-code, bekomme ich eine "java.io.IOException: Server returned HTTP response code: 503 for URL" Ausnahme. Ich habe recherchiert, dieses Thema voll und andere Fragen wie diese man nicht auf das Paket, das ich verwende.

Vielen Dank im Voraus für die Hilfe!

503 ist in der Regel verursacht durch eine vorübergehende überlastung des web-Servers. Kann es sein, Ihr Prozess, überschwemmen Sie, oder vielleicht gibt es etwas anderes Zugriff auf den web-server. Was passiert, wenn Sie versuchen Sie, einen kurzen Schlaf zwischen jedem Ihrer Wünsche?
Läuft es jetzt. Mit einem 100-Millisekunden Pause zwischen jeder Zugang, es scheint weniger lange Pausen zwischen den einzelnen Zugang, aber Sie sind immer noch da. Warten bis es fertig ist. Edit 1: Beim Zugriff 339 von 358, es gibt den gleichen Fehler. Hinzufügen der Verzögerung schien nicht zu helfen, also werde ich es auch mit einem 1000-Sekunden-Verzögerung.
Okay. Das hinzufügen einer 1-Sekunden-Verzögerung, noch setzt es bei etwa 240 Zugriffe. Ich werde versuchen, die Antwort unten.

InformationsquelleAutor user3251567 | 2014-01-30

Schreibe einen Kommentar