Wie zum download und speichern Sie eine Datei aus dem internet mit Scala?

Grundsätzlich habe ich eine url/link zu einer text-Datei online und ich bin versucht, es herunterzuladen lokal. Für einige Grund, die text-Datei wird erstellt/heruntergeladen leer ist. Offen für alle Vorschläge. Danke!

    def downloadFile(token: String, fileToDownload: String) {

    val url = new URL("http://randomwebsite.com/docs?t=" + token + "&p=tsr%2F" + fileToDownload)
    val connection = url.openConnection().asInstanceOf[HttpURLConnection]
    connection.setRequestMethod("GET")
    val in: InputStream = connection.getInputStream
    val fileToDownloadAs = new java.io.File("src/test/resources/testingUpload1.txt")
    val out: OutputStream = new BufferedOutputStream(new FileOutputStream(fileToDownloadAs))
    val byteArray = Stream.continually(in.read).takeWhile(-1 !=).map(_.toByte).toArray
    out.write(byteArray)
    }
InformationsquelleAutor slizorn | 2014-06-11
  1. 5

    Flush den Puffer und schließen Sie dann den Ausgabe-stream.

    InformationsquelleAutor Eric Hydrick
  2. 29

    Ich weiß, das ist eine alte Frage, aber ich kam gerade über einen wirklich schönen Weg, dies zu tun :

    import sys.process._
import java.net.URL
import java.io.File

def fileDownloader(url: String, filename: String) = {
    new URL(url) #> new File(filename) !!
}

    Hoffe, das hilft. Quelle.

    Können Sie jetzt einfach benutzen fileDownloader-Funktion, um die Dateien herunterzuladen.

    fileDownloader("http://ir.dcs.gla.ac.uk/resources/linguistic_utils/stop_words", "stop-words-en.txt")
    • was ist, wenn ich den gleichen code über und, anstatt das herunterladen und speichern Sie es lokal will ich speichern Sie es in einem anderen server, dessen IP ist zu mir weiß
    • Danke für das hinzufügen der Importe!
    • hängt davon ab, wie die anderen server verarbeitet den upload. In diesem Fall werden Sie die oben erwähnen, Methode wird nicht funktionieren.
    • Dies funktioniert nicht bei https, afaik
    • Auch wenn die Datei nicht verfügbar ist, es scheint kein Weg, um die Ausnahme zu fangen.
    • Sie können immer wickeln die ganze Sache in scala.util.Try.
    • Dies folgt nicht leitet, der entweder :'(

    InformationsquelleAutor Chetan Bhasin
  3. 9

    Hier ist eine naive Implementierung von scala.io.Source.fromURL und java.io.FileWriter

    def downloadFile(token: String, fileToDownload: String) {
  try {
    val src = scala.io.Source.fromURL("http://randomwebsite.com/docs?t=" + token + "&p=tsr%2F" + fileToDownload)
    val out = new java.io.FileWriter("src/test/resources/testingUpload1.txt")
    out.write(src.mkString)
    out.close
  } catch {
    case e: java.io.IOException => "error occured"
  }
}

    Dein code funktioniert bei mir... Es gibt andere Möglichkeiten, die machen leere Datei.

    • Versucht einen anderen link und es funktioniert, seufz, etwas falsch mit der url die ich versuche. danke!
    • Aber was ist, wenn die Datei in einem binären format, dann denke ich, dass src.mkString könnte scheitern,...
    InformationsquelleAutor Herrington Darkholme
  4. 4

    Hier ist eine sicherere alternative zu new URL(url) #> new File(filename) !!:

    val url = new URL(urlOfFileToDownload)

val connection = url.openConnection().asInstanceOf[HttpURLConnection]
connection.setConnectTimeout(5000)
connection.setReadTimeout(5000)
connection.connect()

if (connection.getResponseCode >= 400)
  println("error")
else
  url #> new File(fileName) !!

    Zwei Dinge:

    • Beim herunterladen von einem URL Objekt, wenn ein Fehler (404 zum Beispiel) zurückgegeben wird, dann wird die URL Objekt werfen wird FileNotFoundException. Und da diese Ausnahme wird erzeugt, aus einem anderen thread (als URL passiert in einem separaten thread ausgeführt), eine einfache Try oder try/catch nicht in der Lage sein, um die Ausnahme zu fangen. So ist die vorab-check für den response-code: if (connection.getResponseCode >= 400).
    • Als Folge der überprüfung der Antwort-code, die Verbindung kann manchmal stecken bleiben geöffnet auf unbestimmte Zeit für unsachgemäße Seiten (wie erklärt hier). Dies kann vermieden werden, indem Einstellung ein timeout auf die Verbindung: connection.setReadTimeout(5000).
    InformationsquelleAutor Xavier Guihot
Schreibe einen Kommentar