POST InputStream mit RestTemplate

Ich habe einen client, muss die POST eine große Anzahl von großen json-Dateien auf einem server. Ich habe in der Lage, um es arbeiten, indem Sie Lesen jede der Dateien in den Speicher und die Buchung der gesamten Datei mit RestTemplate. Aber der client läuft schnell aus dem Gedächtnis der Umgang mit den großen json-Dateien. Ich möchte wechseln zu einem streaming-Ansatz, aber können nicht herausfinden, wie Sie ein FileInputStream, der mit der RestTemplate richtig. Ich fand diese Frage und verwendet den code in der akzeptierten Antwort, aber ich bin immer noch zu sehen, die Speichernutzung und die OutOfMemory-Ausnahmen, die dazu führen mich zu glauben, dass es ist nicht ein streaming der Dateien aber immer noch zu Lesen, die Sie in den Speicher komplett. Was mache ich falsch? Hier ist, was ich derzeit habe:

final InputStream fis = ApplicationStore.class.getResourceAsStream(path);

final RequestCallback requestCallback = new RequestCallback() {
    @Override
    public void doWithRequest(final ClientHttpRequest request) throws IOException {
        request.getHeaders().add("Content-type", "application/json");
        IOUtils.copy(fis, request.getBody());
    }
};

final RestTemplate restTemplate = new RestTemplate();
SimpleClientHttpRequestFactory requestFactory = new SimpleClientHttpRequestFactory();
requestFactory.setBufferRequestBody(false);     
restTemplate.setRequestFactory(requestFactory);     
final HttpMessageConverterExtractor<String> responseExtractor =
         new HttpMessageConverterExtractor<String>(String.class, restTemplate.getMessageConverters());

restTemplate.execute("http://" + host + ":8080/upads-data-fabric" + "/ruleset", httpMethod, requestCallback, responseExtractor);
InformationsquelleAutor Tom | 2015-12-02
  1. 11

    Nicht. Verwenden Sie eine Ressourcen in Kombination mit einer entsprechenden RestTemplate#exchange Methode.

    Erstellen Sie eine HttpEntity mit der Resource als body. Es gibt ClassPathResource zu vertreten Klassenpfad Ressourcen. Die RestTemplate standardmäßig registriert ein ResourceHttpMessageConverter die streams.

    • Hmm...es scheint immer noch das Lesen der Dateien in den Speicher und ich am Ende mit einer OutOfMemory-Ausnahme kurz. Bin ich etwas fehlt? Hier ist, was ich habe pastebin.com/ytjHDjR1
    • Und meine RestTemplate config ist hier pastebin.com/6Rf2x6i3
    • Ist dein problem mit dem schreiben der Körper der Anfrage oder Lesen Sie den Text der Antwort? Ich war für die Beantwortung der Anfrage. Der source-code von ResourceHttpMessageConverter ist hier. Sie werden feststellen, es nutzt StreamUtils#copy verwendet einen buffer von 4096 bytes.
    • Ja, es ist mit dem schreiben der Körper der Anfrage. Das ist interessant. Es sollte Pufferung richtig, dass nach.
    • Wenn Sie einen stack-trace, poste es bitte.
    • Die OutOfMemoryError-exception, ich bin immer hier pastebin.com/amd4SXpw
    • Das ist nicht ein RestTemplate problem. Das ist entweder ein problem mit Tomcat ClassLoader oder Sie haben wirklich keinen Speicher zur Verfügung.
    • Es ist möglich, dass brauche ich nur mehr Speicher zuzuweisen, um die Anwendung, aber es hat sich durch eine gute Anzahl von Dateien vor dem ausführen von out of memory. Ich wollte nur, um auszuschließen, dass es wurde versucht zu Lesen jede Datei in den Speicher vollständig durch, bevor Sie senden. Ich werde weiter forschen, wo der Speicher wird. Vielen Dank für die Hilfe.

    InformationsquelleAutor Sotirios Delimanolis
  2. 1

    Zusätzlich zu den @sotirios-delimanolis Antwort, die Sie auch benötigen, geben Sie diese Einstellung an Ihre RestTemplate so, dass intern Ihre org.springframework.http.HttpOutputMessage ist anerkannt als org.springframework.http.StreamingHttpOutputMessage weil es sonst nur Kopien der gesamten Strom der interne stream, so dass Sie nur in den Arbeitsspeicher zu laden. Auf diese Weise es verwendet Brocken von Ihrem original-stream und sendet Sie.

    HttpComponentsClientHttpRequestFactory requestFactory = new HttpComponentsClientHttpRequestFactory();
requestFactory.setBufferRequestBody(false);
restTemplate.setRequestFactory(requestFactory);

    Ich sage das, weil es nur eine Implementierung von StreamingHttpOutputMessage und HttpComponentsClientHttpRequestFactory ist der einzige Ort, wo es angelegt wird.

    Reproduzierbare Beispiel:

    MultiValueMap<String, Object> bodyMap = new LinkedMultiValueMap<>();
UrlResource urlResource = new UrlResource(MY_EXTERNAL_FILE_URL) { //uses URL#inputStream
    @Override
    public String getFilename() {
        return FILE_NAME;
    }
};
bodyMap.add("file", urlResource); //other service uses -- @RequestParam("file") MultipartFile -- in its controller
RequestEntity<MultiValueMap<String, Object>> request =
    RequestEntity.post(URI.create("http://localhost:6666/api/file"))
        .contentType(MediaType.MULTIPART_FORM_DATA)
        .body(bodyMap);

//should be a @Bean
RestTemplate restTemplate = new RestTemplate ();
HttpComponentsClientHttpRequestFactory requestFactory = new 
HttpComponentsClientHttpRequestFactory();
requestFactory.setBufferRequestBody(false);
restTemplate.setRequestFactory(requestFactory);

System.out.println(restTemplate.exchange(request, FileMetadata.class));
    InformationsquelleAutor Sam
Schreibe einen Kommentar