Frühling - so streamen Sie große multipart-Datei-uploads, um die Datenbank ohne speichern auf dem lokalen Dateisystem

Spring boot ist standardmäßig MultiPartResolver Schnittstelle verarbeitet das heraufladen von multipart-Dateien durch speichern auf dem lokalen Dateisystem. Bevor der controller-Methode eingegeben wird, wird die gesamte multipart-Datei muss fertig hochladen auf den server.

Speichern wir alle unsere hochgeladenen Dateien direkt in eine Datenbank und auf unseren Servern haben sehr kleine Festplatten-quota, so dass, wenn eine große Datei hochgeladen ist, sehen wir eine IOExeption - Disk quota exceeded.

Gibt es eine Möglichkeit, um den stream direkt aus dem client die eingehende Anforderung vor der Frühling s MultiPartResolver speichert die Datei auf dem lokalen Dateisystem, so dass wir können den stream direkt auf unserer db?

  • Welche Datenbank verwenden Sie?
  • Wir sind mit AWS S3
InformationsquelleAutor McLovin | 2016-06-16
  1. 16

    Könnten Sie apache direkt, wie hier beschrieben https://commons.apache.org/proper/commons-fileupload/streaming.html.

    @Controller
public class UploadController {

    @RequestMapping("/upload")
    public String upload(HttpServletRequest request) throws IOException, FileUploadException {

        ServletFileUpload upload = new ServletFileUpload();

        FileItemIterator iterator = upload.getItemIterator(request);
        while (iterator.hasNext()) {
            FileItemStream item = iterator.next();

            if (!item.isFormField()) {
                InputStream inputStream = item.openStream();
                //...
            }
        }
    }
}

    Stellen Sie sicher, zu deaktivieren Federn multipart auflösen Mechanismus.

    Anwendung.yml:

    spring:
   http:
      multipart:
         enabled: false
    InformationsquelleAutor Bernhard
  2. 7

    Eigentlich ist es keine triviale Aufgabe. Wenn Sie möchten, schreiben Sie stream vom client direkt an die Datenbank, die Sie haben, um die Anfrage Bearbeiten manuell. Es gibt einige Bibliotheken, die diese Aufgabe einfacher. Einer von Ihnen ist "Apache Commons FileUpload". Unten sehr einfaches Beispiel, wie kann man Sie verarbeiten die eingehenden multipart/form-data Anfrage von dieser Bibliothek.

    @Controller
public class Controller{

    @RequestMapping("/upload")
    public String upload(HttpServletRequest request){

        String boundary = extractBoundary(request);

        try {
            MultipartStream multipartStream = new MultipartStream(request.getInputStream(), 
                boundary.getBytes(), 1024, null);
            boolean nextPart = multipartStream.skipPreamble();
            while(nextPart) {
                String header = multipartStream.readHeaders();

                if(header.contains("filename")){
                    //if input is file
                    OutputStream output = createDbOutputStream();
                    multipartStream.readBodyData(output);
                    output.flush();
                    output.close();
                } else {
                    //if input is not file (text, checkbox etc)
                    ByteArrayOutputStream output = new ByteArrayOutputStream();
                    multipartStream.readBodyData(output);
                    String value = output.toString("utf-8");
                    //... do something with extracted value
                }
                nextPart = multipartStream.readBoundary();
            }
        } catch (IOException e) {
            throw new RuntimeException(e);
        }    
    }

    private String extractBoundary(HttpServletRequest request) {
        String boundaryHeader = "boundary=";
        int i = request.getContentType().indexOf(boundaryHeader)+
            boundaryHeader.length();
        return request.getContentType().substring(i);
    }    
}

    Header für die Datei-Feld sieht wie folgt aus:

    Content-Disposition: form-data; name="fieldName"; filename="fileName.jpg"
Content-Type: image/jpeg

    Header für einfaches Feld sieht folgendermaßen aus:

    Content-Disposition: form-data; name="fieldName";

    Beachten Sie, dass dieses snippet ist nur Vereinfachtes Beispiel, um zu zeigen, Sie Richtung. Es gibt keine einige details wie: extrahieren von Feldnamen aus dem header, erstellen Sie Datenbank-output-stream etc. Sie implementieren können, alle diese Dinge durch Ihre eigenen.
    Beispiele von multipart-request-Header-Feld finden Sie in RFC1867. Informationen über multipart/form-data RFC2388.

    • Ich habe dies vor allem arbeiten mit header "Content-Type: multipart/form-data; boundary=----WebKitFormBoundary7MA4YWxkTrZu0gW" -F "filename=test" -F "[email protected]"
    InformationsquelleAutor Ken Bekov
Schreibe einen Kommentar