commons-net-ftp hochladen von beschädigten Dateien

Ich versuche, apache commons-net für ftp-Dateiübertragungen.

Problem ist die Dateien sind zeitweise Ankunft auf dem server beschädigt. durch "korrupt" meine ich, dass winrar sagt mir eine zip-Datei hat eine "Unexpected end of archive'. manchmal die Dateien sind komplett leer. Ich habe bemerkt, dass diese mehr passiert bei größeren Dateien (100kb+), jedoch passiert für kleine Dateien (20kb).

Ich weiß, für eine Tatsache, dass die Quelle zip-Datei, die hochgeladen wird und gültig ist und nur 243kb.

Ich bekomme keine Fehler/Ausnahmen von der code.

Hier ist der code nicht ausgeführt wird:

    try
    {
        int CON_TIMEOUT = (int) TimeUnit.SECONDS.toMillis(20); //fail if can't connect within 20 seconds
        int LIVE_TIMEOUT = (int) TimeUnit.MINUTES.toMillis(5); //allow up to 5 minutes for data transfers

        FTPClient client = new FTPClient();
        client.setConnectTimeout(CON_TIMEOUT);
        client.setDataTimeout(LIVE_TIMEOUT);
        client.connect(host);
        client.setSoTimeout(LIVE_TIMEOUT);
        client.login(user, pass);
        client.changeWorkingDirectory(dir);
        log("client ready");

        File file = new File(filePath);
        String name = new Date().getTime() + "-" + file.getName();

        InputStream fis = null;
        try
        {
            fis = new FileInputStream(file);
            if (!client.storeFile(name, fis))
                throw new RuntimeException("store failed");
            log("store " + name + " complete");
        }
        finally
        {
            IOUtils.closeQuietly(fis);
            try
            {
                client.logout();
                log("logout");
            }
            catch (Throwable e)
            {
                log("logout failed", e);
            }
            try
            {
                client.disconnect();
                log("disconnect");
            }
            catch (Throwable e)
            {
                log("disconnect failed", e);
            }
        }
    }
    catch (Throwable e)
    {
        log("transfer failed", e);
    }

und einige logs:

2010-08-10 21:32:38 client ready
2010-08-10 21:32:49 store 1281439958234-file.zip complete
2010-08-10 21:32:49 logout
2010-08-10 21:32:49 disconnect
2010-08-10 21:32:50 client ready
2010-08-10 21:33:00 store 1281439970968-file.zip complete
2010-08-10 21:33:00 logout
2010-08-10 21:33:00 disconnect
2010-08-10 21:33:02 client ready
2010-08-10 21:33:11 store 1281439982234-file.zip complete
2010-08-10 21:33:11 logout
2010-08-10 21:33:11 disconnect
2010-08-10 21:33:15 client ready
2010-08-10 21:33:25 store 1281439995890-file.zip complete
2010-08-10 21:33:26 logout
2010-08-10 21:33:26 disconnect
2010-08-10 21:33:27 client ready
2010-08-10 21:33:36 store 1281440007531-file.zip complete
2010-08-10 21:33:36 logout
2010-08-10 21:33:36 disconnect
2010-08-10 21:33:37 client ready
2010-08-10 21:33:48 store 1281440017843-file.zip complete
2010-08-10 21:33:48 logout
2010-08-10 21:33:48 disconnect
2010-08-10 21:33:49 client ready
2010-08-10 21:33:59 store 1281440029781-file.zip complete
2010-08-10 21:33:59 logout
2010-08-10 21:33:59 disconnect
2010-08-10 21:34:00 client ready
2010-08-10 21:34:09 store 1281440040812-file.zip complete
2010-08-10 21:34:09 logout
2010-08-10 21:34:09 disconnect
2010-08-10 21:34:10 client ready
2010-08-10 21:34:23 store 1281440050859-file.zip complete
2010-08-10 21:34:24 logout
2010-08-10 21:34:24 disconnect
2010-08-10 21:34:25 client ready
2010-08-10 21:34:35 store 1281440065421-file.zip complete
2010-08-10 21:34:35 logout
2010-08-10 21:34:35 disconnect

beachten Sie, dass alle diese waren innerhalb von 15 Sekunden, und alle sich daraus ergebenden Dateien auf dem server beschädigt sind.

habe ich ebenfalls getestet, ohne irgendwelche timeouts und das problem immer noch Auftritt.

InformationsquelleAutor pstanton | 2010-08-10

16

Commons FTP-standardmäßig ascii-Datei-Typen. Sie wollen, um es zu Binären Umgang mit binären Daten, wie eine zip-Datei.

Vom http://commons.apache.org/net/api/org/apache/commons/net/ftp/FTPClient.html

Die Standardeinstellungen für die FTPClient sind für Sie zu verwenden http://FTP.ASCII_FILE_TYPE , http://FTP.NON_PRINT_TEXT_FORMAT , http://FTP.STREAM_TRANSFER_MODE und http://FTP.FILE_STRUCTURE . Der einzige Datei-Typen direkt unterstützt werden http://FTP.ASCII_FILE_TYPE und http://FTP.BINARY_FILE_TYPE .

wollen Sie tun setFileType(FTP.BINARY_FILE_TYPE), bevor Sie Sie senden Sie die Datei.
- sollte ich mit binären beim senden von Inhalten über new ByteArrayInputStream("a string".getBytes()) ?
- Ich bin nicht 100% sicher. Es ist wahrscheinlich sicherer so. Sollte schnell genug sein, um zu testen.
- Wie hast du es beheben? ich habe das gleiche problem.
- In der neuesten version als dieser Kommentar, commons-net-3.2 Sie Folgendes tun: ftp.setFileType(FTPClient.BINARY_FILE_TYPE);
- stellen Sie sicher, dass ftpClient.setFileType(FTP.BINARY_FILE_TYPE) nach jedem connect-Methode, da connect() wird die reset-Typ zu FTP.ASCII_FILE_TYPE.
InformationsquelleAutor PaulJWilliams

Ich hatte dieses problem trotz Angabe binary file type so schrieb ich-code zum validieren der hochgeladenen Datei über MD5 hashing:

public void upload(String sourceFilePath) throws Exception
{
    while (true)
    {
        //Upload
        File sourceFile = new File(sourceFilePath);
        String sourceFileHash = MD5Checksum.getMD5Checksum(sourceFilePath);
        String remoteFile = sourceFile.getName();

        try (InputStream inputStream = new FileInputStream(sourceFile))
        {
            boolean successful = ftpClient.storeFile(remoteFile, inputStream);

            if (!successful)
            {
                throw new IllegalStateException("Upload of " + sourceFilePath + " failed!");
            }
        }

        //Download
        File temporaryFile = File.createTempFile("prefix", "suffix");
        try (OutputStream outputStream = new BufferedOutputStream(new FileOutputStream(temporaryFile)))
        {
            boolean successful = ftpClient.retrieveFile(remoteFile, outputStream);

            if (!successful)
            {
                throw new IllegalStateException("Download of " + sourceFilePath + " failed!");
            }
        }

        String downloadFileHash = MD5Checksum.getMD5Checksum(temporaryFile.getAbsolutePath());
        Files.delete(temporaryFile.toPath());

        //Make sure the file hashes match
        if (sourceFileHash.equals(downloadFileHash))
        {
            break;
        }
    }
}

MD5Checksum.java:

import java.io.*;
import java.security.MessageDigest;

public class MD5Checksum
{
    private static byte[] createChecksum(String filename) throws Exception
    {
        try (InputStream fileInputStream = new FileInputStream(filename))
        {
            byte[] buffer = new byte[1024];
            MessageDigest complete = MessageDigest.getInstance("MD5");
            int numRead;

            do
            {
                numRead = fileInputStream.read(buffer);
                if (numRead > 0)
                {
                    complete.update(buffer, 0, numRead);
                }
            } while (numRead != -1);

            return complete.digest();
        }
    }

    public static String getMD5Checksum(String filename) throws Exception
    {
        byte[] checksum = createChecksum(filename);
        StringBuilder result = new StringBuilder();

        for (byte singleByte : checksum)
        {
            result.append(Integer.toString((singleByte & 0xff) + 0x100, 16).substring(1));
        }

        return result.toString();
    }
}

Den MD5 code stammt aus hier.

InformationsquelleAutor BullyWiiPlaza

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.