Fehler Beim Lesen von Großen Excel-Dateien (xlsx-Format) Via Apache POI

Du nicht erwähnt, ob Sie ändern müssen Sie das Arbeitsblatt oder nicht.

Dies kann offensichtlich sein, aber wenn Sie nicht brauchen, zu ändern, Arbeitsblatt, dann brauchen Sie nicht zu analysieren, es und Schreibe es wieder aus, können Sie einfach die gelesenen bytes aus der Datei und schreibt die bytes, als würden Sie mit, sagen wir, ein Bild oder andere binary-format.

Wenn Sie tun müssen, ändern Sie die Kalkulationstabelle vor dem senden an den Benutzer, dann zu meinem wissen, Sie müssen möglicherweise einen anderen Ansatz.

Jede Bibliothek, die ich bewusst zum Lesen von Excel-Dateien in Java liest die gesamte Tabelle in den Speicher, so würden Sie haben 50 MB Speicher zur Verfügung für jede Tabelle, die möglicherweise sein könnte, die gleichzeitig verarbeitet. Dies beinhaltet, wie andere haben darauf hingewiesen, anpassen der heap zur Verfügung, um die VM.

Wenn Sie benötigen eine große Anzahl von Tabellen gleichzeitig, und kann nicht ausreichend Speicher reservieren, verwenden Sie ein format, das gestreamt werden kann, statt Lesen, alle auf einmal in den Speicher. CSV-format können geöffnet werden, indem Sie Excel, und ich habe gute Ergebnisse in der Vergangenheit durch das setzen des content-type auf application/vnd.ms-excel, - Einstellung der Anlage mit dem Namen etwas mit der Endung ".xls", sondern tatsächlich wieder den CSV-Inhalt. Ich habe nicht versucht, diese in ein paar Jahren, so YMMV.

In der bellwo Beispiel füge ich eine komplette code, wie zu analysieren, eine komplette excel-Datei (für mich 60Mo) in die Liste der Objekt ohne jedes problem von "out of memory" und funktionieren:

import java.util.ArrayList;
import java.util.List;


class DistinctByProperty {

    private static OPCPackage xlsxPackage = null;
    private static PrintStream output= System.out;
    private static List<MassUpdateMonitoringRow> resultMapping = new ArrayList<>();


    public static void main(String[] args) throws IOException {

        File file = new File("C:\\Users\\aberguig032018\\Downloads\\your_excel.xlsx");

        double bytes = file.length();
        double kilobytes = (bytes / 1024);
        double megabytes = (kilobytes / 1024);
        System.out.println("Size "+megabytes);

        parseExcel(file);
    }

    public static void parseExcel(File file) throws IOException {

        try {
            xlsxPackage = OPCPackage.open(file.getAbsolutePath(), PackageAccess.READ);
            ReadOnlySharedStringsTable strings = new ReadOnlySharedStringsTable(xlsxPackage);
            XSSFReader xssfReader = new XSSFReader(xlsxPackage);
            StylesTable styles = xssfReader.getStylesTable();
            XSSFReader.SheetIterator iter = (XSSFReader.SheetIterator) xssfReader.getSheetsData();
            int index = 0;
            while (iter.hasNext()) {
                try (InputStream stream = iter.next()) {
                    String sheetName = iter.getSheetName();
                    output.println();
                    output.println(sheetName + " [index=" + index + "]:");
                    processSheet(styles, strings, new MappingFromXml(resultMapping), stream);
                }
                ++index;
            }

        } catch (InvalidFormatException e) {
            e.printStackTrace();
        } catch (OpenXML4JException e) {
            e.printStackTrace();
        } catch (SAXException e) {
            e.printStackTrace();
        }
    }

    private static void processSheet(StylesTable styles, ReadOnlySharedStringsTable strings, MappingFromXml mappingFromXml, InputStream sheetInputStream) throws IOException, SAXException {
        DataFormatter formatter = new DataFormatter();
        InputSource sheetSource = new InputSource(sheetInputStream);
        try {
            XMLReader sheetParser = SAXHelper.newXMLReader();
            ContentHandler handler = new XSSFSheetXMLHandler(
                    styles, null, strings, mappingFromXml, formatter, false);

            sheetParser.setContentHandler(handler);
            sheetParser.parse(sheetSource);
            System.out.println("Size of Array "+resultMapping.size());
        } catch(ParserConfigurationException e) {
            throw new RuntimeException("SAX parser appears to be broken - " + e.getMessage());
        }
    }
}

dann müssen Sie calss, die

SheetContentsHandler

import com.sun.org.apache.xpath.internal.operations.Bool;
import org.apache.poi.ss.util.CellAddress;
import org.apache.poi.ss.util.CellReference;
import org.apache.poi.xssf.eventusermodel.XSSFSheetXMLHandler.SheetContentsHandler;

import org.apache.poi.xssf.usermodel.XSSFComment;

import java.io.PrintStream;
import java.util.ArrayList;
import java.util.List;

public class MappingFromXml implements SheetContentsHandler {

    private List<myObject> result = new ArrayList<>();
    private myObject myObject = null;
    private int lineNumber = 0;
    /**
     * Number of columns to read starting with leftmost
     */
    private int minColumns = 25;
    /**
     * Destination for data
     */
    private PrintStream output = System.out;

    public MappingFromXml(List<myObject> list) {
        this.result = list;
    }

    @Override
    public void startRow(int i) {
        output.println("iii " + i);
        lineNumber = i;
        myObject = new myObject();
    }

    @Override
    public void endRow(int i) {
        output.println("jjj " + i);
        result.add(myObject);
        myObject = null;
    }

    @Override
    public void cell(String cellReference, String formattedValue, XSSFComment comment) {
        int columnIndex = (new CellReference(cellReference)).getCol();

        if(lineNumber > 0){
            switch (columnIndex) {
                case 0: {//Tech id
                    if (formattedValue != null && !formattedValue.isEmpty())
                        myObject.setId(Integer.parseInt(formattedValue));
                }
                break;
                //TODO add other cell
            }
        }
    }

    @Override
    public void headerFooter(String s, boolean b, String s1) {

    }
}

Weitere Informationen visite dieser link