Wie zu vermeiden, OOM (Out of memory) Fehler beim abrufen aller Datensätze einer großen Tabelle?

Ich bin da eine Aufgabe zum konvertieren einer riesigen Tabelle, um benutzerdefinierte XML-Datei. Ich werde mich mit Java für diesen job.

Wenn ich einfach einen "SELECT * FROM Kunden", kann es Rückkehr die riesige Menge von Daten, die schließlich zu OOM. Ich Frage mich, gibt es eine Möglichkeit, die ich wählen, wird der Datensatz sofort, sobald es verfügbar ist, und entfernen Sie den Eintrag aus dem Speicher nach, während sql abrufen Prozess?

--- bearbeitet am 13 Jul 2009

Ich möchte meine Frage. Ich habe 1 db server und 1 application-server.
Wenn ich die Ausgabe einer select-Abfrage in einer Anwendung, die Daten reist von einem db-server app-server.

Glaube ich (korrigiert mich wenn ich falsch Liege) ResultSet müssen warten, bis alle mit dem Empfang der Datensätze in der Abfrage. Auch wenn wir-fetch-Größe 4, für eine 1000-Datensatz-Tabelle, die wir noch am Ende mit 1000 Datensätze, die im heap-Speicher des app-server, ist es richtig? - Fetch-Größe, beeinflussen nur die Anzahl der hin-und Rückfahrt vom/zum db-server.

Meine Frage ist, wie zu Beginn der Verarbeitung auf, dass 4 (oder beliebig viele) Datensätze sofort nach der Ankunft in app-server, und entsorgen Sie Sie, um Speicherplatz freizugeben in-app-server?

InformationsquelleAutor der Frage janetsmith | 2009-07-10

  1. 4

    Ich denke, Sie könnte verwenden Sie die gleiche Lösung wie diese eine. Ein scrollbares resultset.

    InformationsquelleAutor der Antwort javamonkey79

  2. 6

    Mit ein wenig mehr Informationen, die ich bekommen kann eine weitere hilfreiche Antwort.

    Wenn Sie MySQL verwenden:

    stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY,
       java.sql.ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(Integer.MIN_VALUE);

    vom http://www.oracle.com/technology/tech/java/sqlj_jdbc/htdocs/jdbc_faq.html:

    java.util.Properties info = new java.util.Properties();
info.put ("user", "scott");
info.put ("password","tiger");
info.put ("defaultRowPrefetch","15");
getConnection ("jdbc:oracle:oci:@",info);

    InformationsquelleAutor der Antwort Clint

  3. 4

    Wenn Sie mithilfe von JDBC können Sie eine Ergebnismenge mit einem cursor, die Sie Durchlaufen einen Datensatz zu einem Zeitpunkt. Müssen Sie stellt sicher, dass dann schreibst du deine XML aus einer Datei einen Datensatz zu einer Zeit, anstatt mithilfe von DOM-zu bauen, die XML-Daten.

    InformationsquelleAutor der Antwort Dean Povey

  4. 4

    Eine Faustregel, die ich gelernt habe, aus meiner Erfahrung ist, dass Sie NIE bringen Sie ALLE Daten aus der Datenbank in Ihrem Anwendung-server. Eine Sache, die Sie tun können, ist die Implementierung eines Verfahrens zur Seite, die Ihre Daten.

    Bringen Sie eine Seite von Daten mit etwa 1000-5000 Datensätze, Bearbeiten Sie dann wieder Holen Sie die Daten für die nächste Seite.

    InformationsquelleAutor der Antwort Kirtan

  5. 1

    Ein Konzept für den Export der gesamten Tabelle. (Hinweis für Experten: ich bin mir bewusst seine Mängel.)

    import java.io.BufferedWriter;
import java.io.File;
import java.io.FileOutputStream;
import java.io.OutputStreamWriter;
import java.io.PrintWriter;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.ResultSetMetaData;
public class FullTableExport {
    public static String toXML(String s) {
        if (s != null) {
            StringBuilder b = new StringBuilder(s.length());
            for (int i = 0, count = s.length(); i < count; i++) {
                char c = s.charAt(i);
                switch (c) {
                case '<':
                    b.append("&lt;");
                    break;
                case '>':
                    b.append("&gt;");
                    break;
                case '\'':
                    b.append("&#39;");
                    break;
                case '"':
                    b.append("&quot;");
                    break;
                case '&':
                    b.append("&amp;");
                    break;
                default:
                    b.append(c);
                }
            }
            return b.toString();
        }
        return "";
    }
    public static void main(String[] args) throws Exception {
        String table = "CUSTOMER";
        int batch = 100;

        Class.forName("oracle.jdbc.driver.OracleDriver");
        Connection conn = DriverManager.getConnection(
            "jdbc:oracle:thin:@server:orcl", "user", "pass");
        PreparedStatement pstmt = conn.prepareStatement(
            "SELECT /*+FIRST_ROWS(" + batch + ") */* FROM " + table);
        ResultSet rs = pstmt.executeQuery();
        rs.setFetchSize(batch);
        ResultSetMetaData rsm = rs.getMetaData();
        File output = new File("result.xml");
        PrintWriter out = new PrintWriter(new BufferedWriter(
            new OutputStreamWriter(
            new FileOutputStream(output), "UTF-8")), false);
        out.printf("<?xml version='1.0' encoding='UTF-8'?>%n");
        out.printf("<table name='%s'>%n", toXML(table));
        int j = 1;
        while (rs.next()) {
            out.printf("\t<row id='%d'>%n", j++);
            for (int i = 1; i <= rsm.getColumnCount(); i++) {
                out.printf("\t\t<col name='%s'>%s</col>%n", 
                    toXML(rsm.getColumnName(i)), 
                    toXML(rs.getString(i)));
            }
            out.printf("\t</row>%n");
        }
        out.printf("</table>%n", table);
        out.flush();
    }
}

    Bearbeiten Die Mängel (danke @J. S.):

    • Keine externen Bibliotheken verwendet, über die ojdbc
    • Nichts geschlossen
    • Eine generische Exception geworfen wird
    • Es ist eine main-Methode
    • Nutzung von print für XML-Erzeugung
    • Oracle-spezifischen SQL
    • Nur-text-Kennwort
    • Einige Spalten umständlich in string-Darstellung
    • UTF-8 ist auch international
    • XML-Struktur Fußabdruck ist groß

    InformationsquelleAutor der Antwort akarnokd

  6. 0

    In welcher Phase ist der OOM-Fehler Auftritt, ist es auf Abruf von Daten oder die Verarbeitung von Daten in XML-Datei?

    Wenn seine Daten abrufen, die Daten in batches. Holen Sie sich die Gesamtzahl der Zeilen, die erste, um die wählt durch die primäre Taste und begrenzen Sie die Reihen ausgewählt, um Kautabletten Größen.

    Wenn Ihr an der Erstellung der XML-Datei senden Sie die XML-Knoten von jedem Kunden zu System.aus.println, nicht, halten Sie es im Speicher. Starten Sie das Programm über Leitung Leitung und umleiten der Ausgabe in eine Datei;

    java MyConverter > results.txt

    Als Sie eine Schleife durch die Aufzeichnung aller in der Datei gespeichert wird.

    InformationsquelleAutor der Antwort n002213f

Schreibe einen Kommentar