Schnellste Weg zum Lesen, eine große XML-Datei in Java

Arbeite ich an einem java-Projekt zur Optimierung von vorhandenen code. Derzeit bin ich mit BufferedReader/FileInputStream zum Lesen von Inhalten aus einer XML-Datei als String in Java.

Aber meine Frage ist , gibt es eine schnellere Möglichkeit zum Lesen von XML-Inhalten.Sind SAX/DOM schneller als BufferedReader/FileInputStream?

Brauche Hilfe bei dem oben genannten Problem.

Vielen Dank im Voraus.

  • Nicht sicher, was genau du meinst... das Lesen der Datei mit BufferedReader/FileInputStream erhalten Sie die bytes, aber nicht als XML-Dokument... SAX/DOM analysiert werden sowohl die Datei Lesen, und dann analysieren die XML-Daten in eine weitere nützliche Struktur. Generell SAX-Parser schneller sind als DOM Parser.
  • Ist dieser Teil der Anwendung ist als ein Engpass nach betonte die app und mit einem profiler? Wenn ja, dann statt Lesen der XML-Datei als String und dann analysieren es, ich denke, es wäre besser, verwenden Sie einen SAX-parser, da es schneller als DOM.
  • Ich meine, mit BufferedReader b = new BufferedReader( new InputStreamReader(new FileInputStream(filename), Charset.forName("UTF-8"))) .wobei filename XML-Datei, und b hat die gesamte xml-Datei Daten.Jetzt habe ich die Daten analysieren Zeile für Zeile, und extrahieren Sie spezifische Felder und drucken Sie es.
  • Ich bin auf der Suche für den schnellsten Weg zum Parsen eines xml-Dokuments und sollte schneller sein als die Verwendung von BufferedReader. Bitte helfen Sie in dieser Hinsicht
  • Nichts wird schneller sein als das Lesen der raw-stream, es sei denn, natürlich Ihre Analyse-code langsam ist, und man nicht posten, dass der code, so wie könnten wir das sagen? --- Nun, das Lesen und Parsen von XML selbst ist ..... fraglich. Funktioniert dein code mit all den Macken, richtig? Besser verwenden Sie einen integrierten parser, z.B. SAX oder StAX, aber nicht im DOM, da Sie die würde der Arbeitsspeicher auf großen XML-Dateien.
  • Es gibt keinen Punkt beim parsing eines XML-Dokuments, es sei denn, Sie tun etwas mit den Daten, und in vielen Anwendungen, die "etwas zu tun" ist der Engpass. Aber bevor Sie etwas tun können, mit den Daten, die Sie benötigen zum Lesen der Datei auf der Festplatte und analysiert. Analyse es ist eine größere Aufgabe, als es zu Lesen von der Festplatte, also warum sind Sie so konzentriert auf die Aufgabe, es zu Lesen?

InformationsquelleAutor Mohana | 2015-08-28
  1. 5

    Ich denke, dass Ihr code in andere Frage ist schneller als DOM-wie Parser, die würde auf jeden Fall mehr Speicher benötigen, und wahrscheinlich eine Berechnung, um zu rekonstruieren, das Dokument in vollem Umfang. Sie können profile erstellen möchten, der code aber.

    Ich denke auch, dass Ihr code werden geschönt, ein bisschen streaming-Verarbeitung, wenn Sie verwenden würden, javax XMLStreamReader, das fand ich sehr hilfreich für viele Aufgaben. Diese Klasse ist "... ist entworfen, um die niedrigste Stufe und effizienteste Methode zum Lesen von XML-Daten", nach Oracle.

    Hier der Auszug aus meinem code, wo ich analysieren StackOverflow-Benutzer XML-Datei verteilt als öffentliche Daten-dump:

    //the input file location
private static final String fileLocation = "/media/My Book/Stack/users.xml";

//the target elements
private static final String USERS_ELEMENT = "users";
private static final String ROW_ELEMENT = "row";

//get the XML file handler
//
FileInputStream fileInputStream = new FileInputStream(fileLocation);
XMLStreamReader xmlStreamReader = XMLInputFactory.newInstance().createXMLStreamReader(
    fileInputStream);

//reading the data
//
while (xmlStreamReader.hasNext()) {

  int eventCode = xmlStreamReader.next();

  //this triggers _users records_ logic
  //
  if ((XMLStreamConstants.START_ELEMENT == eventCode)
      && xmlStreamReader.getLocalName().equalsIgnoreCase(USERS_ELEMENT)) {

    //read and parse the user data rows
    //
    while (xmlStreamReader.hasNext()) {

      eventCode = xmlStreamReader.next();

      //this breaks _users record_ reading logic
      //
      if ((XMLStreamConstants.END_ELEMENT == eventCode)
          && xmlStreamReader.getLocalName().equalsIgnoreCase(USERS_ELEMENT)) {
        break;
      }
      else {

        if ((XMLStreamConstants.START_ELEMENT == eventCode)
            && xmlStreamReader.getLocalName().equalsIgnoreCase(ROW_ELEMENT)) {

          //extract the user data
          //
          User user = new User();
          int attributesCount = xmlStreamReader.getAttributeCount();
          for (int i = 0; i < attributesCount; i++) {
            user.setAttribute(xmlStreamReader.getAttributeLocalName(i),
                xmlStreamReader.getAttributeValue(i));
          }
          //all other user record-related logic
          //

        }
      }
    }
  }
}

    Dass die Benutzer-Datei-format ist Recht einfach und ähnlich wie Ihre Bank.xml Datei:

    <users>
  <row Id="1567200" Reputation="1" CreationDate="2012-07-31T23:57:57.770" DisplayName="XXX" EmailHash="XXX" LastAccessDate="2012-08-01T00:55:12.953" Views="0" UpVotes="0" DownVotes="0" />
  ...
</users>
    InformationsquelleAutor seninp
  2. 0

    Gibt es verschiedene parser-Optionen zur Verfügung.

    Erwägen Sie die Verwendung einer streaming - parser, denn der DOM kann sehr groß werden. I. e. entweder eine push-oder ein pull-parser.

    Es ist nicht so, wenn die XML-Parser sind unbedingt langsam. Betrachten Sie Ihren web-browser. Es tut XML-parsing die ganze Zeit und versucht wirklich schwer zu verkraften syntax-Fehler. In der Regel, die Erinnerung ist das größere Problem.

    InformationsquelleAutor Anony-Mousse
Schreibe einen Kommentar