Wie kann ich die split eine große xml-Datei?

Wir exportieren "Datensätze", um eine xml-Datei, einer von unseren Kunden hat sich beschwert, dass die Datei zu groß für Ihre anderen system zu verarbeiten. Deshalb brauche ich zum aufteilen der Datei, während die Wiederholung der "header-section" in der jede der neuen Dateien.

So, ich bin auf der Suche nach etwas, lassen Sie mich definieren einige XPath-Angaben zum Abschnitt(s), die immer ausgegeben werden, und anderen xpath für die "Zeilen" mit einem parameter sagt, wie viele Zeilen zu setzen, in der jede Datei und wie benennen Sie die Dateien.

Bevor ich mit dem schreiben beginnen einige benutzerdefinierte .net-code, dies zu tun; gibt es eine standard-command-line-tool, das unter windows funktionieren, tut es?

(Weil ich weiß, wie die Programmierung in C#, ich bin mehr einbezogen werden, code zu schreiben, dann versuchen, Sie zu verwirren mit komplexen xsl etc, aber ein "selbst -" Lösung besser wäre dann benutzerdefinierten code.)

Ich weiß nicht, ein Kommandozeilen-tool, konzipiert für dieses. Sie könnten in der Lage sein zu verwenden von XSLT. Allerdings, wenn ich hatte etwas ähnliches schrieb ich eine benutzerdefinierte Python-Programm, wie Python war meine angenehmste Sprache (und ich würde nicht verwendete XSLT in Jahren).

InformationsquelleAutor Ian Ringrose | 2010-12-01

windows xml

-2

"gibt es eine standard-command-line-tool, das unter windows funktionieren, tut es das?"

Ja. http://xponentsoftware.com/xmlSplit.aspx

InformationsquelleAutor bill seacham
3

Gibt es keine Allzweck-Lösung, denn es gibt so viele verschiedene Möglichkeiten, dass Ihre Quell-XML aufgebaut sein.

Es ist relativ einfach zu bauen, eine XSLT-Transformation, die Ausgabe wird eine Scheibe von einem XML-Dokument. Zum Beispiel, angesichts dieser XML:
```
<header>
  <data rec="1"/>
  <data rec="2"/>
  <data rec="3"/>
  <data rec="4"/>
  <data rec="5"/>
  <data rec="6"/>
</header>
```
können Sie die Ausgabe einer Kopie der Datei enthält nur data Elemente innerhalb eines bestimmten Bereichs mit dieser XSLT:
```
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
  <xsl:output method="xml" indent="yes"/>
  <xsl:param name="startPosition"/>
  <xsl:param name="endPosition"/>

  <xsl:template match="@* | node()">
      <xsl:copy>
          <xsl:apply-templates select="@* | node()"/>
      </xsl:copy> 
  </xsl:template>

  <xsl:template match="header">
    <xsl:copy>
      <xsl:apply-templates select="data"/>
    </xsl:copy>
  </xsl:template>

  <xsl:template match="data">
    <xsl:if test="position() &gt;= $startPosition and position() &lt;= $endPosition">
      <xsl:copy>
        <xsl:apply-templates select="@* | node()"/>
      </xsl:copy>
    </xsl:if>
  </xsl:template>

</xsl:stylesheet>
```
(Hinweis, durch die Art und Weise, denn dies ist auf der Grundlage der Einheitsmatrix, es funktioniert sogar, wenn header ist nicht das top-level element.)

Müssen Sie noch zählen, die data Elemente in der XML-Quelle, und führen Sie die Transformation wiederholt mit den Werten von $startPosition und $endPosition sind angemessen für die situation.

Eine alberne Frage, was command line tool würde ich verwendet, um dieses XSLT?
Sie müssten Ihr eigenes Programm schreiben, um es auszuführen - unter anderem hat das Programm zum zählen der Elemente, die Sie sind, paging, so dass er weiß, Wann zu stoppen.

InformationsquelleAutor Robert Rossney
2

Ersten download-xml-editor foxe von diesem link http://www.firstobject.com/foxe242.zip

Das video http://www.firstobject.com/xml-splitter-script-video.htm
Video erklärt, wie split-code funktioniert.

Es ist ein Skript-code auf dieser Seite (beginnt mit split() ) kopieren Sie den code und auf die xml-editor-Programm zu machen, ein "Neues Programm" unter dem "Datei". Fügen Sie den code, und speichern Sie es. Der code ist:
```
split()
{
  CMarkup xmlInput, xmlOutput;
  xmlInput.Open( "**50MB.xml**", MDF_READFILE );
  int nObjectCount = 0, nFileCount = 0;
  while ( xmlInput.FindElem("//**ACT**") )
  {
    if ( nObjectCount == 0 )
    {
      ++nFileCount;
      xmlOutput.Open( "**piece**" + nFileCount + ".xml", MDF_WRITEFILE );
      xmlOutput.AddElem( "**root**" );
      xmlOutput.IntoElem();
    }
    xmlOutput.AddSubDoc( xmlInput.GetSubDoc() );
    ++nObjectCount;
    if ( nObjectCount == **5** )
    {
      xmlOutput.Close();
      nObjectCount = 0;
    }
  }
  if ( nObjectCount )
    xmlOutput.Close();
  xmlInput.Close();
  return nFileCount;
}
```
Ändern Sie die Fett markierten (oder ** ** markierten) Felder für Ihre Bedürfnisse. (dies drückt sich auch auf der video-Seite)

Auf dem xml-editor-Fenster mit der rechten Maustaste und klicken Sie auf AUSFÜHREN (oder einfach F9). Es gibt output-bar am Fenster, wo es zeigt die Anzahl der Dateien, die generiert werden.

Hinweis:
name der Eingabedatei werden kann "C:\\Users\\AUser\\Desktop\\a_xml_file.xml" (doppelte Schrägstriche)
und die Ausgabe-Datei "C:\\Users\\AUser\\Desktop\\anoutputfolder\\piece" + nFileCount + ".xml"

InformationsquelleAutor ewroman
2

Wie bereits erwähnt die xml_split aus dem Perl - Paket XML::Twig macht einen guten job.

Nutzung
```
xml_split < bigFile.xml

#or if compressed e.g.
bzcat bigFile.xml.bz2 | xml_split
```
Ohne Argumente xml_split erstellt eine Datei pro top-level-Knoten-Kind.

Gibt es Parameter geben die Anzahl der Elemente, die Sie pro Datei (-g) oder Ungefähre Größe (-s <Kb|Mb|Gb>).

Installation

Windows -

Schauen Sie hier

Linux

sudo apt-get install xml-twig-tools

InformationsquelleAutor loomi
1

Es ist nichts gebaut, kann diese situation leicht.

Dein Ansatz klingt vernünftig, aber ich würde wahrscheinlich beginnen mit einem "Skelett" - Dokument mit Elementen, die wiederholt werden muss, und erzeugt mehrere Dokumente mit der "Aufzeichnungen".

Update:

Nach ein bisschen Graben, fand ich diese Artikel beschreibt eine Methode zum teilen von Dateien mit Hilfe von XSLT.

InformationsquelleAutor Oded
1

xml_split - split von großen XML-Dokumenten in kleinere Einheiten,

http://www.perlmonks.org/index.pl?node_id=429707

http://metacpan.org/pod/XML::Twig

InformationsquelleAutor Gfy

Verwendung von Ultraedit basiert auf https://www.ultraedit.com/forums/viewtopic.php?f=52&t=6704

Alle, die ich aufgenommen wurde einige XML-header-und footer-bits
Die erste und die Letzte Datei müssen manuell behoben (oder entfernen Sie das root-element von Ihrer Quelle).

    //from https://www.ultraedit.com/forums/viewtopic.php?f=52&t=6704 

var FoundsPerFile = 200;      //Global setting for number of found split strings per file.
var SplitString = "</letter>";  //String where to split. The split occurs after next character.
var xmlHead = '<?xml version="1.0" encoding="UTF-8" standalone="yes"?>';
var xmlRootStart = '<letters xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" letterCode="OA01" >';
var xmlRootEnd = '</letters>';

/* Find the tab index of the active document */
//Copied from http://www.ultraedit.com/forums/viewtopic.php?t=4571
function getActiveDocumentIndex () {
   var tabindex = -1; /* start value */

   for (var i = 0; i < UltraEdit.document.length; i++)
   {
      if (UltraEdit.activeDocument.path==UltraEdit.document[i].path) {
         tabindex = i;
         break;
      }
   }
   return tabindex;
}

if (UltraEdit.document.length) { //Is any file open?
   //Set working environment required for this job.
   UltraEdit.insertMode();
   UltraEdit.columnModeOff();
   UltraEdit.activeDocument.hexOff();
   UltraEdit.ueReOn();

   //Move cursor to top of active file and run the initial search.
   UltraEdit.activeDocument.top();
   UltraEdit.activeDocument.findReplace.searchDown=true;
   UltraEdit.activeDocument.findReplace.matchCase=true;
   UltraEdit.activeDocument.findReplace.matchWord=false;
   UltraEdit.activeDocument.findReplace.regExp=false;
   //If the string to split is not found in this file, do nothing.
   if (UltraEdit.activeDocument.findReplace.find(SplitString)) {
      //This file is probably the correct file for this script.
      var FileNumber = 1;    //Counts the number of saved files.
      var StringsFound = 1;  //Counts the number of found split strings.
      var NewFileIndex = UltraEdit.document.length;
      /* Get the path of the current file to save the new
         files in the same directory as the current file. */
      var SavePath = "";
      var LastBackSlash = UltraEdit.activeDocument.path.lastIndexOf("\\");
      if (LastBackSlash >= 0) {
         LastBackSlash++;
         SavePath = UltraEdit.activeDocument.path.substring(0,LastBackSlash);
      }
      /* Get active file index in case of more than 1 file is open and the
         current file does not get back the focus after closing the new files. */
      var FileToSplit = getActiveDocumentIndex();
      //Always use clipboard 9 for this script and not the Windows clipboard.
      UltraEdit.selectClipboard(9);
      //Split the file after every x found split strings until source file is empty.
      while (1) {
         while (StringsFound < FoundsPerFile) {
            if (UltraEdit.document[FileToSplit].findReplace.find(SplitString)) StringsFound++;
            else {
               UltraEdit.document[FileToSplit].bottom();
               break;
            }
         }
         //End the selection of the find command.
         UltraEdit.document[FileToSplit].endSelect();
         //Move the cursor right to include the next character and unselect the found string.
         UltraEdit.document[FileToSplit].key("RIGHT ARROW");
         //Select from this cursor position everything to top of the file.
         UltraEdit.document[FileToSplit].selectToTop();
         //Is the file not already empty?
         if (UltraEdit.document[FileToSplit].isSel()) {
            //Cut the selection and paste it into a new file.
            UltraEdit.document[FileToSplit].cut();
            UltraEdit.newFile();
            UltraEdit.document[NewFileIndex].setActive();
            UltraEdit.activeDocument.paste();


            /* Add line termination on the last line and remove automatically added indent
               spaces/tabs if auto-indent is enabled if the last line is not already terminated. */
            if (UltraEdit.activeDocument.isColNumGt(1)) {
               UltraEdit.activeDocument.insertLine();
               if (UltraEdit.activeDocument.isColNumGt(1)) {
                  UltraEdit.activeDocument.deleteToStartOfLine();
               }
            }

            //add headers and footers 

            UltraEdit.activeDocument.top();
            UltraEdit.activeDocument.write(xmlHead);
                        UltraEdit.activeDocument.write(xmlRootStart);
            UltraEdit.activeDocument.bottom();
            UltraEdit.activeDocument.write(xmlRootEnd);
            //Build the file name for this new file.
            var SaveFileName = SavePath + "LETTER";
            if (FileNumber < 10) SaveFileName += "0";
            SaveFileName += String(FileNumber) + ".raw.xml";
            //Save the new file and close it.
            UltraEdit.saveAs(SaveFileName);
            UltraEdit.closeFile(SaveFileName,2);
            FileNumber++;
            StringsFound = 0;
            /* Delete the line termination in the source file
               if last found split string was at end of a line. */
            UltraEdit.document[FileToSplit].endSelect();
            UltraEdit.document[FileToSplit].key("END");
            if (UltraEdit.document[FileToSplit].isColNumGt(1)) {
               UltraEdit.document[FileToSplit].top();
            } else {
               UltraEdit.document[FileToSplit].deleteLine();
            }
         } else break;
            UltraEdit.outputWindow.write("Progress " + SaveFileName);
      }  //Loop executed until source file is empty!

      //Close source file without saving and re-open it.
      var NameOfFileToSplit = UltraEdit.document[FileToSplit].path;
      UltraEdit.closeFile(NameOfFileToSplit,2);
      /* The following code line could be commented if the source
         file is not needed anymore for further actions. */
      UltraEdit.open(NameOfFileToSplit);

      //Free memory and switch back to Windows clipboard.
      UltraEdit.clearClipboard();
      UltraEdit.selectClipboard(0);
   }
}

Mofi ist wirklich ein Gott.

InformationsquelleAutor Steve Black

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.

Nutzung

Installation

Windows -

Linux