Wie funktioniert Hadoop-Prozess zeichnet split across block boundaries?

Interessante Frage, ich verbrachte einige Zeit auf der Suche nach dem code für die details und hier sind meine Gedanken. Die splits sind vom Kunden bearbeitet von InputFormat.getSplits, so dass Sie einen Blick auf FileInputFormat gibt folgende info:

• Für jede input-Datei, der Datei-Größe, block-Größe und berechnen Sie die split-Größe, wie max(minSize, min(maxSize, blockSize)) wo maxSize entspricht mapred.max.split.size und minSize ist mapred.min.split.size.

• Teilen Sie die Datei in verschiedene FileSplits, basierend auf dem split-Größe, die oben berechnet. Was hier wichtig ist, dass jeder FileSplit wird initialisiert mit einer start parameter entsprechend der offset in der input-Datei. Es gibt noch keine Behandlung, die Linien an diesem Punkt. Der relevante Teil des Codes sieht wie folgt aus:

  while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {
    int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
    splits.add(new FileSplit(path, length-bytesRemaining, splitSize, 
                             blkLocations[blkIndex].getHosts()));
    bytesRemaining -= splitSize;
  }
  

Danach, wenn man sich die LineRecordReader die definiert ist durch die TextInputFormat ist, wo die Linien behandelt werden:

• Wenn Sie initialisieren Sie Ihre LineRecordReader es zu instanziieren versucht eine LineReader was ist eine Abstraktion, die in der Lage sein zu Lesen Zeilen über FSDataInputStream. Es gibt 2 Fälle:
• Wenn es ein CompressionCodec definiert, dann wird dieser codec ist verantwortlich für den Umgang mit Grenzen. Wahrscheinlich nicht relevant für Ihre Frage.

• Wenn es keine codec allerdings, das ist, wo die Dinge sind interessant: wenn die start Ihrer InputSplit ist anders als 0, dann werden Sie backtrack 1 Zeichen und dann das überspringen der ersten Zeile, der Sie begegnen, gekennzeichnet durch \n oder \r\n (Windows) ! Der backtrack ist wichtig, weil im Falle Ihrer Linie Grenzen sind die gleichen wie split-Grenzen, dies gewährleistet, dass Sie nicht überspringen Sie die gültigen Zeile. Hier ist der relevante code:

  if (codec != null) {
     in = new LineReader(codec.createInputStream(fileIn), job);
     end = Long.MAX_VALUE;
  } else {
     if (start != 0) {
       skipFirstLine = true;
       --start;
       fileIn.seek(start);
     }
     in = new LineReader(fileIn, job);
  }
  if (skipFirstLine) {  //skip first line and re-establish "start".
    start += in.readLine(new Text(), 0,
                      (int)Math.min((long)Integer.MAX_VALUE, end - start));
  }
  this.pos = start;
  

So, da die Teilungen entsprechen den Clients, die Mapper müssen nicht nacheinander ablaufen, jeder mapper weiß schon, wenn er neds zu verwerfen, die erste Zeile ist oder nicht.

Also im Grunde, wenn Sie haben 2 Zeilen mit jeweils 100 MB in der gleichen Datei, und zur Vereinfachung nehmen wir an, der split size ist 64 MB. Dann, wenn die input-splits berechnet werden, haben wir das folgende Szenario:

• Split 1 enthält den Pfad und den Gastgebern, um diese zu blockieren. Initialisiert beim start 200-200=0Mb, Länge 64 MB.
• Split 2 initialisiert beim start 200-200+64=64Mb, Länge 64 MB.
• Split 3 initialisiert beim start 200-200+128=128 MB, Länge 64 MB.
• Split 4 initialisiert beim start 200-200+192=192Mb, Länge 8Mb.
• Ein Mapper verarbeitet die split 1, start ist 0, also nicht überspringen erste Zeile, und Lesen Sie die vollständige Linie, die geht über die 64Mb Grenze, so muss das remote Lesen.
• Mapper B Prozess-split 2, start ist != 0, so überspringen Sie die erste Zeile nach der 64Mb-1byte, das entspricht dem Ende von Linie 1 auf 100Mb die ist immer noch in split 2, wir haben 28 MB zum speichern der Zeile, in split 2, so dass remote-Lesen der restlichen 72Mb.
• Mapper C verarbeiten split 3, start ist != 0, so überspringen Sie die erste Zeile nach 128Mb-1byte, das entspricht dem Ende der Linie 2 bei 200 MB, das ist das Ende der Datei also tun wir nichts.
• Mapper D ist die gleiche wie mapper C außer es sucht nach einem newline nach 192Mb-1byte.

InformationsquelleAutor Charles Menguy

Sehe ich es wie folgt: InputFormat verantwortlich ist, zum aufteilen der Daten in logische spaltet unter Berücksichtigung der Art der Daten.
Nicht daran gehindert, es zu tun, obwohl es kann zu einem erheblichen Latenz zu den job - all die Logik und Lesen Sie die gewünschte split-Größe Grenzen passieren, in den jobtracker.

Einfachste Aufzeichnung bewusst-input-format TextInputFormat. Es funktioniert wie folgt (so weit wie ich verstanden habe aus dem code) - Eingabe-format erstellen, spaltet sich nach der Größe, unabhängig von den Linien, aber LineRecordReader immer :

a) Überspringen der ersten Zeile in der split (oder einen Teil davon), wenn es nicht der erste split

b) Lesen einer Zeile nach der Grenze der split am Ende (wenn die Daten verfügbar, so ist es nicht der Letzte split).

InformationsquelleAutor David Gruzman

Vom hadoop-source-code von LineRecordReader.java Konstruktor: ich finde einige Kommentare :

//If this is not the first split, we always throw away first record
//because we always (except the last split) read one extra line in
//next() method.
if (start != 0) {
  start += in.readLine(new Text(), 0, maxBytesToConsume(start));
}
this.pos = start;

von diesem ich glaube, hadoop Lesen wird eine zusätzliche Zeile für jede Teilung(am Ende der aktuellen split, Lesen die nächste Zeile in die nächste split), und wenn nicht die erste Trennung, die erste Zeile wegwerfen. so, dass keine Linie Datensatz verloren und unvollständig

InformationsquelleAutor Shenghai.Geng