Filtern von input-Dateien mit globStatus in MapReduce

Den globStatus Methode nimmt 2 Kostenlose Argumente, mit denen Sie zum filtern Ihrer Dateien. Die erste ist die glob-Muster, aber manchmal glob-Muster sind nicht stark genug, um zu filtern, dass bestimmte Dateien, in dem Fall kann man definieren PathFilter.

Bezüglich der glob-Muster, die unterstützt werden:

Glob   | Matches
-------------------------------------------------------------------------------------------------------------------
*      | Matches zero or more characters
?      | Matches a single character
[ab]   | Matches a single character in the set {a, b}
[^ab]  | Matches a single character not in the set {a, b}
[a-b]  | Matches a single character in the range [a, b] where a is lexicographically less than or equal to b
[^a-b] | Matches a single character not in the range [a, b] where a is lexicographically less than or equal to b
{a,b}  | Matches either expression a or b
\c     | Matches character c when it is a metacharacter

PathFilter ist einfach eine Schnittstelle wie diese:

public interface PathFilter {
    boolean accept(Path path);
}

So können Sie diese Schnittstelle implementieren und umsetzen der accept Methode, wo Sie Ihre Logik, um Dateien filtern.

Ein Beispiel, genommen von Tom White ausgezeichneten Buch, die Ihnen erlaubt zu definieren, eine PathFilter zum filtern von Dateien mit einem bestimmten regulären Ausdruck:

public class RegexExcludePathFilter implements PathFilter {
    private final String regex;

    public RegexExcludePathFilter(String regex) {
        this.regex = regex;
    }

    public boolean accept(Path path) {
        return !path.toString().matches(regex);
    }
}

Können Sie direkt filtern Sie Ihre Eingabe mit einem PathFilter Umsetzung durch den Aufruf FileInputFormat.setInputPathFilter(JobConf, RegexExcludePathFilter.class) beim initialisieren Sie Ihren job.

BEARBEITEN: Da müssen Sie die Klasse in setInputPathFilter können Sie nicht direkt Argumente, aber Sie sollten in der Lage sein, etwas ähnliches zu tun, indem er mit der Configuration. Wenn Sie Ihre RegexExcludePathFilter erstrecken sich auch aus Configured, Sie können Holen Sie sich zurück Configuration Objekt, das Sie müssen initialisiert werden, bevor mit der gewünschten Werte, so können Sie diese Werte in Ihrem filter und verarbeiten Sie in den accept.

Zum Beispiel, wenn Sie initialisiert werden, wie diese:

conf.set("date", "2013-01-15");

Anschließend definieren Sie Ihren filter wie dieser:

public class RegexIncludePathFilter extends Configured implements PathFilter {
    private String date;
    private FileSystem fs;

    public boolean accept(Path path) {
        try {
            if (fs.isDirectory(path)) {
                return true;
            }
        } catch (IOException e) {}
        return path.toString().endsWith(date);
    }

    public void setConf(Configuration conf) {
        if (null != conf) {
            this.date = conf.get("date");
            try {
                this.fs = FileSystem.get(conf);
            } catch (IOException e) {}
        }
    }
}

EDIT 2: Es gab ein paar Probleme mit dem original-code finden Sie in der aktualisierten Klasse. Sie müssen auch entfernen Sie den Konstruktor, da es nicht mehr benutzt wird, und überprüfen Sie, ob das Verzeichnis, in dem Fall sollten Sie true zurück, so wird der Inhalt des Verzeichnisses gefiltert werden können, zu.