Hadoop HDFS kopieren mit wildcards?

Ich kopieren möchten, die einem bestimmten Muster-Dateien in hdfs zu einer anderen Stelle im selben hdfs-Clusters. Die dfs-shell scheint nicht in der Lage sein, dies zu behandeln:

hadoop dfs -cp /tables/weblog/server=jeckle/webapp.log.1* /tables/tinylog/server=jeckle/

Kein Fehler zurückgegeben: aber auch keine Dateien kopiert.

InformationsquelleAutor javadba | 2014-01-05
  1. 12

    Müssen Sie verwenden Sie doppelte Anführungszeichen mit Ihrem Pfad mit Platzhalter, wie diese:

    hdfs fs -cp "/path/to/foo*" /path/to/bar/
    • Neugierig - wie kann das funktionieren? Die shell erweitern Sie die "" vor die hds auch sieht. Meinst du *single nennen?
    • es ist egal, über beide zitieren. Das Zitat nur sagen-shell NICHT, erweitern Sie den Platzhalter und nicht als einzelne parameter übergeben, um hdfs-Befehl. Ich versuche beide zitieren, es funktioniert.
    • Ja, Sie sind richtig. Ich habe vergeben.
    • Ist dies beschrieben, irgendwo in der Dokumentation?
    • Dies ist eine shell-variable wissen. Denke, von "/foo/bar/*" als ein argument, oder shell versuchen zu erweitern Platzhalter(z.B.: '*', '?').
    • Recht. Ich sollte gründlich Lesen, Ihre vorherigen Kommentar. Wenn Sie Zeit hatten, konnten Sie diese Erklärung aus den Kommentaren zu beantworten.
    • In der Bash, doppelte Anführungszeichen beibehalten wird, Literalwert Zeichen außer $~/ und vielleicht ! (je nach Einstellungen). Einzelne Zitate bewahrt alles. Also, wenn mit * verursacht expansion Probleme (prolly je nachdem, was in Ihrem cwd), entweder einzelne oder doppelte Anführungszeichen funktionieren sollte. Mehr hier: [gnu.org/software/bash/manual/html_node/Double-Quotes.html]

    InformationsquelleAutor MoreFreeze
  2. 1

    Zunächst, HDFS kopieren mit wildcards wird unterstützt. Zweitens, die Verwendung von hadoop dfs veraltet ist, sollten Sie besser hadoop fs oder hdfs dfs statt. Wenn Sie sicher sind, dass die operation war nicht erfolgreich (obwohl es scheint erfolgreich), Sie könnte prüfen, die log-Dateien des namenode, um zu sehen, was falsch ist.

    • Wie bereits in den OP, keine Dateien kopiert werden, die mit dem angegebenen Platzhalter-Muster. Wenn Sie gehen, um Zustand "wildcards werden unterstützt" bitte zeigen.
    • weil ich einfach versucht, den gleichen Befehl wie deine auf meinem Cluster und es funktioniert für beide 2.1 und 0.23.9. Im ernst, überprüfen Sie bitte Ihre namenode-Protokolle
    InformationsquelleAutor zhutoulala
  3. 0

    Interessant. Dies ist es, was ich in meiner lokalen VM läuft Hadoop-0.18.0. Welche version verwenden Sie? Ich kann versuchen auf 1.2.1 auch

    hadoop-user@hadoop-desk:~$ hadoop fs -ls /user/hadoop-user/testcopy
hadoop-user@hadoop-desk:~$ hadoop dfs -cp /user/hadoop-user/input/*.txt /user/hadoop-user/testcopy/
hadoop-user@hadoop-desk:~$ hadoop fs -ls /user/hadoop-user/testcopy
Found 2 items
-rw-r--r--   1 hadoop-user supergroup         79 2014-01-06 04:35 /user/hadoop-user/testcopy/HelloWorld.txt
-rw-r--r--   1 hadoop-user supergroup        140 2014-01-06 04:35 /user/hadoop-user/testcopy/SampleData.txt
    • Sie läuft sehr alte version von hadoop.. aber auch so in diesem Fall würde es wahrscheinlich nicht egal. Ich bin auf 1.2.1
    • Versucht 1.2.1 und es funktioniert auch. Allerdings fand ich diese link überprüfen Sie Bitte.
    InformationsquelleAutor Jerry Ragland
  4. 0

    Diese beiden für mich gearbeitet:

    ~]$ hadoop fs -cp -f /user/cloudera/Dec_17_2017/cric* /user/cloudera/Dec_17_2017/Dec_18 
~]$ hadoop fs -cp -f "/user/cloudera/Dec_17_2017/cric*" /user/cloudera/Dec_17_2017/Dec_18

    Ich denke die bessere Methode ist, die es nicht geben double/single("/') Anführungszeichen.

    InformationsquelleAutor Santosh Singh
Schreibe einen Kommentar