Festlegen der Protokollierungsstufe in Hadoop zu WARNEN

Habe ich versucht, zahlreiche Möglichkeiten der Einstellung für das logging-level, die in Hadoop zu WARNEN, haben aber scheiterte jedes mal.
Erstens, ich habe versucht, konfigurieren Sie die log4j.properties-Datei, indem Sie einfach ersetzen Sie "INFO" mit "WARN" - überall. Kein Ergebnis.

Weiter habe ich versucht zu geben, Hadoop UNIX-Befehle (in übereinstimmung mit http://hadoop.apache.org/common/docs/current/commands_manual.html#daemonlog):

$ hadoop daemonlog -setlevel

Ist es möglich, dass man tatsächlich hat, den QUELLTEXT zu ändern, damit es funktioniert? Die Protokollierung ist oft ganz einfach zu kontrollieren, in den meisten Fällen eine leichte Anpassung der logging-Eigenschaften in der Regel funktioniert es...

Von "überall" was meinst du? Sind Sie sagen, dass mit log4j.logger.org.apache.hadoop=WARN nicht tun, was Sie wollen? Ich würde auch vorsichtig sein, die Erhöhung der Ebene zu WARN es sei denn, Sie sind sich verdammt sicher, dass alles im wesentlichen funktioniert immer.
Zum Beispiel, meine log4j.Eigenschaften-Datei enthält jetzt die folgenden Zeilen ein: log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=WARNEN hadoop.Metriken.log.level=WARN log4j.logger.org.apache.hadoop.mapred.JobTracker=WARN log4j.logger.org.apache.hadoop.mapred.TaskTracker=WARN log4j.logger.org.apache.hadoop.fs.FSNamesystem=WARN log4j.logger.org.apache.hadoop.metrics2=${hadoop.Metriken.log.Ebene}

InformationsquelleAutor chebychev2000 | 2012-01-23

  1. 5

    Ich lieber

    HADOOP_ROOT_LOGGER=WARNEN,DRFA

    in hadoop-env.sh

    oder Sie können mit hadoop.root.logger in log4j.Eigenschaften

    DRFA wird es erlauben, die logs in die Datei Appen statt Konsole -> System.err/out.

    für die Verwendung mit dem hadoop-cli Sie können das log-level für die Sitzung durch: {code} export HADOOP_ROOT_LOGGER=DEBUG,Konsole hadoop fs -ls / {code}

    InformationsquelleAutor Luis R.

  2. 2

    Den Standard-log-level kann eingestellt werden durch ändern der hadoop.root.logger Eigenschaft in Ihrem conf/log4j.properties Konfigurationsdatei. Beachten Sie, dass Sie ll haben zu tun, dass für jeden Knoten im cluster.

    Beispiel-Zeile in conf/log4j.properties:

    hadoop.root.logger=WARN,console
    und die Knoten sollten auch neu gestartet werden, nachdem die Konfiguration ändern...

    InformationsquelleAutor Joris Bontje

  3. 2

    Apache hadoop Dokumentation ist ein wenig irreführend. Wenn Sie debugging-Probleme können Sie ändern Sie den "log level" on-the-fly mithilfe der unten aufgeführten Schritte. Erwähnen Sie den Paket-Namen, anstatt den Namen der Datei.

    Beispiel: Für Namenode: hadoop daemonlog -setlevel lxv-centos-01:50070 org.apache.hadoop.hdfs.server.namenode DEBUG

    Für Ressourcen-Manager-Garn daemonlog -setlevel lxv-centos-01:8088 org.apache.hadoop.Garn.server.Ressourcen-Manager-DEBUG -

    Den oben genannten Einstellung geht Weg, wenn Sie neu starten die Prozesse. Dies ist eine temporäre Lösung für debugging-Probleme.

    InformationsquelleAutor armourbear

  4. 2

    Ändern der log-Stufen dynamisch, so dass Neustart des daemon ist nicht erforderlich, die Verwendung von hadoop daemonlog-Dienstprogramm.

        hadoop daemonlog -setlevel hostname:port className logLevel

    Beispielsweise zum ändern der log-level von datanode-Protokolle zu WARNEN. 

        hadoop daemonlog -setlevel hostname:50075 org.apache.hadoop.hdfs.server.datanode.DataNode WARN

    InformationsquelleAutor AmalKris

Schreibe einen Kommentar