Wie zu unterdrücken Spark Anmeldung im unit-tests?

So, Dank leicht googleable blogs, die ich ausprobiert:

import org.specs2.mutable.Specification

class SparkEngineSpecs extends Specification {
  sequential

  def setLogLevels(level: Level, loggers: Seq[String]): Map[String, Level] = loggers.map(loggerName => {
    val logger = Logger.getLogger(loggerName)
    val prevLevel = logger.getLevel
    logger.setLevel(level)
    loggerName -> prevLevel
  }).toMap

  setLogLevels(Level.WARN, Seq("spark", "org.eclipse.jetty", "akka"))

  val sc = new SparkContext(new SparkConf().setMaster("local").setAppName("Test Spark Engine"))

  //... my unit tests

Aber leider klappt es nicht, ich bekomme immer noch eine Menge von spark output, z.B.:

14/12/02 12:01:56 INFO MemoryStore: Block broadcast_4 of size 4184 dropped from memory (free 583461216)
14/12/02 12:01:56 INFO ContextCleaner: Cleaned broadcast 4
14/12/02 12:01:56 INFO ContextCleaner: Cleaned shuffle 4
14/12/02 12:01:56 INFO ShuffleBlockManager: Deleted all files for shuffle 4
InformationsquelleAutor samthebest | 2014-12-02
  1. 39

    Fügen Sie den folgenden code in die log4j.properties Datei im src/test/resources dir, erstellen Sie die Datei/dir-falls nicht vorhanden

    # Change this to set Spark log level
log4j.logger.org.apache.spark=WARN

# Silence akka remoting
log4j.logger.Remoting=WARN

# Ignore messages below warning level from Jetty, because it's a bit verbose
log4j.logger.org.eclipse.jetty=WARN

    Wenn ich meine unit-tests (ich bin mit JUnit und Maven), ich erhalten nur WARNEN-level-Protokolle, in anderen Worten nicht mehr überladen mit INFO-level-Protokolle (obwohl Sie nützlich sein kann, manchmal für debugging).

    Ich hoffe, das hilft.

    • Arbeitet für die SBT mit specs2
    • danke @Emre. es klappte für java in intelliJ idea.
    • Mit neuen Versionen verwenden log4j2.Eigenschaften (speziell 2.4.0)
    InformationsquelleAutor Emre Sevinç
  2. 8

    In meinem Fall eine meiner eigenen Bibliotheken gebracht logback-classic in den mix. Dies materialisiert in eine Warnung zu Beginn:

    SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/alex/.ivy2/cache/ch.qos.logback/logback-classic/jars/logback-classic-1.1.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/alex/.ivy2/cache/org.slf4j/slf4j-log4j12/jars/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]

    Ich dies Problem gelöst, indem Sie ohne es aus der Abhängigkeit:

    "com.mystuff" % "mylib" % "1.0.0" exclude("ch.qos.logback", "logback-classic")

    Nun ich könnte hinzufügen, ein log4j.properties Datei in test/resources die jetzt benutzt wird, von Spark.

    InformationsquelleAutor LiMuBei
  3. 6

    Nach einiger Zeit des Kampfes mit Funken-log-Ausgabe als gut, fand ich einen blog-post mit einer Lösung, die ich besonders mochte.

    Wenn Sie slf4j, kann man einfach den Austausch der zugrunde liegenden Protokoll-Implementierung. Eine gute canidate für die test-Umfang ist slf4j-nop, die Beine nimmt, die log-Ausgabe und stellt es dahin, wo die Sonne nie scheint.

    Bei der Verwendung von Maven können Sie fügen Sie den folgenden an die Spitze der Liste Abhängigkeiten:

    <dependency>
  <groupId>org.slf4j</groupId>
  <artifactId>slf4j-api</artifactId>
  <version>1.7.12</version>
  <scope>provided</scope>
</dependency>

<dependency>
  <groupId>org.slf4j</groupId>
  <artifactId>slf4j-nop</artifactId>
  <version>1.7.12</version>
  <scope>test</scope>
</dependency>

    Beachten Sie, dass es wichtig sein könnte, haben es am Anfang der Liste Abhängigkeiten, um sicherzustellen, dass die angegebenen Implementierungen verwendet werden, anstatt mit denen, die kommen könnte mit anderen Paketen (und die, die Sie betrachten können, um auszuschließen, um Ihre class-path, der sauber und vermeiden Sie unerwartete Konflikte).

    • das ist die einzige Sache, die für mich gearbeitet
    InformationsquelleAutor Philosophus42
  4. 3

    Ein wenig spät zur party, aber ich fand das in der spark-Beispiel-code :

    def setStreamingLogLevels() {
    val log4jInitialized = Logger.getRootLogger.getAllAppenders.hasMoreElements
    if (!log4jInitialized) {
        //We first log something to initialize Spark's default logging, then we override the
        //logging level.
        logInfo("Setting log level to [WARN] for streaming example." +
        " To override add a custom log4j.properties to the classpath.")
        Logger.getRootLogger.setLevel(Level.WARN)
    }
}

    Fand ich auch, dass Sie mit Ihrem code, wenn Sie anrufen setLogLevels wie unten ausgeschnitten eine Menge von out-put für mich.

    setLogLevels(Level.WARN, Seq("spark", "org", "akka"))
    InformationsquelleAutor lockwobr
  5. 2

    Können Sie in einer eigenen Logback config für tests. Je nach Umgebung ist es möglich, dass Sie brauchen nur zu erstellen conf/logback-test.xml etwas versteckt, dass die Protokolle. Ich denke, das sollte tun:

    <configuration>
  <root level="debug">
  </root>
</configuration>

    Als ich verstehen es, diese erfasst alle Protokolle (Ebene debug und höher) und weist keinen logger zu Ihnen, so werden Sie verworfen. Eine bessere option ist die Konfiguration eines file-logger für Sie, so können Sie immer noch Zugriff auf die Protokolle, wenn Sie möchten.

    Sehen http://logback.qos.ch/manual/configuration.html für die ausführliche Dokumentation.

    • Danke für die Antwort, also ich habe versucht, das hinzufügen einer Datei im "src/test/resources/conf" aufgerufen "logback-test.xml" mit dem Inhalt, den Sie bieten (versucht mit der Stufe "Warnung" auch), aber es hatte keine Wirkung 🙁
    • Ich bin wirklich nicht sicher über all das, sorry. Aber unser Projekt leitet die Protokolle an eine Datei während des tests, so müssen wir nur noch herausfinden, wie es eingerichtet ist :). logback-test.xml ist in <project root>/conf hier. Die Datei ist nicht irgendwo erwähnt unsere Quelle, so dass es möglicherweise ein Magischer Standard-Speicherort. Ich sehe nichts anderes... Wenn ich die Datei löschen, fange ich an log-Ausgabe (von warn up) während des tests. Wir verwenden Scalatest.
    • Ich habe versucht, es in proj-root/conf/ kein Glück. Ich bin ein wenig verwirrt, wie Sie es je bekommen würde, hob legen, da das mit dem Namen noch Inhalt Referenz Funken. In der Zwischenzeit bin ich über ein wirklich hacky-Skript, das eine grep -v mit regex irgendwie löscht den spark-Protokolle.
    • Fügen Sie diese in test/resources/logback.xml.
    InformationsquelleAutor Daniel Darabos
  6. 0

    Die einfachste Lösung für mich ist:

    cp $SPARK_HOME/conf/log4j.properties.template $YOUR_PROJECT/src/test/resources/log4j.properties
sed -i -e 's/log4j.rootCategory=INFO/log4j.rootCategory=WARN/g' $YOUR_PROJECT/src/test/resources/log4j.properties
    InformationsquelleAutor oskarryn
Schreibe einen Kommentar