Wie können die standardmäßigen spark-logging-level?

Starte ich pyspark Anwendungen von pycharm auf meinem eigenen Rechner, auf einem 8-Knoten-cluster. Dieser cluster hat auch Einstellungen kodiert spark-defaults.conf und spark-env.sh

Dies ist, wie ich erhalten meine Funke Kontext-variable.

spark = SparkSession \
        .builder \
        .master("spark://stcpgrnlp06p.options-it.com:7087") \
        .appName(__SPARK_APP_NAME__) \
        .config("spark.executor.memory", "50g") \
        .config("spark.eventlog.enabled", "true") \
        .config("spark.eventlog.dir", r"/net/share/grid/bin/spark/UAT/SparkLogs/") \
        .config("spark.cores.max", 128) \
        .config("spark.sql.crossJoin.enabled", "True") \
        .config("spark.executor.extraLibraryPath","/net/share/grid/bin/spark/UAT/bin/vertica-jdbc-8.0.0-0.jar") \
        .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") \
        .config("spark.logConf", "true") \
        .getOrCreate()

    sc = spark.sparkContext
    sc.setLogLevel("INFO")

Möchte ich sehen, der effektive config verwendet wird in meinem Logbuch. Diese Linie

        .config("spark.logConf", "true") \

sollte dazu führen, dass die Funke-api, um log seine effektive config, um das Protokoll als INFO, aber die Standard-Protokoll-level " zu WARNEN, und als solche sehe ich keine Nachrichten.

Einstellung dieser Linie

sc.setLogLevel("INFO")

zeigt die INFO-Nachrichten, die nach vorn, aber seine zu spät, bis dann.

Wie kann ich die Standard-logging-level, die Funke beginnt mit?

InformationsquelleAutor ThatDataGuy | 2016-11-15