Spark 1.6-Fehler beim suchen der winutils binary im hadoop binary-Pfad

Wenn Sie mit Spark auf Windows mit Hadoop, dann brauchen Sie, um sicherzustellen, dass Ihre windows-hadoop-installation ist ordnungsgemäß installiert. zum ausführen von spark, die Sie brauchen, um zu haben winutils.exe und winutils.dll in Ihrem hadoop-home-Verzeichnis in den Ordner bin.

Ich würde Sie bitten, zu versuchen, diese zuerst:

1), die Sie herunterladen können .dll-und .exe-fils aus dem bundle auf den link unten.

https://codeload.github.com/sardetushar/hadooponwindows/zip/master

2) Kopieren winutils.exe und winutils.dll von diesem Ordner, um Ihre $HADOOP_HOME/bin.

3) HADOOP_HOME entweder in Ihren spark-env.sh oder auf den Befehl, und fügen Sie HADOOP_HOME/bin zu PATH.

und dann versuchen zu laufen.

Wenn Sie müssen irgendeine Unterstützung für hadoop-installation helfen, es ist ein netter link, können Sie es versuchen.

http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/

Aber das kann warten. Sie können versuchen, die ersten paar Schritte.

können Sie versuchen, legen Sie die HADOOP_HOME die environment-variable:

C:\Users\GERAL\Desktop\hadoop-2.6.0

statt

C:\Users\GERAL\Desktop\hadoop-2.6.0\bin  

Der folgende Fehler wird durch fehlende winutils binary in den classpath beim ausführen Funke Anwendung. Winutils ist ein Teil von Hadoop-ökosystem und ist nicht enthalten in der Funke. Die eigentliche Funktionalität der Anwendung kann laufen einwandfrei, auch nachdem die exception geworfen wird. Aber es ist besser, es zu vermeiden unnötige Probleme. Um zu vermeiden, dass Fehler, download winutils.exe binary und fügen Sie die gleichen, um den classpath.

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;

public class SparkTestApp{

    public static void main(String[] args) {

            System.setProperty("hadoop.home.dir", "ANY_DIRECTORY");

    //Example
    //winutils.exe is copied to C:\winutil\bin\
    //System.setProperty("hadoop.home.dir", "C:\\winutil\\");
            String logFile = "C:\\sample_log.log";
            SparkConf conf = new SparkConf().setAppName("Simple Application").setMaster("local");
            JavaSparkContext sc = new JavaSparkContext(conf);
            JavaRDD logData = sc.textFile(logFile).cache();

            long numAs = logData.filter(new Function<String, Boolean>() {
                public Boolean call(String s) {
                        return s.contains("a");
                }
            }).count();

            System.out.println("Lines with a: " + numAs);

    }

}

Wenn winutils.exe kopiert C:\winutil\bin\

dann setProperty wie unten

System.setProperty("hadoop.home.dir", "C:\\winutil\\");