Funke-shell Fehler : Nein Dateisystem für die Regelung: wurde

Wir haben HDInsight Clusters in Azure ausgeführt wird, aber es nicht erlaubt, sich zu drehen edge/gateway-Knoten zum Zeitpunkt der Erstellung des Clusters. Also ich wurde die Schaffung dieser edge - /gateway-Knoten durch die Installation

echo 'deb http://private-repo-1.hortonworks.com/HDP/ubuntu14/2.x/updates/2.4.2.0 HDP main' >> /etc/apt/sources.list.d/HDP.list
echo 'deb http://private-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/ubuntu14 HDP-UTILS main'  >> /etc/apt/sources.list.d/HDP.list
echo 'deb [arch=amd64] https://apt-mo.trafficmanager.net/repos/azurecore/trusty main' >> /etc/apt/sources.list.d/azure-public-trusty.list
gpg --keyserver pgp.mit.edu --recv-keys B9733A7A07513CAD
gpg -a --export 07513CAD | apt-key add -
gpg --keyserver pgp.mit.edu --recv-keys B02C46DF417A0893
gpg -a --export 417A0893 | apt-key add -
apt-get -y install openjdk-7-jdk
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
apt-get -y install hadoop hadoop-hdfs hadoop-yarn hadoop-mapreduce hadoop-client openssl libhdfs0 liblzo2-2 liblzo2-dev hadoop-lzo phoenix hive hive-hcatalog tez mysql-connector-java* oozie oozie-client sqoop flume flume-agent spark spark-python spark-worker spark-yarn-shuffle

Dann kopierte ich /usr/lib/python2.7/dist-packages/hdinsight_common/ /usr/share/java/ /usr/lib/hdinsight-datalake/ /etc/spark/conf/ /etc/hadoop/conf/

Aber wenn ich spark-shell bekomme ich folgenden Fehler

java.io.IOException: No FileSystem for scheme: wasb

Hier ist die vollständige Stapel https://gist.github.com/anonymous/ebb6c9d71865c9c8e125aadbbdd6a5bc

Ich bin nicht sicher, welches Paket/jar fehlt hier.

Jemand hat keine Ahnung, was ich falsch mache ?

Dank

Ich bin auf der Suche nach einer Lösung für ähnliche Probleme. Möglich unterstützen hier: stackoverflow.com/questions/32264020/...

InformationsquelleAutor roy | 2016-07-07

  1. 3

    Andere Möglichkeit der Einstellung Azure-Speicher (wurde und wasbs-Dateien) in der Funke-shell ist:

    1. Kopieren von azure-storage-und hadoop-azure Gläser in der ./jars-Verzeichnis des spark-installation.

    2. Laufen die Funke-shell mit dem Parameter —Gläser [eine durch Kommas getrennte Liste mit Routen, um diese Gläser] Beispiel:

      
$ bin/spark-shell --master "local[*]" --jars jars/hadoop-azure-2.7.0.jar,jars/azure-storage-2.0.0.jar

    3. Fügen Sie die folgenden Zeilen zu der Spark-Rahmen:

      
sc.hadoopConfiguration.set("fs.azure", "org.apache.hadoop.fs.azure.NativeAzureFileSystem")
sc.hadoopConfiguration.set("fs.azure.account.key.my_account.blob.core.windows.net", "my_key")

    4. Ausführen einer einfachen Abfrage:

      
sc.textFile("wasb://my_container@my_account_host/myfile.txt").count()
    5. Genießen 🙂

    Mit dieser Einstellung könnte könnte leicht setup ein Funke Anwendung, die übergabe der Parameter an die 'hadoopConfiguration' auf die aktuelle Spark-Rahmen

    Menschen, die Anführungszeichen in Ihrem code-Beispiele...
    Mein schlechtes. Ich muss aufhören mit dem Mac Notizen zu speichern code-snippets 🙂
    Yep, viel besser jetzt 🙂 Und eine sehr gute Lösung auch +1 von mir.
    hadoopConfiguration.set("fs.azure", "org.apache.hadoop.fs.azure.NativeAzureFileSystem") funktionierte nicht für mich.(Funke, 2.3.1, Hadoop 2.7.3). Ich musste hadoopConfiguration.set("fs.wasbs.impl", "org.apache.hadoop.fs.azure.NativeAzureFileSystem") statt. Jetzt ist es Ok.

    InformationsquelleAutor NicolásKittsteiner

  2. 0

    Hai Ning von Microsoft geschrieben hat eine ausgezeichnete blog-post auf, um das setup wurde auf einem apache-hadoop-installation.

    Hier ist die Zusammenfassung:

    1. Hinzufügen hadoop-azure-*.jar und azure-storage-*.jar zu hadoop classpath

      1.1 Finden Sie die Gläser in Ihrer lokalen installation. Es ist unter /usr/hdp/Strom - /hadoop-client-Ordner auf HDInsight-cluster.

      1.2 Update HADOOP_CLASSPATH variable an hadoop-env.sh. Nutzen Sie die exakten jar-name der als java-classpath nicht unterstützt teilweise wildcard.

    2. Update core-site.xml

      <property>         
        <name>fs.AbstractFileSystem.wasb.Impl</name>                           
        <value>org.apache.hadoop.fs.azure.Wasb</value> 
</property>

<property>
        <name>fs.azure.account.key.my_blob_account_name.blob.core.windows.net</name> 
        <value>my_blob_account_key</value> 
</property>

<!-- optionally set the default file system to a container --> 
<property>
        <name>fs.defaultFS</name>          
        <value>wasb://my_container_name@my_blob_account_name.blob.core.windows.net</value>
</property>

    Finden Sie die genauen Schritte hier:
    https://github.com/hning86/articles/blob/master/hadoopAndWasb.md

    Danke für die Anregung, aber für den bestimmten Fall ich nicht verwenden-client bereitgestellt, über cluster-deployment.

    InformationsquelleAutor CatNinja

Schreibe einen Kommentar