How to set up sofort für läuft spark auf standalone-OS/X
Will ich tun, testen von Funke-Programme auf einem Mac. Spark läuft und meine Funke scala-Programm kompiliert: aber es ist eine Bibliothek (sofort.so???) Fehler zur Laufzeit:
Exception in thread "main" java.lang.UnsatisfiedLinkError: no mesos in java.library.path
at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1758)
at java.lang.Runtime.loadLibrary0(Runtime.java:823)
at java.lang.System.loadLibrary(System.java:1045)
at org.apache.mesos.MesosNativeLibrary.load(MesosNativeLibrary.java:46)
at spark.SparkContext.<init>(SparkContext.scala:170)
at com.blazedb.scala.ccp.spark.LoadRDD$.main(LoadRDD.scala:14)
Setup was erforderlich ist, auf die os/x-jenseits der spark server selbst für sofort für einen spark-client-Programm?
Du musst angemeldet sein, um einen Kommentar abzugeben.
Wenn Sie verwenden möchten Spark mit Sofort, es gibt Anleitungen auf der Projekt-website, einschließlich Hinweise, wie Sie den Weg finden, um die Sofort-Bibliothek auf OS X.
Als Sie bemerkt habe, es gibt andere deployment-Modi, einschließlich der
local
- Modi, die nicht Sofort installiert werden.Basierend auf Ihrem stacktrace, es sieht aus wie Sie verwenden möglicherweise eine ältere version von Spark. Seit der Spark-0.8.0+, die Pakete verschoben wurden, in die
org.apache.spark
Namensraum, so dass Sie möglicherweise verwenden müssen frühere Versionen der Dokumente, wenn Sie nicht wollen, zu aktualisieren.Müssen Sie 'MESOS_NATIVE_LIBRARY' environment-variable, die den Speicherort der libmesos.so. Es ist in der Regel /usr/local/lib/libmesos.so.
Ich würde empfehlen, hinzufügen, dass die Zeile zu Ihrer .bashrc als auch, um zu vermeiden, dass jedes mal, wenn.
wenn Sie bauen sofort aus Quellen, dann werden alle generierten libs erzeugt werden innen [MESOS_HOME]/src/.libs-Ordner. Sie müssen löschen Sie die leere [MESOS_HOME]/.libs-Ordner und erstellen Sie einen symbolischen link [MESOS_HOME]/src/.libs
Verwendete Befehle sind:
verloren mein problem "g++: error: ./.libs/libmesos.also: Keine solche Datei oder das Verzeichnis"