Erstellen pyspark kernel für Jupyter

Ich war auf der Suche auf Apache Toree zu verwenden, wie Pyspark kernel für Jupyter

https://github.com/apache/incubator-toree

Allerdings war es mit älteren version von Spark (1.5.1 vs aktuelle 1.6.0). Ich habe versucht, diese Methode hier http://arnesund.com/2015/09/21/spark-cluster-on-openstack-with-multi-user-jupyter-notebook/ durch die Schaffung kernel.js

{
 "display_name": "PySpark",
 "language": "python",
 "argv": [
  "/usr/bin/python",
  "-m",
  "ipykernel",
  "-f",
  "{connection_file}"
 ],
 "env": {
  "SPARK_HOME": "/usr/local/Cellar/apache-spark/1.6.0/libexec",
  "PYTHONPATH": "/usr/local/Cellar/apache-spark/1.6.0/libexec/python/:/usr/local/Cellar/apache-spark/1.6.0/libexec/python/lib/py4j-0.9-src.zip",
  "PYTHONSTARTUP": "/usr/local/Cellar/apache-spark/1.6.0/libexec/python/pyspark/shell.py",
  "PYSPARK_SUBMIT_ARGS": "--master local[*] pyspark-shell"
 }
}

Allerdings bekam ich einige Probleme:

  1. Gibt es keine /jupyter/kernels Pfad in meinem Mac. Also ich landete diesem Weg ~/.jupyter/kernels/pyspark. Ich bin nicht sicher, ob das ist der richtige Weg.

  2. Selbst nachdem Sie alle Pfade korrekt, ich verstehe immer noch nicht PySpark zeigt sich als kernel-innen Jupyter.

Hab ich was verpasst?

InformationsquelleAutor HP. | 2016-01-25
  1. 1

    Jupyter Kernel sollte gehen in $JUPYTER_DATA_DIR. Auf OSX, das ist ~/Library/Jupyter. Siehe: http://jupyter.readthedocs.org/en/latest/system.html

    • Es ist seltsam, dass Jupyter beschlossen, einen Ordner irgendwo sonst außerhalb meiner aktuellen notebook-repo, welches ich gebaut habe.
    • Tot 404 link, auch, möglicherweise out-of-date Informationen. Derzeit finden Sie in jupyter.readthedocs.io/de/latest/Projekte/... , was darauf hindeutet, könnte es nun sein $JUPYTER_PATH, obwohl die oben genannten "data dir" env var kann noch eingehalten werden. Nach Abfrage, wo das Verzeichnis auf Ihrem system ausführen jupyter --data-dir
    InformationsquelleAutor Spencer Boucher
  2. 20

    starten jupyter notebook mit python-kernel und führen Sie dann die folgenden Befehle zum initialisieren pyspark innerhalb Jupyter.

    import findspark
findspark.init()

import pyspark
sc = pyspark.SparkContext()

    FYI: habe versucht, die meisten configs zu starten Apache Toree mit pyspark kernel in Jupyter ohne Erfolg,

    • Die findspark Bibliothek hängt von der SPARK_HOME Umgebungsvariable -- hatte ich nicht gesetzt, dass bis noch, so dass ich zu tun hatte (im terminal) export SPARK_HOME=/usr/lib/spark
    • Wichtiger Hinweis - wenn Sie versuchen, eine Verbindung zu einem cluster (nicht lokal laufen) stellen Sie sicher, dass die folgenden Argumente: sc = pyspark.SparkContext(appName=app_name, master=spark://IP:PORT) Es hat mich viel googeln, um herauszufinden, warum es noch keine Anwendungen angezeigt werden, auf meine cluster-dashboard
    • wenn Ihr jupyter kernel richtig konfiguriert ist für pyspark, der spark-Rahmen wird für Sie definiert. Aber wenn Sie Ihren kernel richtig konfiguriert ist, müssen Sie nicht findspark 🙂
    InformationsquelleAutor Neil Kumar
Schreibe einen Kommentar