pyspark importieren von Benutzer-definierten Modul oder .py-Dateien

Baute ich eine python-Modul und ich möchte, um es zu importieren in meine pyspark Anwendung.

Mein Paket Verzeichnisstruktur ist:

wesam/
|-- data.py
`-- __init__.py

Einem einfachen import wesam an der Spitze meiner pyspark Skript führt zu ImportError: No module named wesam. Ich habe auch versucht, die zip es und schicken es mit meinem code mit --py-files als empfehlenswert ist in diesem Antwort, ohne Glück.

./bin/spark-submit --py-files wesam.zip mycode.py

Ich habe auch die Datei programmgesteuert vorgeschlagen von diese Antwort, aber ich habe die gleiche ImportError: No module named wesam Fehler.

.sc.addPyFile("wesam.zip")

Was vermisse ich hier?

InformationsquelleAutor Wesam | 2017-04-21
Schreibe einen Kommentar