JavaPackage-Objekt ist nicht aufrufbar-Fehler: Pyspark
Operationen wie dataframe.show () sQLContext.Lesen.json funktioniert gut , aber die meisten Funktionen gibt "JavaPackage-Objekt ist nicht aufrufbar-Fehler" .
zB : wenn ich
dataFrame.withColumn(field_name, monotonically_increasing_id())
Bekomme ich eine Fehlermeldung
File "/tmp/spark-cd423f35-9572-45ee-b159-1b2732afa2a6/userFiles-3a6e1729-95f4-468b-914c-c706369bf2a6/Transformations.py", line 64, in add_id_column
self.dataFrame = self.dataFrame.withColumn(field_name, monotonically_increasing_id())
File "/home/himaprasoon/apps/spark-1.6.0-bin-hadoop2.6/python/pyspark/sql/functions.py", line 347, in monotonically_increasing_id
return Column(sc._jvm.functions.monotonically_increasing_id())
TypeError: 'JavaPackage' object is not callable
Bin ich mit dem apache-zeppelin-interpreter und Hinzugefügt haben py4j zu python-Pfad.
Wenn ich
import py4j
print(dir(py4j))
den import erfolgreich
['__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__path__', '__spec__', 'compat', 'finalizer', 'java_collections', 'java_gateway', 'protocol', 'version']
Als ich versuchte
print(sc._jvm.functions)
in pyspark shell druckt es
<py4j.java_gateway.JavaClass object at 0x7fdaf9727ba8>
Aber wenn ich versuche, diese in meinem interpreter druckt es
<py4j.java_gateway.JavaPackage object at 0x7f07cc3f77f0>
eigentlich sollte dies auch funktionieren, aber irgendwas ist off mit dem conf.
hat Ihr Fahrer und Arbeiter haben das gleiche python version ?
Ya. Ich arbeite lokal und mein Fahrer und Arbeiter haben das gleiche python version
hat Ihr Fahrer und Arbeiter haben das gleiche python version ?
Ya. Ich arbeite lokal und mein Fahrer und Arbeiter haben das gleiche python version
InformationsquelleAutor Himaprasoon | 2016-05-11
Du musst angemeldet sein, um einen Kommentar abzugeben.
In der zeppelin-interpreter-code
war nicht immer ausgeführt. Das hinzufügen dieser auf den import wurde das Problem behoben,
InformationsquelleAutor Himaprasoon