SQLContext-Objekt hat kein Attribut Lesen Sie beim Einlesen der csv in pyspark
Ich bin laden Sie eine csv-Datei in pyspark wie folgt (in pyspark shell):
>>> from pyspark.sql import SQLContext
>>> sqlContext = SQLContext(sc)
>>> df = sqlContext.read.format('com.databricks.spark.csv').options(header='true').load('data.csv')
aber ich bin immer diese Fehlermeldung:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: 'SQLContext' object has no attribute 'read'
>>>
Bin ich mit spark 1.3.1 und ich bin versucht, Benutzer spark-csv
Du musst angemeldet sein, um einen Kommentar abzugeben.
Den Sie zu verwenden versuchen
Spark 1.4+
syntax.Für Spark 1.3
Spark 1.4+:
syntax