spark-Fehler RDD-Typ nicht gefunden beim erstellen RDD
Ich versuche zu erstellen, die eine RDD-der Fall Objekte der Klasse. ZB.,
//sqlContext from the previous example is used in this example.
//createSchemaRDD is used to implicitly convert an RDD to a SchemaRDD.
import sqlContext.createSchemaRDD
val people: RDD[Person] = ... //An RDD of case class objects, from the previous example.
//The RDD is implicitly converted to a SchemaRDD by createSchemaRDD, allowing it to be stored using Parquet.
people.saveAsParquetFile("people.parquet")
Ich bin versucht, um das Teil aus dem vorherigen Beispiel durch die
case class Person(name: String, age: Int)
//Create an RDD of Person objects and register it as a table.
val people: RDD[Person] = sc.textFile("/user/root/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt))
people.registerAsTable("people")
Bekomme ich die folgende Fehlermeldung:
<console>:28: error: not found: type RDD
val people: RDD[Person] =sc.textFile("/user/root/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt))
Irgendeine Idee, was schief gegangen ist?
Vielen Dank im Voraus!
Du musst angemeldet sein, um einen Kommentar abzugeben.
Das Problem hier ist die explizite
RDD[String]
Typ annotation. Es sieht aus wieRDD
ist nicht standardmäßig importiert inspark-shell
, das ist der Grund, warum Scala beschwert sich, dass es nicht finden können, dieRDD
geben. Versuchen Sieimport org.apache.spark.rdd.RDD
ersten.