Spark SQL-Paket nicht gefunden
Ich bin ganz neu zu entfachen, und habe folgende Probleme: wenn ich versuche zu importieren SQLContext mit:
import org.apache.spark.sql.SQLContext;
oder versuchen zu initialisieren SQLContext variable explizit:
SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc);
Bekomme ich eine Fehlermeldung von Eclipse:
Den import org.apache.spark.sql.SQLContext nicht gelöst werden können
Habe ich Funken in die Abhängigkeit-Datei, und alles andere ist in Ordnung, außer für die SQLContext. Der ganze code:
package main.java;
import java.io.Serializable;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SQLContext;
public class SparkTests {
public static void main(String[] args){
SparkConf conf = new SparkConf().setAppName("SparkMain");
JavaSparkContext sc = new JavaSparkContext(conf);
SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc);
//DataFrame df = sqlContext
System.out.println("\n\n\nHello world!\n\n\n");
}
}
Wenn ich versuche zu kompilieren mit mvn package
, bekomme ich bei der Kompilierungs-Fehler:
package org.apache.spark.sql existiert nicht
Irgendwelche Ideen, warum das SQL-Paket nicht gefunden werden kann?
EDIT:
Die Abhängigkeitsdatei pom.xml:
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<groupId>edu.berkeley</groupId>
<artifactId>simple-project</artifactId>
<modelVersion>4.0.0</modelVersion>
<name>Simple Project</name>
<packaging>jar</packaging>
<version>1.0</version>
<dependencies>
<dependency> <!-- Spark dependency -->
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.6.1</version>
</dependency>
</dependencies>
</project>
Du musst angemeldet sein, um einen Kommentar abzugeben.
Wenn Sie verwenden möchten Spark SQL oder
DataFrames
in Ihrem Projekt müssen Siespark-sql
Artefakt, wie eine Abhängigkeit. In diesem speziellen Fall:sollte den trick tun.