Spark SQL-Paket nicht gefunden

Ich bin ganz neu zu entfachen, und habe folgende Probleme: wenn ich versuche zu importieren SQLContext mit:

import org.apache.spark.sql.SQLContext;

oder versuchen zu initialisieren SQLContext variable explizit:

SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc);

Bekomme ich eine Fehlermeldung von Eclipse:

Den import org.apache.spark.sql.SQLContext nicht gelöst werden können

Habe ich Funken in die Abhängigkeit-Datei, und alles andere ist in Ordnung, außer für die SQLContext. Der ganze code:

package main.java;

import java.io.Serializable;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.sql.SQLContext;

public class SparkTests {
    public static void main(String[] args){
        SparkConf conf = new SparkConf().setAppName("SparkMain");
        JavaSparkContext sc = new JavaSparkContext(conf);
        SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc);

        //DataFrame df = sqlContext
        System.out.println("\n\n\nHello world!\n\n\n");
    }
}

Wenn ich versuche zu kompilieren mit mvn package, bekomme ich bei der Kompilierungs-Fehler:

package org.apache.spark.sql existiert nicht

Irgendwelche Ideen, warum das SQL-Paket nicht gefunden werden kann?

EDIT:

Die Abhängigkeitsdatei pom.xml:

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <groupId>edu.berkeley</groupId>
    <artifactId>simple-project</artifactId>
    <modelVersion>4.0.0</modelVersion>
    <name>Simple Project</name>
    <packaging>jar</packaging>
    <version>1.0</version>
    <dependencies>
        <dependency> <!-- Spark dependency -->
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>1.6.1</version>
        </dependency>
    </dependencies>
</project>
InformationsquelleAutor Belphegor | 2016-03-30
Schreibe einen Kommentar