Was ist die version der library Funke unterstützt SparkSession
Code Spark mit SparkSession.
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
val conf = SparkSession.builder
.master("local")
.appName("testing")
.enableHiveSupport() //<- enable Hive support.
.getOrCreate()
Code pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.cms.spark</groupId>
<artifactId>cms-spark</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>cms-spark</name>
<pluginRepositories>
<pluginRepository>
<id>scala-tools.org</id>
<name>Scala-tools Maven2 Repository</name>
<url>http://scala-tools.org/repo-releases</url>
</pluginRepository>
</pluginRepositories>
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.10</artifactId>
<version>1.6.0</version>
</dependency>
<dependency>
<groupId>com.databricks</groupId>
<artifactId>spark-csv_2.10</artifactId>
<version>1.4.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-hive_2.10</artifactId>
<version>1.5.2</version>
</dependency>
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.8.3</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<version>2.5.3</version>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id> <!-- this is used for inheritance merges -->
<phase>install</phase> <!-- bind to the packaging phase -->
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
Habe ich ein problem. Ich code erstellen spark mit SparkSession, iam ärger zu bekommen SparkSession nicht finden in der Bibliothek SparkSql. So iam nicht kann code ausführen, der Funke. Iam Frage, was die version zu finden SparkSession in der Bibliothek Funken. Ich gebe code pom.xml.
Dank.
Du musst angemeldet sein, um einen Kommentar abzugeben.
müssen Sie die beiden Kern-und SQL-Artefakte
Müssen Sie Spark 2.0 zu verwenden SparkSession. Es ist erhältlich in Maven central snapshot-repository wie jetzt:
Die gleiche version angegeben werden, die für andere Funken Artefakte. Beachten Sie, dass 2.0 noch in der beta und wird voraussichtlich stabil in etwa einem Monat, AFAIK.
Update. Alternativ können Sie die Cloudera Gabel Spark 2.0:
Cloudera-repository angegeben werden, die in Ihrem Maven-repositories-Liste:
org.apache.spark.SparkSession
. Es istorg.apache.spark.sql.SparkSession
.<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>2.0.0-preview</version> </dependency>