Spark 1.5.2: org.apache.spark.sql.AnalysisException: nicht-operator 'Union;

Habe ich zwei dataframes df1 und df2. Beide haben das folgende schema:

 |-- ts: long (nullable = true)
 |-- id: integer (nullable = true)
 |-- managers: array (nullable = true)
 |    |-- element: string (containsNull = true)
 |-- projects: array (nullable = true)
 |    |-- element: string (containsNull = true)

df1 erstellt von einem avro-Datei, während df2 aus einer entsprechenden Parkett-Datei. Allerdings, Wenn ich ausführen, df1.unionAll(df2).show(), bekomme ich die folgende Fehlermeldung:

    org.apache.spark.sql.AnalysisException: unresolved operator 'Union;
    at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$class.failAnalysis(CheckAnalysis.scala:37)
    at org.apache.spark.sql.catalyst.analysis.Analyzer.failAnalysis(Analyzer.scala:44)
    at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1.apply(CheckAnalysis.scala:174)
    at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1.apply(CheckAnalysis.scala:49)
    at org.apache.spark.sql.catalyst.trees.TreeNode.foreachUp(TreeNode.scala:103)
InformationsquelleAutor Neel | 2016-07-29
Schreibe einen Kommentar