Apache Spark, createDataFrame Beispiel in Java mit List<?> als erstes argument

Das problem ist Ihre Verwendung von Bean-Klasse.

Vom JavaBeans-Wikipedia:

JavaBeans sind Klassen, die Kapseln viele Objekte in einem einzigen
Objekt (die Bohne). Sie serialisierbar sind, haben einen null-argument
Konstruktor, und ermöglichen den Zugriff auf Eigenschaften mittels getter-und setter
Methoden. Der name "Bohne" gegeben wurde, umfassen diese Norm, welche
zielt auf die Erstellung wiederverwendbarer software-Komponenten für Java.

Um deutlicher zu sein, lassen Sie mich Ihnen ein Beispiel mit Java-Bean-Zündkerzen:

Nehmen wir an, wir verwenden diese Bean-Klasse:

import java.io.Serializable;

public class Bean implements Serializable {
    private static final long serialVersionUID = 1L;

    private String k;
    private String something;

    public String getK() {return k;}
    public String getSomething() {return something;}

    public void setK(String k) {this.k = k;}
    public void setSomething(String something) {this.something = something;}
}

Wir haben b0 und b1 sind Instanzen der Bean:

Bean b0 = new Bean();
b0.setK("k0");
b0.setSomething("sth0");
Bean b1 = new Bean();
b1.setK("k1");
b1.setSomething("sth1");

Wir haben auch Hinzugefügt, Bohnen(b0,b1 hier) in eine List<Bean> genannt data:

List<Bean> data = new ArrayList<Bean>();
data.add(b0);
data.add(b1);

Nun erstellen wir ein DataFrame mit List<Bean> und Bean Klasse:

DataFrame df = sqlContext.createDataFrame(data, Bean.class);

Wenn wir df.show(), hier ist die Ausgabe:

+---+---------+
|  k|something|
+---+---------+
| k0|     sth0|
| k1|     sth1|
+---+---------+

DER BESSERE WEG, UM DATAFRAME ERSTELLEN VON JSON-STRING

Zündkerzen könnte man direkt erstellen DataFrame aus einer Liste von JSON-Strings:

DataFrame df = sqlContext.read().json(jsc.parallelize(data));

wo jsc ist eine Instanz von JavaSparkContext.