Spark Abwärtskompatibilität 1.6 vs 2.0
Bin ich mit spark 1.4 code und nun wollen wir zu bewegen, um spark 2.0, und wenn ich Sie in der Dokumentation unten, es sind nur ein paar features, die sind abwärtskompatibel, bedeutet das, dass ich geändert haben, die meisten meinen code ?
Einer der größten Veränderungen in Spark 2.0 ist die neue, aktualisierte APIs:
- Unifying-DataFrame und Dataset: In Scala und Java, DataFrame und Dataset sind vereinheitlicht worden, d.h. DataFrame ist nur eine Art alias für
Dataset der Reihe. In Python und R, da das fehlen von Sicherheit,
DataFrame ist die Haupt-Schnittstelle zur Programmierung.- SparkSession: neuer Eintrag Punkt ersetzt die alte SQLContext und HiveContext für DataFrame und Dataset-APIs. SQLContext und
HiveContext gehalten werden für die Abwärtskompatibilität.- Eine neue, optimierte Konfiguration, API für SparkSession
- Einfacher, leistungsfähiger Akku-API
- Eine neue, verbesserte Aggregator-API für typisierte aggregation in Datasets
- bedeutet das, dass ich geändert haben, die meisten meiner code-Nun, Sie Lesen Sie einfach die Dokumentation, so scheint es, also ja.
- Ich bin mir nicht sicher, dass ich den OP ' s Frage. Es gibt einen migration guide zu Funken. spark.apache.org/docs/latest/...
- Ich verstehe es als: "Werde ich gezwungen sein, neu zu schreiben, viel von meinem code, um es arbeiten auf Spark-2". Migration guide ist eine sehr gute Referenz, post beantworten, mit es 🙂 Antwort wird natürlich sein "es hängt", aber genauer 😛
- Danke @T. Gawęda. Ich habe eine schnelle Antwort.
Schreibe einen Kommentar
Du musst angemeldet sein, um einen Kommentar abzugeben.
Wie gesagt in den Kommentaren, Funke hat einen Migrations-guide zu Folgen. Sie können es überprüfen,hier.
Gibt es nicht viel änderungen zwischen 1.6 und 2.0 vorbehalten, was zitiert in dem Dokument.
Und um die Frage zu beantworten, würd ich auch sagen "es kommt darauf an".
e.g vor Kurzem hatte ich zum migrieren einer machine-learning-Anwendung von 1.6.3 auf 2.0.2 und die einzige änderung, die ich zu tun hatte, wo aufgelistet in der MLLib migration guide.