Tag: kryo
Kryo ist eine schnelle und effiziente object graph-Serialisierungs-framework für Java. Die Ziele des Projektes sind Geschwindigkeit, Effizienz, und eine einfach zu benutzende API. Das Projekt ist dann sinnvoll, wenn Objekte müssen gespeichert werden, ob in eine Datei, Datenbank oder über das Netzwerk.
Wie kann ich mit Kryo, um ein Objekt serialisieren und Deserialisieren wieder?
2 Antworten
Wie kann ich Kryo auf ein Objekt serialisieren und Deserialisieren wieder? Ich arbeite in Kryo 2.23.0 InformationsquelleAutor mcfly soft | 2014-04-15
Serialisierung eines Objekts mit Kryo (Benutzerdefinierte Serializer)
1 Antworten
Ich habe ein Objekt enthält ein array von Objekten. Ich möchte A) speichern Sie das array von Objekten, die in der gleichen Datei B) verwenden einer benutzerdefinierten Serialisierung für diese Objekte. Ich habe zum Beispiel ein Map-Objekt,
Wie Kryo-Serialisierung stellt Puffer in Spark
5 Antworten
Bitte helfen zu verstehen, wie Kryo-Serialisierungsprogramm reserviert Speicher für den Puffer. Meine Spark-app nicht auf einem sammeln Schritt, wenn er versucht zu sammeln über 122Mb von Daten zu einem Treiber von Arbeitnehmern. com.esotericsoftware.kryo.KryoException: Buffer overflow. Available: 0,
Allgemeine Java-Serialisierung/ - Deserialisierung mithilfe von Kryo
2 Antworten
Ich versuche zu serialisieren und Deserialisieren von Objekten einer benutzerdefinierten Klasse (sagen wir SomeClass, mit einem Standard-no-args-Konstruktor), um eine byte array, mit Kryo 2.19 und die Standard-serializer (FieldSerializer). Serialisierung scheint zu funktionieren OK, aber ich bekomme verschiedene
Anpassen SparkContext mit sparkConf.Satz(..) bei der Verwendung von spark-shell
1 Antworten
Spark, es gibt 3 primäre Möglichkeiten, um die Einstellungen für die SparkConf verwendet, um das SparkContext: Als Eigenschaften in der conf/Funke-defaults.conf z.B. die Zeile: spark.driver.memory 4g Als args -, Funken -, shell-oder spark-senden z.B. spark-shell --driver-memory 4g
Kryo Serialisierungsbibliothek: Wird es in der Produktion verwendet?
9 Antworten
Kryo ist eine sehr neue und interessante Java-serialization-Bibliothek und einer der schnellsten in der secondhand-protobuf benchmark. Wenn Sie verwendet haben, Kryo, hat er es bereits genug Reife, um zu versuchen, es in der Produktion code? Update (10/27/2010):