Tag: avro
Apache Avro ist ein Datenserialisierungsframework, das hauptsächlich in Apache Hadoop verwendet wird.
Avro Java-API Timestamp Logischen Typ?
3 Antworten
Mit der Avro-Java-API, ich kann machen eine einfache Aufzeichnung schema wie: Schema schemaWithTimestamp = SchemaBuilder .record("MyRecord").namespace("org.demo") .fields() .name("timestamp").type().longType().noDefault() .endRecord(); Wie kann ich tag-ein-schema-Feld mit einem logischen Art, insbesondere: https://avro.apache.org/docs/1.8.1/api/java/org/apache/avro/LogicalTypes.TimestampMillis.html InformationsquelleAutor clay | 2017-03-28
Das Lesen einer Avro Datei von scala
1 Antworten
Ich versuche zu Lesen ein avro-Datei mit scala. Ich habe die Datei extrahiert schema mit avro-tools und als Datei gespeichert, dann versuche ich, es zu Lesen mit dem folgenden code: val zibi= scala.io.Source.fromFile("/home/wasabi/schema").mkString val schema_obj = new
Speicherung von null-Werten in der avro-Dateien
2 Antworten
Habe ich einige json-Daten, die wie folgt aussieht: { "id": 1998983092, "name": "Test Name 1", "type": "search string", "creationDate": "2017-06-06T13:49:15.091+0000", "lastModificationDate": "2017-06-28T14:53:19.698+0000", "lastModifiedUsername": "[email protected]", "lockedQuery": false, "lockedByUsername": null } Ich bin in der Lage, fügen Sie die
Wie Sie Lesen und schreiben Map<String, Object> von/für Parkett-Datei in Java oder Scala?
3 Antworten
Suche nach einem prägnanten Beispiel, wie man Lesen und schreiben Map<String, Object> ab/bis Parkett-Datei in Java oder Scala? Hier wird erwartet, Struktur, mit com.fasterxml.jackson.databind.ObjectMapper als Serialisierung in Java (d.h. Suche für gleichwertig mit Parkett): public static Map<String,
Wie zum einfügen in die Hive-Tabelle mit einer Spalte vom Datentyp "array" <struct<int>>
1 Antworten
Ich versuche zum einfügen von Daten in eine Tabelle in Hive, die ich erstellt. Ich habe gekämpft, so bin ich versucht, um es zu vereinfachen, so viel wie möglich zu erhalten, um die Wurzel des Problems. Hier
Lesen Avro Nachrichten von Kafka mit Spark 2.0.2 (strukturierte streaming)
4 Antworten
Ich habe eine spark-2.0-Anwendung, die Nachrichten liest, von kafka mit spark streaming (mit spark-streaming-kafka-0-10_2.11). Strukturierte streaming-sieht wirklich cool aus also ich wollte versuchen, und migrieren Sie den code, aber ich kann nicht herausfinden, wie es zu benutzen.
In Java, wie kann ich erstellen ein äquivalent von einem Apache Avro-Containerdatei, ohne gezwungen zu sein, eine Datei als ein medium?
3 Antworten
Dies ist irgendwie ein Schuss im Dunkeln bei jeder versierte mit der Java-Implementierung von Apache Avro ist Lesen. Meine high-level-Ziel ist es, eine Möglichkeit zu haben, übersendet eine Reihe von avro Daten über das Netzwerk (sagen wir
So konvertieren Sie ein Avro-Daten-Datei in CSV
3 Antworten
Ich habe eine avro Daten-Datei und ich muss es konvertieren zu einer csv-Datei. Avro totext-tool derzeit nicht unterstützt, ist die Verwendung eines benutzerdefinierten Schemas. Gibt es irgendwelche tools gibt, die dies tun? Würde ich nur code es
Concat Avro-Dateien mit avro-tools
2 Antworten
Ich versuche zu verschmelzen avro-Dateien in eine große Datei, das problem ist concat - Befehl nicht akzeptieren die wildcard hadoop jar avro-tools.jar concat /input/part* /output/bigfile.avro Bekomme ich: Exception in thread "main" java.io.FileNotFoundException: Datei nicht nicht vorhanden: /input/Teil*
Impala - konvertieren Sie vorhandene Tabelle zu Parkett-format
1 Antworten
Ich habe eine Tabelle mit Partitionen und ich benutze avro-Dateien oder text-Dateien zu erstellen und in eine Tabelle einfügen. Sobald die Tabelle fertig ist, ist es ein Weg, um konvertieren in das Parkett. Ich meine, ich weiß,
Apache Avro : UnresolvedUnionException bei Verwendung von union-Datentyp
1 Antworten
Ich bin mit Apache Avro für die Objekt-Serialisierung. Ich habe eine Avro-schema für School Objekt: {"namespace": "com.my.model", "type": "record", "name": "School", "fields": [ {"name": "sid", "type": "int"}, {"name": "size", "type": "long"}, {"name": "other", "type": ["null", "Teacher", "Student"]}
KafkaAvroSerializer zum serialisieren Avro ohne schema.Registrierung.url
3 Antworten
Ich bin ein noob auf Kafka und Avro. So habe ich versucht, um das Producer/Consumer läuft. So weit ich in der Lage gewesen, zu produzieren und zu konsumieren, einfach Bytes und Strings, die mit den folgenden :
Avro-Tools JSON Avro-Schema Fehler auf: org.apache.avro.SchemaParseException: Undefined name:
1 Antworten
Ich versuche zu erstellen, die zwei Avro Schemata mit der avro-tools-1.7.4.jar die create schema-Befehl. Habe ich zwei JSON-Schemen, die wie folgt Aussehen: { "name": "TestAvro", "type": "record", "namespace": "com.avro.test", "fields": [ {"name": "first", "type": "string"}, {"name": "last",
So erzeugen Sie Felder vom Typ "String" statt CharSequence mit Avro?
2 Antworten
Schrieb ich ein Avro-schema, in dem einige der Felder mit ** müssen ** der Typ String aber Avro generiert hat, die Felder vom Typ CharSequence. Ich bin nicht in der Lage zu finden, jeder Weg, zu sagen,
Json-String an Java-Objekt Avro
4 Antworten
Ich versuche zu konvertieren, die einen Json-string in ein generisches Java-Objekt, mit einem Avro-Schema. Unten ist mein code. String json = "{\"foo\": 30.1, \"bar\": 60.2}"; String schemaLines = "{\"type\":\"record\",\"name\":\"FooBar\",\"namespace\":\"com.foo.bar\",\"fields\":[{\"name\":\"foo\",\"type\":[\"null\",\"double\"],\"default\":null},{\"name\":\"bar\",\"type\":[\"null\",\"double\"],\"default\":null}]}"; InputStream input = new ByteArrayInputStream(json.getBytes()); DataInputStream din =
Serialisieren eines Datums mit AVRO in Java
2 Antworten
Eigentlich versuche ich Objekte serialisieren, mit Datums mit Avro und die deserialisiert Datum entspricht nicht dem erwarteten Wert (getestet mit avro 1.7.2 und 1.7.1). Hier ist die Klasse die ich serialisieren : import java.text.SimpleDateFormat; import java.util.Date; public
Hat binäre Codierung von AVRO Daten komprimieren?
2 Antworten
In einem unserer Projekte verwenden wir Kafka mit AVRO zum übertragen von Daten zwischen Anwendungen. Hinzufügen von Daten zu einem AVRO-Objekt und Objekt ist Binär codiert zu schreiben, zu Kafka. Wir verwenden die binäre Codierung als es
So zu mischen, dass der Datensatz mit der Karte im Avro?
1 Antworten
Ich bin im Umgang mit server-logs, die JSON-format, und ich will meine logs auf AWS S3 in Parkett-format(und Parkett erfordert eine Avro-schema). Erste, alle Protokolle haben einen gemeinsamen Satz von Feldern, die zweite, alle Protokolle haben eine
Performance-Metriken für die Avro vs Protobuf
1 Antworten
Wir sind mit kafka für die Speicherung von Nachrichten und schob eine extrem große Anzahl von Nachrichten(> 30k in einer minute). Ich bin nicht sicher, ob es relevant ist, sondern der code, der Produzent der kafka-Nachricht ist
Wie zu Lesen Avro Datei in PySpark
2 Antworten
Schreibe ich einen Funken Arbeit mit python. Jedoch habe ich Lesen müssen, in eine ganze Reihe von avro-Dateien. Diese ist die nächste Lösung, die ich gefunden habe im Spark ' s Beispiel-Ordner. Jedoch, Sie benötigen, um dieses
Avro vs. Parkett
7 Antworten
Ich bin Planung, um die Verwendung eines hadoop-file-format für meine hadoop-bezogenen Projekt. Ich verstehen Parkett ist effizient für Spalte-basierte Abfrage-und avro für full scan oder wenn wir müssen alle Spalten Daten! Bevor ich gehen und wählen Sie
Generische Konvertierung von POJO Avro Aufnehmen
4 Antworten
Ich bin auf der Suche nach einem Weg, um zu konvertieren ein POJO zu einer avro Objekt in einer generischen Art und Weise. Die Umsetzung sollte robust sein, um änderungen der POJO-Klasse. Ich habe es erreicht, aber
Wie definieren avro-schema für komplexe json-Dokument?
2 Antworten
Habe ich ein JSON-Dokument, dass ich umwandeln möchten, Avro und benötigen ein schema angegeben werden, für diesen Zweck. Hier ist die JSON-Dokument, für das ich gerne zum definieren der avro-schema: { "uid": 29153333, "somefield": "somevalue", "options": [
Schreiben Avro Daten Datei
4 Antworten
Den folgenden code einfach schreibt Daten in das avro-format und liest und zeigt dieselben von der avro-Datei geschrieben zu werden. Ich habe nur versucht aus dem Beispiel in der Hadoop-definitive guide buchen. Ich war in der Lage
Dynamisch erstellen externen Hive-Tabelle mit Avro-schema auf Parkett-Daten
1 Antworten
Ich versuche, dynamisch (ohne Auflistung von Spaltennamen und-Typen in Hive-DDL) anlegen einer externen Hive-Tabelle, die auf Parkett-Dateien. Ich habe die Avro-schema der zugrunde liegenden Parkett-Datei. Meinen versuchen ist, verwenden Sie die folgende DDL: CREATE EXTERNAL TABLE parquet_test
Mapreduce Hadoop-Sonderseiten Ausgabe-Verzeichnis ist bereits vorhanden
4 Antworten
Bin ich mit einem mapreduce-job mit dem folgenden code ausführen, und es gibt mir immer die folgende Ausnahme. Ich stellte sicher, dass ich das entfernen des Ordners, bevor Sie beginnen den job, aber es funktioniert nicht. Code:
Erstellen von Hive-Tabelle zu Lesen Parkett-Dateien aus Parkett - /avro-schema
1 Antworten
Sind wir auf der Suche nach einer Lösung, um eine externe hive-Tabelle zum Lesen von Daten aus Parkett-Dateien nach einem Parkett - /avro-schema. in anderer Weise, so erzeugen Sie eine hive-Tabelle aus einer Parkett - /avro-schema ?
Spark - schreiben Avro-Datei
3 Antworten
Was sind die häufigsten Praktiken zu schreiben Avro-Dateien mit Spark (mit Scala-API), die in einem Fluss wie diesem: analysiert werden einige log-Dateien von HDFS für jede log-Datei gelten einige business-Logik und erzeugen Avro-Datei (oder vielleicht sogar Zusammenführen
Wie Avro Binäre Kodierung der JSON-String mit Apache Avro?
3 Antworten
Ich versuche, avro Binär codieren meine JSON-String. Unten ist mein JSON-String und ich habe erstellt eine einfache Methode, die die Konvertierung zu tun, aber ich bin nicht sicher, ob die Weise, die ich Tue, richtig ist, oder
Konfluent Maven-repository nicht funktioniert?
4 Antworten
Ich die Konfluent kafka-avro-serializer Maven-Artefakt. Aus der official guide ich sollte hinzufügen, das repository zu meinem Maven-pom <repository> <id>confluent</id> <url>http://packages.confluent.io/maven/</url> </repository> Das problem ist, dass die URL http://packages.confluent.io/maven/ scheint nicht zu funktionieren in dem moment, als ich
Iterieren Datensätze Funke scala?
1 Antworten
Habe ich eine variable "myrdd" das ist eine avro-Datei mit 10 Datensätze geladen durch hadoopfile. Wenn ich myrdd.first_1.datum.getName() Kann ich den Namen bekomme. Problem ist, ich habe 10 Einträge in "myrdd". Wenn ich das mache: myrdd.map(x =>
Avro-schema-definition-nesting-Arten
3 Antworten
Ich bin Recht neu auf Avro und durch Dokumentation für geschachtelte Typen. Ich habe das Beispiel unten funktioniert gut, aber viele verschiedene Arten innerhalb des Modells haben Adressen. Ist es möglich zu definieren, eine Adresse.avsc-Datei und Referenz,
Json-avro-Konvertierung
3 Antworten
Ich bin die Konvertierung von Json zu avro. Habe ich json-Daten in JSONArray. So, während die Umwandlung in byte-array, ich stehe vor dem problem. unten ist mein code: static byte fromJsonToAvro(JSONArray json, String schemastr) throws Exception
Das Lesen einer einfachen Avro Datei aus dem HDFS
1 Antworten
Ich versuche zu tun, ein einfaches Lesen einer Avro gespeicherte Datei in HDFS. Ich fand heraus, wie man es zu Lesen, wenn es auf dem lokalen Datei-system.... FileReader reader = DataFileReader.openReader(new File(filename), new GenericDatumReader()); for (GenericRecord datum
optional array in der avro-schema
1 Antworten
Frage ich mich, ob oder nicht es ist möglich, ein optionales array. Nehmen wir an, ein schema wie dieses: { "type": "record", "name": "test_avro", "fields" : [ {"name": "test_field_1", "type": "long"}, {"name": "subrecord", "type": [{ "type": "record",
Was ist der Vorteil der Speicherung schema im avro?
2 Antworten
Müssen wir serialisieren einige Daten für die Umsetzung in solr als auch hadoop. Ich bin Bewertung-Serialisierung-tools für das gleiche. Den top zwei in meiner Liste sind Gson und Avro. Soweit ich das verstanden habe, Avro = Gson
Wie kann man das Rechnen anfangen-union. Habe VALUE_NUMBER_INT bei der Konvertierung von JSON zu Avro auf der Kommandozeile?
2 Antworten
Ich versuche zu validieren, die eine JSON-Datei mit einem Avro-schema und schreiben Sie die entsprechenden Avro-Datei. Erstmal, ich habe Folgendes definiert Avro-schema mit dem Namen user.avsc: {"namespace": "example.avro", "type": "record", "name": "user", "fields": [ {"name": "name", "type":
Wie kann ich laden, Avro in der Funke mit dem schema an Bord der Avro Datei(en)?
2 Antworten
Ich bin mit CDH 4.4 mit Funken-0.9.0 von einem Cloudera Paket. Ich habe eine Reihe von Avro-Dateien, die erstellt wurden, über Schwein AvroStorage UDF. Ich möchte laden diese Dateien in Spark, der mit einem generischen Datensatz oder
Avro-schema-evolution
3 Antworten
Habe ich zwei Fragen: Ist es möglich mit dem gleichen reader und analysieren, Datensätze, die geschrieben wurden, mit zwei schemas, die kompatibel sind, z.B. Schema V2 nur ein zusätzliches optionales Feld im Vergleich zu Schema V1 und
How to create schema-enthält Liste von Objekten, die mit Avro?
2 Antworten
Wer weiß, wie das erstellen Avro-schema enthält die Liste der Objekte einer Klasse? Ich möchte, dass meine generierten Klassen wie folgt Aussehen : class Child { String name; } class Parent { list<Child> children; } Dafür habe
Funke: das Schreiben auf Avro-Datei
3 Antworten
Bin ich in der Funke habe ich einen RDD von einem Avro-Datei. Ich will nun einige Veränderungen an, RDD und speichern Sie es als eine Avro Datei: val job = new Job(new Configuration()) AvroJob.setOutputKeySchema(job, getOutputSchema(inputSchema)) rdd.map(elem =>
Schema evolution in Parkett-format
1 Antworten
Derzeit sind wir mit Avro-Daten-format in der Produktion. Aus N gute Punkte von Avro, wir wissen, dass es gut ist, in der schema-evolution. Nun evaluieren wir Parkett-format wegen seiner Effizienz beim Lesen von zufälligen Spalten. Also, bevor
Kann ich die split ein Apache Avro-schema über mehrere Dateien?
6 Antworten
Kann ich tun, { "type": "record", "name": "Foo", "fields": [ {"name": "bar", "type": { "type": "record", "name": "Bar", "fields": [ ] }} ] } und das funktioniert auch, aber angenommen, dass ich teilen möchten, auf das schema
Erste Schritte mit Avro
3 Antworten
Ich will loslegen mit der Verwendung von Avro mit Karte Reduzieren. Kann Jemand empfehlen ein gutes tutorial /Beispiel um mit. Ich konnte Sie nicht finden viel durch das internet suchen. InformationsquelleAutor der Frage Sri | 2011-03-29
Apache avro reflektieren
2 Antworten
Avro Serialisierung ist beliebt bei Hadoop-Nutzer, aber die Beispiele sind so schwer zu finden. Kann mir jemand helfen mit diesem Beispiel-code? Ich bin hauptsächlich daran interessiert, mit den Spiegeln-API zum Lesen/schreiben in Dateien und verwenden Sie die
Generieren Avro-Schema von bestimmten Java-Objekt
2 Antworten
Apache Avro bietet eine kompakte, schnelle, binäre Daten format, rich-data-Struktur für die Serialisierung. Allerdings erfordert es Benutzer definiert ein schema (JSON) für das Objekt, das serialisiert werden müssen. In einigen Fällen kann dies nicht möglich sein (e.g:
Was sind die Vor- und Nachteile von Parkett im Vergleich zu anderen Formaten?
3 Antworten
Merkmale von Apache Parkett sind : Selbst beschreibt Spaltenformat Sprache-unabhängig Im Vergleich zu den Avro -, Sequenz-Dateien, RC Datei etc. Ich möchte einen überblick über die Formate. Ich habe schon gelesen : Wie Impala Arbeitet mit Hadoop-File-Formate
Wie verschachteln Sie Datensätze in einem Avro-Schema?
2 Antworten
Ich versuche Python zu Parsen Avro Schemata wie die folgenden... from avro import schema mySchema = """ { "name": "person", "type": "record", "fields": [ {"name": "firstname", "type": "string"}, {"name": "lastname", "type": "string"}, { "name": "address", "type": "record",
Was sind die Hauptunterschiede zwischen Apache Thrift, Google Protokollpuffer, MessagePack, ASN.1 und Apache Avro?
6 Antworten
Alle diese binären Serialisierung, RPC-frameworks und IDL. Ich bin interessiert an der wichtigsten Unterschiede zwischen Ihnen und Eigenschaften (Leistung, einfache Bedienung, Programmier-Sprachen-Unterstützung). Wenn du keine andere ähnliche Technologien, erwähnen Sie das bitte in eine Antwort. InformationsquelleAutor der
Avro Feld Standardwerte
2 Antworten
Habe ich einige Probleme Einstellung, Standard-Werte für die Avro Felder. Ich habe ein einfaches schema wie unten angegeben: Daten.avsc: { "namespace":"test", "type":"record", "name":"Data", "fields":[ { "name": "id", "type": [ "long", "null" ] }, { "name": "value", "type":
- 1
- 2