Funke: Wie RDD.Landkarte/mapToPair Arbeit mit Java

Habe ich einige Paare cw (Integer i, String word) mit ich Anzahl der vorkommen von Wort in eine text-Datei.

Ich möchte einfach für jedes paar ein neues paar c1 (Integer i, 1) mit 1 festen Anzahl.

Es scheint wirklich trivial, aber ich habe nicht verstanden, wie Karte/mapToPair Funktionen, die wirklich funktionieren.

JavaPairRDD<Integer, Integer> c1 = cw.map(??? -> new Tuple2<Integer, Integer>(??, 1));

Ich arbeite mit Java-8.

InformationsquelleAutor rugrag | 2016-12-09

  1. 5

    Wenn ich Sie richtig verstehe, haben Sie unter JavaPairRDD.

    JavaPairRDD<Integer, String> cw = ...;

    Nun möchten Sie erstellen unter JavaPairRDD wo der zweite Wert 1 ist.

    JavaPairRDD<Integer, Integer> c1;

    Um dieses zu erhalten, müssen Sie zuerst zu extrahieren JavaRDD von cw JavaPairRDD und für diese müssen Sie rufen map Funktion wie unten. Extrahieren wir den ersten Wert aus paar.

    JavaRDD<Integer> cw1 = cw.map(tuple -> tuple._1());

    Nun erstellen Sie neue JavaPairRDD von JavaRDD mit mapToPair Funktion wie unten.

    JavaPairRDD<Integer, Integer> c1 = cw1.mapToPair(i -> new Tuple2<Integer, Integer>(i, 1));

    In eine einzige Zeile schreiben können, wie

    JavaPairRDD<Integer, Integer> c1 = cw.map(tuple -> tuple._1()).mapToPair(i -> new Tuple2<Integer, Integer>(i, 1));

    InformationsquelleAutor abaghel

  2. 0

    Dies ist, was Sie versuchen können:

    JavaPairRDD<Integer, Integer> tuples = filtered.mapToPair(
                                            f -> new Tuple2<Integer, Integer>(
                                                       Integer.parseInt(f[0]), 
                                                       Integer.parseInt(f[1])
                                       ));

    InformationsquelleAutor KayV

  3. -1

    Einfach ... cw.mapValues(v -> 1);

    Aus der api-Dokumentation für JavaPairRDD.mapValues() ...

    Pass jeder Wert im Schlüssel-Wert-paar RDD durch eine map-Funktion
    ohne änderung der Schlüssel; dabei bleibt der original-RDD ' s
    die Partitionierung.

    Warum die Markierung nach unten? Dies ist eine viel sauberere Lösung als Antwort auf die Frage ... ich möchte einfach für jedes paar ein neues paar c1 (Integer i, 1) mit 1 festen Zahl

    InformationsquelleAutor Brad

Schreibe einen Kommentar