So erstellen Sie ein Diagramm in graphx

Ich bin neu in scala und graphx und habe Probleme beim konvertieren einer tsv-Datei zu einem Diagramm.
Ich habe einen flachen tab-getrennte Datei wie unten:

n1 P1 n2
n3 P1 n4
n2 P2 n3
n3 P2 n1
n1 P3 n4
n3 P3 n2

wo n1,n2,n3,n4 sind die Knoten des Graphen und R1,P2,P3 sind die Eigenschaften, die die Kanten zwischen den Knoten.

Wie kann ich konstruiere einen Graphen aus der oben angegebenen Datei in SPARK-GraphX ?
Beispiel-code wäre sehr hilfreich.

InformationsquelleAutor Soumitra | 2014-10-13
  1. 13

    Gibt es einige code für Sie (natürlich sollten Sie bauen es in der jar-Datei mit sbt):

    package vinnie.pooh

import org.apache.spark.SparkContext._
import org.apache.spark._
import org.apache.spark.graphx._
import org.apache.spark.rdd.RDD


object Main {
  def main(args: Array[String]) {

    if (args.length != 1) {
      System.err.println(
        "Should be one parameter: <path/to/edges>")
      System.exit(1)
    }

    val conf = new SparkConf()
      .setAppName("Load graph")
      .setSparkHome(System.getenv("SPARK_HOME"))
      .setJars(SparkContext.jarOfClass(this.getClass).toList)

    val sc = new SparkContext(conf)

    val edges: RDD[Edge[String]] =
      sc.textFile(args(0)).map { line =>
        val fields = line.split(" ")
        Edge(fields(0).toLong, fields(2).toLong, fields(1))
      }

    val graph : Graph[Any, String] = Graph.fromEdges(edges, "defaultProperty")


    println("num edges = " + graph.numEdges);
    println("num vertices = " + graph.numVertices);
  }
}

    und ich habe edge.txt:

    1 Prop12 2
2 Prop24 4
4 Prop45 5
5 Prop52 2
6 Prop65 7

    und dann, zum Beispiel, können Sie starten Sie es, lokal:

    $SPARK_HOME>./bin/Funke-submit --Klasse vinnie.pooh.Main --master local[2] ~/justBuiltJar.jar ~/edge.txt

    InformationsquelleAutor Hlib
Schreibe einen Kommentar