Erstellen Funke Dataframe aus einer SQL-Abfrage

Ich bin sicher, dies ist eine einfache SQLContext Frage, aber ich finde keine Antwort in der Funke docs oder Stackoverflow

Möchte ich, um einen Funken zu erzeugen Dataframe von einer SQL-Abfrage auf der MySQL -

Ich habe zum Beispiel eine komplizierte MySQL-Abfrage wie

SELECT a.X,b.Y,c.Z FROM FOO as a JOIN BAR as b ON ... JOIN ZOT as c ON ... WHERE ...

und ich will einen Dataframe mit den Spalten X,Y und Z

Ich herausgefunden, wie das laden ganzer Tabellen in Funken, und ich konnte laden Sie alle, und führen Sie dann die Verbindung und-Auswahl. Das ist jedoch sehr ineffizient. Ich möchte nur zum laden der Tabelle generiert, die durch meine SQL-Abfrage.

Hier ist meine derzeitige Annäherung der code, das nicht funktioniert. Mysql-connector hat eine option "dbtable", die verwendet werden können, laden Sie eine ganze Tabelle. Ich hoffe, es ist ein Weg, um eine Abfrage

  val df = sqlContext.format("jdbc").
    option("url", "jdbc:mysql://localhost:3306/local_content").
    option("driver", "com.mysql.jdbc.Driver").
    option("useUnicode", "true").
    option("continueBatchOnError","true").
    option("useSSL", "false").
    option("user", "root").
    option("password", "").
    sql(
"""
select dl.DialogLineID, dlwim.Sequence, wi.WordRootID from Dialog as d
join DialogLine as dl on dl.DialogID=d.DialogID
join DialogLineWordInstanceMatch as dlwim o n dlwim.DialogLineID=dl.DialogLineID
join WordInstance as wi on wi.WordInstanceID=dlwim.WordInstanceID
join WordRoot as wr on wr.WordRootID=wi.WordRootID
where d.InSite=1 and dl.Active=1
limit 100
"""
    ).load()

Dank
Peter

InformationsquelleAutor user1902291 | 2016-07-14

OK, hier ist die Antwort...

Fand ich diese hier Bulk-Daten-migration, die durch Spark-SQL

Den parameter dbname kann jede Abfrage eingewickelt in Klammern mit einem alias. Also in meinem Fall, ich brauche, um dies zu tun...

val query = """
  (select dl.DialogLineID, dlwim.Sequence, wi.WordRootID from Dialog as d
    join DialogLine as dl on dl.DialogID=d.DialogID
    join DialogLineWordInstanceMatch as dlwim on dlwim.DialogLineID=dl.DialogLineID
    join WordInstance as wi on wi.WordInstanceID=dlwim.WordInstanceID
    join WordRoot as wr on wr.WordRootID=wi.WordRootID
    where d.InSite=1 and dl.Active=1
    limit 100) foo
"""

val df = sqlContext.format("jdbc").
  option("url", "jdbc:mysql://localhost:3306/local_content").
  option("driver", "com.mysql.jdbc.Driver").
  option("useUnicode", "true").
  option("continueBatchOnError","true").
  option("useSSL", "false").
  option("user", "root").
  option("password", "").
  option("dbtable",query).
  load()

Als erwartet, laden jede Tabelle als eigene Dataframe und fügen Sie Sie in Spark war sehr ineffizient.

InformationsquelleAutor user1902291

1

Wenn Sie Ihren table bereits in Ihrem SQLContext, Sie könnten einfach verwenden sql Methode.
```
val resultDF = sqlContext.sql("SELECT a.X,b.Y,c.Z FROM FOO as a JOIN BAR as b ON ... JOIN ZOT as c ON ... WHERE ...")
```
By the way, ist dies nicht der Kern deiner Frage, so füge ich dies als Kommentar. Wenn Sie schauen, wie Sie zu erreichen vorhergehenden Schritte (Verbindung zu mysql, etc...), Sie können dies überprüfen, post Funke + MySQL-Beispiel
Danke. Ich habe bereits gefunden, so laden Sie eine gesamte Tabelle in die Funke. Aber mein problem ist, ich habe eine komplizierte Abfrage-Beitritt viele große Tabellen, und die Auswahl nur ein paar Spalten. Ich hatte gehofft, erstellen Sie ein einfaches dataframe mit nur die ausgewählten Spalten

InformationsquelleAutor Alberto Bonsanto

TL;DR: erstellen Sie einfach einen Blick in Ihre Datenbank.

Detail:
Ich habe eine Tabelle t_city in meiner postgres-Datenbank, auf die ich eine Ansicht erstellen:

create view v_city_3500 as
    select asciiname, country, population, elevation
    from t_city
    where elevation>3500
    and population>100000

select * from v_city_3500;

 asciiname | country | population | elevation
-----------+---------+------------+-----------
 Potosi    | BO      |     141251 |      3967
 Oruro     | BO      |     208684 |      3936
 La Paz    | BO      |     812799 |      3782
 Lhasa     | CN      |     118721 |      3651
 Puno      | PE      |     116552 |      3825
 Juliaca   | PE      |     245675 |      3834

In der Funke-shell:

val sx= new org.apache.spark.sql.SQLContext(sc)

var props=new java.util.Properties()
props.setProperty("driver", "org.postgresql.Driver" )
val url="jdbc:postgresql://buya/dmn?user=dmn&password=dmn"

val city_df=sx.read.jdbc(url=url,table="t_city",props)
val city_3500_df=sx.read.jdbc(url=url,table="v_city_3500",props)

Ergebnis:

city_df.count()
Long = 145725

city_3500_df.count()
Long = 6

InformationsquelleAutor WillemM

mit MYSQL Lesen/laden von Daten so etwas wie unten

val conf = new SparkConf().setAppName("SparkMe Application").setMaster("local[2]")
    val sc = new SparkContext(conf)
    sc.setLogLevel("ERROR")
    val sqlContext = new org.apache.spark.sql.SQLContext(sc)
    val jdbcDF = sqlContext.read.format("jdbc").options(
      Map("url" -> "jdbc:mysql://<host>:3306/corbonJDBC?user=user&password=password",
        "dbtable" -> "TABLE_NAME")).load()

schreiben von Daten in die Tabelle, wie unten

import java.util.Properties
    val prop = new Properties()
    prop.put("user", "<>")
    prop.put("password", "simple$123")
    val dfWriter = jdbcDF.write.mode("append")
    dfWriter.jdbc("jdbc:mysql://<host>:3306/corbonJDBC?user=user&password=password", "tableName", prop)

erstellen dataframe aus der Abfrage etwas tun, wie unten

val finalModelDataDF = {
      val query = "select * from table_name"
      sqlContext.sql(query)
    };

    finalModelDataDF.show()

InformationsquelleAutor Santhosh Hirekerur

0

speichern die Ausgabe einer Abfrage, um ein neues dataframe, einfachen Satz ist das Ergebnis gleich zu einer variable:
```
val newDataFrame = spark.sql("SELECT a.X,b.Y,c.Z FROM FOO as a JOIN BAR as b ON ... JOIN ZOT as c ON ... WHERE ...")
```
und jetzt newDataFrame ist ein dataframe mit allen dataframe Funktionalitäten zur Verfügung, um es.

Danke, aber ich brauche beitreten, die viele Tabellen in SQL, und wählen Sie nur ein paar Spalten. Ich will keine Last für jede Tabelle, in Funken. Kann ich eine SQL-Tabelle zu laden, die über eine Abfrage? Siehe die details, die ich Hinzugefügt, um meine Frage.

InformationsquelleAutor Kristian

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.