Funke - Gruppe, indem er mit dataframe syntax?

Was ist die syntax für eine groupby-unter Spark ohne sql/hiveContext? Ich weiß, dass ich tun kann,

DataFrame df = some_df
df.registreTempTable("df");    
df1 = sqlContext.sql("SELECT * FROM df GROUP BY col1 HAVING some stuff")

aber wie mache ich es mit einer syntax wie 

df.select(df.col("*")).groupBy(df.col("col1")).having("some stuff")

Diese .having() scheint nicht zu existieren.

InformationsquelleAutor lte__ | 2016-08-09
  1. 20

    Ja, es existiert nicht. Sie drücken die gleiche Logik, mit agg gefolgt von where:

    df.groupBy(someExpr).agg(somAgg).where(somePredicate)
    InformationsquelleAutor zero323
  2. 1

    Sagen Sie zum Beispiel, wenn ich möchte finden Sie Produkte in jeder Kategorie werden mit Gebühren von weniger als 3200 und Ihre Anzahl darf nicht weniger als 10:

    • SQL-Abfrage: 
    sqlContext.sql("select Category,count(*) as 
count from hadoopexam where HadoopExamFee<3200  
group by Category having count>10")
    • DataFrames API
    from pyspark.sql.functions import *

df.filter(df.HadoopExamFee<3200)
  .groupBy('Category')
  .agg(count('Category').alias('count'))
  .filter(column('count')>10)
    InformationsquelleAutor Sri_Karthik
Schreibe einen Kommentar