Apache Spark: SparkSQLリファレンス〜関数編・集計関数〜

select
  approxCountDistinct( e )
from
  table
group by
  a

DataFrame:

df.groupBy(
  $"a"
).agg(
  approxCountDistinct( $"e" )
) 

select
  avg( e )
from
  table
group by
  a

DataFrame:

df.groupBy(
  $"a"
).agg(
  avg( $"e" )
) 

例) グループ内アイテムが ( 1, 3, 3, 9 )の場合、4が返ります。

select
  count( e )
from
  table
group by
  a

DataFrame:

df.groupBy(
  $"a"
).agg(
  count( $"e" )
) 

select
  count( distinct e )
from
  table
group by
  a

DataFrame:

df.groupBy(
  $"a"
).agg(
  countDistinct( $"e" )
) 

例) ( apple, apple banana, orange )のようなデータがあった場合に、
count : 4
countDistinct: 3
が返ります。

select
  first( e )
from
  table
group by

DataFrame:

df.groupBy(
  $"a"
).agg(
  first( $"e" )
) 

select
  last( e )
from
  table
group by
  a

DataFrame:

df.groupBy(
  $"a"
).agg(
  last( $"e" )
) 

select
  max( e )
from
  table
group by
  a

DataFrame:

df.groupBy(
  $"a"
).agg(
  max( $"e" )
) 

例) グループ内アイテムが ( 1, 3, 3, 9 )の場合、9が返ります。

select
  mean( e )
from
  table
group by
  a

DataFrame:

df.groupBy(
  $"a"
).agg(
  mean( $"e" )
) 

select
  min( e )
from
  table
group by
  a

DataFrame:

df.groupBy(
  $"a"
).agg(
  min( $"e" )
) 

例) グループ内アイテムが ( 1, 3, 3, 9 )の場合、1が返ります。

select
  stddev( e )
from
  table
group by
  a

DataFrame:

df.groupBy(
  $"a"
).agg(
  stddev( $"e" )
) 

select
  stddev_pop( e )
from
  table
group by
  a

DataFrame:

df.groupBy(
  $"a"
).agg(
  stddev_pop( $"e" )
) 

select
  stddev_samp( e )
from
  table
group by
  a

DataFrame:

df.groupBy(
  $"a"
).agg(
  stddev_samp( $"e" )
) 

select
  sum( e )
from
  table
group by
  a

DataFrame:

df.groupBy(
  $"a"
).agg(
  sum( $"e" )
) 

例) グループ内アイテムが ( 1, 3, 3, 9 )の場合、16が返ります。

select
  sum( distinct e )
from
  table
group by
  a

DataFrame:

df.groupBy(
  $"a"
).agg(
  sumDistinct( $"e" )
) 

例) グループ内アイテムが ( 1, 3, 3, 9 )の場合、13が返ります。