Apache Spark: SparkSQLリファレンス〜関数編・文字列関数〜

select ascii( e ) as n from ... 

DataFrame:

df.select( ascii( $"e" ) as "n" ) 

例) eが”apple”だとしたら97が返ります。

select base64( bins ) from ...

DataFrame:

df.select( base64( bins ) )

select concat( first, second ) from ...

DataFrame:

df.select( concat( $"first", $"second" ) )

例) first=”app”, second=”le” の場合、上記は”apple”が返ります。

select concat_ws( '_', first, second ) from ...

DataFrame:

df.select( concat_ws( "_", $"first", $"second" ) )

例) first=”app”, second=”le” の場合、上記は”app_le” が返ります。

select decode( bins, 'UTF-8' ) from ...

DataFrame:

df.select( decode( $"bins", "UTF-8" ) )

select encode( bins, 'UTF-8' ) from ...

DataFrame:

df.select( encode( $"bins", "UTF-8" ) )

select format_number( x, 2 ) from ...

DataFrame:

df.select( format_number( $"x", 2 ) )

例) “128.56”

select
  format_string( '%s: %02d', name, age )
from ...

DataFrame:

df.select(
  format_string( '%s: %02d', $"name", $"age" ) )

例) name=”nami”, age=”9″の場合 “nami: 09″が返ります。
printfの書式化文字列については下記のページが詳しいです。
Java書式付き出力

select initcap( e ) from ...

DataFrame:

df.select( initcap( $"e" ) )

例) c=”hello world”の場合、”Hello World”が返ります。

select instr( str, 'ro' ) from ...

DataFrame:

df.select( instr( $"str", "ro" ) )

例) c=”Borrow or rob?”の場合、4が返ります。

select length( e ) from ...

DataFrame:

df.select( length( $"e" ) )

例) c=”Borrow or rob?”の場合、14が返ります。

select lower( e ) from ...

DataFrame:

df.select( lower( $"e" ) )

例) c=”Hello World”の場合、”hello world”が返ります。

select levenshtein( l, r ) from ...

DataFrame:

df.select( levenshtein( $"l", $"r" ) )

select locate( 'ro', str, 5 ) from ...

DataFrame:

df.select( locate( "ro", $"str", 5 ) )

例) c=”Borrow or rob?”の場合、11が返ります。

select lpad( str, len, pad ) from ...

DataFrame:

df.select( lpad( $"str", 10, ":::::" ) )

例) str=”hello”の場合、”:::::hello”が返ります。

select ltrim( e ) from ...

DataFrame:

df.select( ltrim( $"e" ) )

例) e=” \t\nApple “の場合、”Apple “が返ります。

select
  regexp_extract( e, '(\d+)-(\d+)', 1 )
from ...

DataFrame:

df.select(
  regexp_extract( $"e", "(\\d+)-(\\d+)", 1 ) )

例) e=”100-200″の場合、”100″が返ります。

select
  regexp_replace( e, '(\d+)', 'num' )
from ...

DataFrame:

df.select(
  regexp_replace( $"e", "(\\d+)", "num" ) )

例) e=”100-200″の場合、”num-num”が返ります。

select unbase64( e ) from ...

DataFrame:

df.select( unbase64( e ) )

select rpad( str, len, pad ) from ...

DataFrame:

df.select( rpad( $"str", 10, ":" ) )

例) str=”hello”の場合、”hello:::::”が返ります。

select repeat( str, 3 ) from ...

DataFrame:

df.select( repeat( $"str", 3 ) 

例) str=”hello”の場合、”hellohellohello”が返ります。

select reverse( str ) from ...

DataFrame:

df.select( reverse( $"str" ) )

例) str=”Borrow or rob?”の場合、”?bor ro worroB”が返ります。
※回文の良さがいきてないですね(；´∀｀)

select rtrim( e ) from ...

DataFrame:

df.select( rtrim( $"e" ) )

例) e=” \t\nApple “の場合、” \t\nApple”が返ります。

select soundex( e ) from ...

DataFrame:

df.select( soundex( $"e" ) )

例) e=”apple”の場合、”A140″が返ります。

select split( str, '[1-9]+' ) from ...

DataFrame:

df.select( split( $"str", '[1-9]+' ) )

例) str=”aa2bb3cc”の場合、Seq( “aa”, “bb”, “cc” )が返ります。

select substring( str, 1, 2 ) from ..

DataFrame:

df.select( substring( $"str", 1, 2 ) )

例) str=”apple”の場合、”ap”が返ります。

select
  substring_index( str, '.', 2 )
from ...

DataFrame:

df.select(
  substring_index( $"str", '.', 2 ) )

例) str=”www.apache.org”の場合、”www.apache”が返ります。

select
  translate( src, 'abcd', '123' )
from ...

DataFrame:

df.select(
  translate( $"src", "abcd", "123" ) )

例) str=”banana was dead”の場合、”21n1n1 w1s e1″が返ります。

select trim( e ) from ...

DataFrame:

df.select( trim( $"e" ) )

例) e=” \t\nApple “の場合、”Apple”が返ります。

select upper( e ) from ...

DataFrame:

df.select( upper( $"e" ) )

例) e=”Hello World”の場合、”HELLO WORLD”が返ります。