Apache Spark: SparkSQLリファレンス〜関数編・集計関数〜

2015-11-13
書いた人 :
カテゴリ : | タグ : , ,

SparkSQLリファレンス第四部、関数編・集計関数です。

集計関数

SQL関数の花形、集計関数です。
基本的にはGROUP BYと一緒に使用します。
※GROUP BYを使用しないとグルーピングを伴わない集計になり、全件カウントなどに使います。

[続きをもっと見る…]

よく分かるかもしれないGit動画

2015-11-08
書いた人 :
カテゴリ : ,

Gitよく使うけど、実はよくわかってないことがあるので、動画にしてみました。

プロジェクトのリポジトリをforkしてプルリクしていく運用スタイルをやっていきます。

流れはこんな感じ。文字で書くとわかりづらいので、動画見てね。

forkする

共通のプロジェクトリポジトリを自分の個人リポジトリにforkします。それをcloneします。

共通リポジトリをupstreamとして、git remote add で追加します。


$ git remote add upstream git://xxxxxxxxxxxxx
$ git remote -v #確認

[続きをもっと見る…]

Mac に ipython notebook と Sparkをインストール

2015-11-03
書いた人 :
カテゴリ : , ,

Apache Spark Part3の番外編で自分のMacにspark入れてみます。

手順は以下の通り。

 

１．AnacondaのサイトからOS X用のパッケージをダウンロードしてきて、インスコ。インストールディレクトリはデフォルトまま

 

２．Apache Sparkのサイトから 1.5.1 Pre-build for Hadoop2.6 and laterをダウンロードしてきて、書類（Document）ディレクトリに解凍

 

３．解凍したsparkフォルダの中のconfの設定ファイルの名前変更


$ cd ~/Documents/spark-1.5.1-bin-hadoop2.6
$ cp conf/spark-env.sh.template conf/spark-env.sh
$ cp conf/spark-defaults.conf.template conf/spark-defaults.conf

[続きをもっと見る…]