この記事はApache Spark Advent Calendar 2015 22日目の記事です。
完成したTableauダッシュボード。
ことり隊というのはこれ↓のことです。
ゲームセンターにあるUFOキャッチャーのプライズです。
ゲームセンターにもいろいろ特徴がありまして、ことり隊が置いてあるゲームセンターとそうでないゲームセンターがあります。
ゲームセンターをしらみつぶしに回ってことり隊を探すのも大変なので、Twitterを利用してことり隊の入荷情報をキャッチすることにしました。
今回からリアルタイムデータストアのDruidをやっていきます。
初回はチュートリアルです。
wikipediaからデータを取ってきて、リアルタイム集計しています。
https://www.youtube.com/watch?v=xO1LBLSwHds
この記事はGeek Women Advent Calendar 2015 18日目のために書きました。
2015年12月1日-3日の日程でStrata+Hadoop World Singaporeが開催されました。
Strata+Hadoop Worldは世界最大規模のビッグデータ・カンファレンスなのですが、アジアでの開催は今年が初めてです。
アジアにおけるビッグデータの活用とアジア市場でのビッグデータの温度感を見たくて、こちらのカンファレンスに参加してきました。
http://conferences.oreilly.com/strata/big-data-conference-sg-2015
中でも特に面白かったセッションをいくつかご紹介させて頂きたいと思います。
clouderaの中に人によるclouderaが開発しているApache Kudoのアーキテクチャのセッションです。
Apache Kudo はOpen Sourceで、HDFSとHBaseのいいとこ取りをしたようなミドルウェアです。
Kudoは1,000億行のレコードを高速に扱え、シーケンシャルな読み込み・ランダムな読み込みとシーケンシャルな書き込み・ランダムな書き込みを同時に行えるそうです。
Unity３回めは重力の操作です。
十字キーでボールを動かせるようにします。
今回も下記の本通りにやっていきます。
Unity5 3D/2Dゲーム開発実践入門 作りながら覚えるスマートフォンゲーム開発
Gitをターミナル上でいい感じに使えるツールのtigをざっくりと紹介します。
SparkSQLリファレンス第四部、関数編・Window関数です。
SparkSQLではデータの切り出し集計を行うWindow関数を使うことができます。
Window計算自体はWindow関数以外の集計関数で行うこともできます。
Git part2は前回の復習と、トラブルシューティングです。
$ git checkout filename $ git checkout .
ドットを指定すると、更新ファイル全部が対象になります。
