Apache SparkからGoogle Cloud Strageを使う

2015-01-09
書いた人 :
カテゴリ : , | タグ : , , ,

Google Cloud StorageをHadoopのファイルシステムとして使うことのできるようになるGoogle Cloud Storage Connector for HadoopというライブラリがGoogleから出ています。

これを使うと、SparkはHDFSではなくGoogle Cloudに対してジョブを実行できるようになります。
[続きをもっと見る…]

最強のJVMチューニング・ツール: GCログを可視化するGCViewerとリモート接続でプロファイリング可能なVisualVM

2014-12-23
書いた人 :
カテゴリ : | タグ : ,

この記事はJVM Advent Calendar 2014 – Qiitaのために書きました。

「GCログ」や「GCViewer」のキーワードからこのサイトに訪れてくれる方が多いので、改めてGCログやヒープダンプの見方についてまとめることにしました。

GCログのビューアとして有名なGCViewerとヒープの解析ツールとしてすごく優秀なVisualVM、この２つを紹介しつつJVMのプロファイリングを行う方法を解説したいと思います。

[続きをもっと見る…]

5分でできるHDFSクラスタ構築方法

2014-12-15
書いた人 :
カテゴリ : | タグ :

概要

HDFSをベースとして動くアプリケーションは数多くありますが、HDFSクラスタを構築するのは少々面倒な感じがします。
しかし、Cloudera Managerを使えば5分でHDFSクラスタを構築できてしまうのです。

今回はこのCloudera Managerを使ってLinux(CentOS6.5)４台に

[続きをもっと見る…]

Strata+Hadoop Worldカンファレンス１日目

2014-11-19
書いた人 :
カテゴリ : , , | タグ : ,

2014年11月、スペインのバルセロナでStrata+Hadoop Worldカンファレンスが開催されました。
このカンファレンスはO’ReillyとあのClouderaが主催する世界最大規模のBig Dataカンファレンスです。

「Hadoop World」と銘打ってますが、必ずしもHadoopプラットフォームに限ったことではなくCassandra, Storm, Spark/Shark, Drillなどのトラックもあるよ、と謳われていました。

[続きをもっと見る…]