概要
HDFSをベースとして動くアプリケーションは数多くありますが、HDFSクラスタを構築するのは少々面倒な感じがします。
しかし、Cloudera Managerを使えば5分でHDFSクラスタを構築できてしまうのです。
今回はこのCloudera Managerを使ってLinux(CentOS6.5)4台に
- Hadoop(HDFS + YARN)
- Hive
をインストールしていきたいと思います。
この記事を書いた時のCloudera Managerのバージョンは5.2.1です。
Cloudera Managerのインストール
全サーバ必要条件
- selinuxが無効であること
- 各ホスト間でsshログイン可能であること
- 各ホスト同士がFQDNで参照可能であること
まずはselinuxを無効にします。
vi /etc/sysconfig/selinux ~ #SELINUX=enforcing SELINUX=disabled ~
次に、各ホスト間で共通ユーザがいない場合は作成します。
この場合パスワードも同じである必要があります。
もしくは公開鍵認証でもかまいません。
ssh設定を確認します。
vi /etc/ssh/sshd_confg # 公開鍵認証を行う場合yesであること PubkeyAuthentication yes # パスワード認証を行う場合yesであること PasswordAuthentication yes
最後にhostsにホスト情報を追加し、FQDNでホストを参照できるようにします。
vi /etc/hosts 172.xx.xx.107 a007.hostd.jp a007.hostd.jp a007 172.xx.xx.108 a008.hostd.jp a008.hostd.jp a008 172.xx.xx.109 a009.hostd.jp a009.hostd.jp a009
全サーバ再起動します。
Cloudera Managerインストーラを起動
いずれか1台のサーバでインストーラを実行します。
wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin chmod u+x cloudera-manager-installer.bin sudo ./cloudera-manager-installer.bin
ターミナルに表示されるライセンスに同意しインストーラを進めると、
下記のように表示され、インストーラが終了します。
指示の通り、ブラウザからhttp://<fqdn>:7180/を開きます。
Cloudera Managerセットアップ
ブラウザからhttp://<fqdn>:7180/を開くと、ログインを求められます。
インストーラの最終的ページに書いてあったユーザ名とパスワードでログインします。
するとインストールするエディションを聞かれます。
私は当然無料のCloudera Expressを選択しました。
次に、CDHクラスタをインストールするホストを選択します。
Parcelという仕組みを使うか、パッケージからインストールを行うかとか、
どのバージョンのCDHを使うかとか選択します。
Parcelを選択しておくと、後からClouderaManager経由でアプリケーションを追加できるようになります。
次にJDKをインストールするか聞かれますが、ここでインストールされるJDKは、パスの通っている場所にはインストールされません。
最後にホスト間のSSHを設定します。
ここまで終えるとCloudera Managerクラスタのインストールが開始します。
すべてのホストでインストールを終えるとステータスが表示されるのですが、
swappinessに関する警告が出ているので修正します。
vi /etc/sysctl.conf ~ vm.swappiness = 0 ~ sysctl -p
HDFS, YARN, Hiveクラスタの構築
次はクラスタの構築です。
引き続き、ブラウザでCloudera Managerのセットアッププロセスを続行します。
用意されているインストール・セットを選択するか、’カスタム’で個別にインストールアプリケーションを選択するかを選びます。
私はカスタムにしたので、下記のようにアプリケーションの選択が表示されました。
※↑では「Hue」にチェックをつけていますが、Cloudera ManagerからHueをインストールするのはあまりおすすめできません。
個別にインストールしたほうがHueの拡張性を保持できると思いました。
次に、どのホストに何のロールを割り当てるかを選択します。
Cloudera Managerが使用するDBの設定を行います。
続行すると、セットアップが行われます。
完了すると、Cloudera Manager コンソールにクラスタの状態が表示されるようになります。
以上でHDFSクラスタの構築完了です。
クラスタ構築に必要な設定は、すべてCloudera Managerがやってくれるため超絶かんたんです。