バツイチとインケンのエンジニアブログ
プログラムやプログラムじゃないこと

5分でできるHDFSクラスタ構築方法

2014-12-15
書いた人 : バツイチ
カテゴリ : HDFS | タグ : Cloudera Manager

概要

HDFSをベースとして動くアプリケーションは数多くありますが、HDFSクラスタを構築するのは少々面倒な感じがします。
しかし、Cloudera Managerを使えば5分でHDFSクラスタを構築できてしまうのです。

今回はこのCloudera Managerを使ってLinux(CentOS6.5)4台に

  • Hadoop(HDFS + YARN)
  • Hive

をインストールしていきたいと思います。
この記事を書いた時のCloudera Managerのバージョンは5.2.1です。

Cloudera Managerのインストール

全サーバ必要条件

  • selinuxが無効であること
  • 各ホスト間でsshログイン可能であること
  • 各ホスト同士がFQDNで参照可能であること

まずはselinuxを無効にします。

vi /etc/sysconfig/selinux
~
#SELINUX=enforcing
SELINUX=disabled
~

次に、各ホスト間で共通ユーザがいない場合は作成します。
この場合パスワードも同じである必要があります。
もしくは公開鍵認証でもかまいません。

ssh設定を確認します。

vi /etc/ssh/sshd_confg
# 公開鍵認証を行う場合yesであること
PubkeyAuthentication yes
# パスワード認証を行う場合yesであること
PasswordAuthentication yes

最後にhostsにホスト情報を追加し、FQDNでホストを参照できるようにします。

vi /etc/hosts
172.xx.xx.107  a007.hostd.jp a007.hostd.jp a007
172.xx.xx.108  a008.hostd.jp a008.hostd.jp a008
172.xx.xx.109  a009.hostd.jp a009.hostd.jp a009

全サーバ再起動します。

Cloudera Managerインストーラを起動

■ Clouderaのダウンロードページ

いずれか1台のサーバでインストーラを実行します。

wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
chmod u+x cloudera-manager-installer.bin
sudo ./cloudera-manager-installer.bin

ターミナルに表示されるライセンスに同意しインストーラを進めると、
下記のように表示され、インストーラが終了します。

image120

指示の通り、ブラウザからhttp://<fqdn>:7180/を開きます。

Cloudera Managerセットアップ

ブラウザからhttp://<fqdn>:7180/を開くと、ログインを求められます。

image121

インストーラの最終的ページに書いてあったユーザ名とパスワードでログインします。
するとインストールするエディションを聞かれます。

image122

私は当然無料のCloudera Expressを選択しました。
次に、CDHクラスタをインストールするホストを選択します。

image123

Parcelという仕組みを使うか、パッケージからインストールを行うかとか、
どのバージョンのCDHを使うかとか選択します。

image124

Parcelを選択しておくと、後からClouderaManager経由でアプリケーションを追加できるようになります。
次にJDKをインストールするか聞かれますが、ここでインストールされるJDKは、パスの通っている場所にはインストールされません。

image125

最後にホスト間のSSHを設定します。

image127

ここまで終えるとCloudera Managerクラスタのインストールが開始します。

すべてのホストでインストールを終えるとステータスが表示されるのですが、

image129

swappinessに関する警告が出ているので修正します。

vi /etc/sysctl.conf
~
vm.swappiness = 0
~
sysctl -p

HDFS, YARN, Hiveクラスタの構築

次はクラスタの構築です。
引き続き、ブラウザでCloudera Managerのセットアッププロセスを続行します。

用意されているインストール・セットを選択するか、’カスタム’で個別にインストールアプリケーションを選択するかを選びます。

image130

私はカスタムにしたので、下記のようにアプリケーションの選択が表示されました。

image131

※↑では「Hue」にチェックをつけていますが、Cloudera ManagerからHueをインストールするのはあまりおすすめできません。
個別にインストールしたほうがHueの拡張性を保持できると思いました。

次に、どのホストに何のロールを割り当てるかを選択します。

image132

Cloudera Managerが使用するDBの設定を行います。

image133

続行すると、セットアップが行われます。

image134

完了すると、Cloudera Manager コンソールにクラスタの状態が表示されるようになります。

image135

以上でHDFSクラスタの構築完了です。
クラスタ構築に必要な設定は、すべてCloudera Managerがやってくれるため超絶かんたんです。

このエントリーをはてなブックマークに追加
Tweet

← Strata+Hadoop Worldカンファレンス2〜3日目
Apache Spark+IPython notebook(&Mesos)インストール〜動作確認 →

 

最近書いた記事

  • Ryzen7 3800XT でmini ITXオープンフレームPCを作る
  • Pythonで機械学習入門 競馬予測
  • HP ENVY 15 クリエイターモデルレビューとRAID0解除
  • JRA-VAN データラボを使って、競馬データを収集する
  • Surface Pro 3 にubuntu18.04を入れる

カテゴリー

  • Android
  • Apache Flink
  • API
  • AWS
  • bazel
  • BigQuery
  • Cassandra
  • Docker
  • Druid
  • Elasticsearch
  • Git
  • Golang
  • gradle
  • HDFS
  • JavaScript
  • jvm
  • Linux
  • MongoDB
  • MySQL
  • Nginx
  • Nodejs
  • PaaS
  • PHP
  • Python
  • RabbitMQ
  • Raspberry Pi
  • React Native
  • Redis
  • Riak
  • rust
  • scala
  • Scheme
  • SEO
  • solr
  • Spark
  • spray
  • Sublime Text
  • Swift
  • Tableau
  • Unity
  • WebIDE
  • Wordpress
  • Youtube
  • ひとこと
  • カンファレンス
  • スケジューラ
  • マイクロマウス
  • 広告
  • 技術じゃないやつ
  • 株
  • 機械学習
  • 競馬
  • 自作キーボード
  • 自然言語処理

アーカイブ

  • 2021年4月
  • 2021年2月
  • 2021年1月
  • 2020年3月
  • 2020年2月
  • 2020年1月
  • 2019年10月
  • 2019年9月
  • 2019年8月
  • 2019年7月
  • 2019年6月
  • 2019年5月
  • 2019年4月
  • 2019年2月
  • 2019年1月
  • 2018年12月
  • 2018年11月
  • 2018年9月
  • 2018年5月
  • 2018年3月
  • 2018年2月
  • 2017年9月
  • 2017年8月
  • 2017年6月
  • 2017年4月
  • 2017年3月
  • 2017年1月
  • 2016年10月
  • 2016年9月
  • 2016年8月
  • 2016年6月
  • 2016年5月
  • 2016年4月
  • 2016年3月
  • 2016年2月
  • 2016年1月
  • 2015年12月
  • 2015年11月
  • 2015年10月
  • 2015年9月
  • 2015年8月
  • 2015年6月
  • 2015年5月
  • 2015年2月
  • 2015年1月
  • 2014年12月
  • 2014年11月
  • 2014年9月
  • 2014年6月
  • 2014年5月
  • 2014年3月
  • 2014年2月
  • 2014年1月
  • 2013年12月
  • 2013年11月
  • 2013年10月
  • 2013年9月
  • 2013年8月

書いた人

  • バツイチちゃん
  • インケンくん

このブログについて

エンジニアとしての考え方が間逆な2人がしょーもないこと書いてます。

バツイチ

アイコン

IT業界で働くエンジニアです。名前の通りバツイチです。
理論や抽象的概念が好きだけど人に説明するのが下手。

インケン

アイコン

バツイチちゃんと同じ業界で働いています。
理論とか開発手法とかは正直どうでもよくて、
生活する上で役に立つことに使いたい

Copyright 2025 バツイチとインケンのエンジニアブログ