Cloudera Managerを利用してHadoopインストール試みたが最後にエラー

PCとネットワーク環境さえあれば開発環境を構築できる時代ですが、それでも敷居が高いのがビッグデータ系環境。並列分散処理を本格的に検証するならハードが複数必要だし、VM使って擬似分散環境を構築する場合は（VM載せるマシンに）ある程度のスペックが要求される。SSDとはいえメモリ4G、ブラウザでちょっとタブを多めに開いたり大容量ファイルコピーするだけでファンフル回転するMacbookAirでは厳しいな･･･というのを言い訳に後回しにしてきたけど、いい加減そろそろ手を出さないとなと思ってたところにCloudera Managerという環境構築ツールの存在を知り、ちょっと手を出してみました。

しかし結果は･･･当エントリのタイトルが物語っているとおり、最後の最後のサービス起動でエラー発生してインストール処理全ロールバックという結果となりました･･･。詳細は後述しますが、どうもサービス起動時のタイムアウトっぽい。Hadoopのインストール先が外付けハードディスクに置いたVMで、かつ先に述べたとおりマシンスペックが低いとは言え･･･レスポンス時間の要件厳しすぎやしませんかClouderaさん。

ということでHadoop動かすところまではいきませんでしたが、環境構築の流れは確認できたのでメモメモ。

試した環境

• CentOS 6.3
• Cloudera Manager 4.1.3

日本語サイトの紹介ページには
「インストール・ノード、コンポーネントの選択や、インストール後のセットアップを含めてたったの4分程度でクラスタを構築することができます。」
とありますが（上記ページ内の動画では5分）、僕の環境ではインストール処理開始までは確かに数分でしたが、実際のインストールには1時間以上待たされました。まあこれもマシンスペックの問題かもしれません。

Cloudera Manager インストールマシンでの事前準備

SELinuxを一旦無効に

無効にしないとCloudera Managerのインストーラに怒られて先へ進めません（Permissiveでもダメでした）。

# vim /etc/sysconfig/selinux
--
SELINUX=disabled
--
# reboot

scpコマンドインストール

Cloudera Managerは各ホストにHadoopインストールする際、インストール対象ホストへインストールファイルをコピーするのに内部でscpを使ってます。

# yum install openssh-clients

ちなみにJDKも必要なんですけど、無ければCloudera Managerと一緒にインストールしてくれます（本家Oracleの6系ですけど）。

Cloudera Manager インストール

ドキュメント

• Automated Installation of Cloudera Manager and CDH - Cloudera Support
  

ダウンロード

以下ページから辿ります。

• Cloudera Manager Downloads - Cloudera Support

ユーザー情報登録を求められますが、日本語サイトの紹介ページの動画で「（ユーザー情報）登録してくれたらうれしいです」と述べてる通り、入力はしなくてもダウンロード可能。入力画面下部の"I'd rather not fill in the form..."といったメッセージ内のリンクからダウンロードページに飛べます。

それではコマンドを叩きます。

$ wget http://archive.cloudera.com/cm4/installer/latest/cloudera-manager-installer.bin
$ chmod u+x cloudera-manager-installer.bin
# ./cloudera-manager-installer.bin

GUIのウィザードが起動するので、Nextとか同意するとかしてください。インストール処理はそこそこ時間かかりました。

ファイアウォール穴開け

7180番ポートを開けます。

# vim /etc/sysconfig/iptables
--
-A INPUT -m state --state NEW -m tcp -p tcp --dport 7180 -j ACCEPT
--
# service iptables restart

Cloudera Manager使ってHadoopクラスタ構築

ブラウザでインストールしたマシンの7180番ポートへアクセス。ログイン画面が表示されるので、ここに記載されている通りログインユーザー・パスワードに「admin」を入力してログインしてください。

後はもうウィザードに従えばいいだけなので割愛。Hadoopに手を出そうとする人なら説明なんていらんでしょ。ちなみに僕の環境の場合、前述の通りインストール処理は1時間以上かかりました。

そして、エラー発生

片手間に進捗バーを眺めること1時間弱、ようやく全てのソフトウェアのインストールが完了したと思いきや、エラーが発生してバーの色が赤色になって「ロールバックします」との非情な光景が。
ホスト一覧の「詳細」リンクを押下するとインストールログを参照できるので、確認してみたところ、以下エラーが発生していました。

BEGIN /sbin/service cloudera-scm-agent start 
cloudera-scm-agent を起動中:  [60G[ [0;31m失敗 [0;39m] 

サービスの起動でエラー発生しているので、サービスのインストールに失敗したのかと思い、いろいろと調べたところ、発見したのがHadoopのエキスパートと思われる方の以下記事。

• 覚え書き: Install Cloudera Manager and CDH4 manually
  

Cloudera Manager のインストーラーである cloudera-manager-installer.bin は、速度の遅いネットワークではタイムアウトのせいで失敗してしまう （ように見える）

この方は結局Cloudera Manager使うのを諦めて手作業でインストールしたそうです。ってことで、僕も深追いするのは諦めました。
手作業でのインストール手順は、上記の方とか他をあたってください。

Cloudera Manager アンインストール手順

僕と同じくCloudera Managerでインストールできねぇってことで無用の長物と化したのでアンインストールしたい場合は、以下ページを参照してください。

• Uninstalling Cloudera Manager Free Edition - Cloudera Support

＊

僕歪週末号〜ゲイNo!人は歯が命

ちっ、また週末過ぎちまってたぜ。

ドラッカー本って自己啓発書なん？

1週間ほど前（関東大雪の日だっけな）、ラジオ聴きながら晩飯作ってたら、「キャリアポルノ」というどっかで聞いたフレーズが飛び込んできた。どこで聞いたんだっけなと記憶を辿っていると、今度は「タニモトマユミ」と、これまたどっかで聞いた名が。そう、ご存じMay_Roma女史でした。何とラジオに電話出演しておられました。何か最近本を出版されたりと、今年は表舞台においでになるんでしょうかね（それとも元々これくらいの活動してました？）。

さて、ラジオでのテーマですが、前述してますが「キャリアポルノ」に関して。まあ「自己啓発書なんて無意味だ」といったことを述べているのですけど、一点気になったのが「自己啓発書の定義」。ラジオでも上記の元記事でもドラッカーを例に挙げていましたが、僕の感覚ではドラッカー本は自己啓発書ではなくノウハウ集・フレームワーク集ってな位置づけなんですけどどうなんでしょう。ラジオで「具体的じゃない（実際どうすればいいか書いてない）から、（実践では）役に立たない」というような事もおっしゃってましたけど、具体的でないのは様々ケースで使えるようにするために抽象化（要するにフレームワーク化）してあるからであって。まあ僕ドラッカー読んだことないですけど（『もしドラ』をブックオフでパラ読みしたくらい）。

でもまあしかし、愛すべきおばちゃんです。

僕ら歯みんな歪ている

私、自分で言うのも何ですが割とシュッとしていてコミュ障って訳でもないのに長いこと彼女がいない＋坊主頭というだけで、これまで幾度となくゲイ疑惑をかけられてきた者です。そんな私もとっくに30歳になりました。そんなおっさんの領域に踏み込みだした私ですが、昨年12月、長年の夢だった歯列矯正をついに始めました。最大の目的は「体の歪み矯正（それに伴う体質改善）」です。ちょっと自律神経が弱かったり、まっすぐ立ってるつもりなのに度々「傾いている」と言われたりすることが多いもんで。歯の歪みが肩こりなど「体の歪み」を引き起こしてる節もあるので、首都直下地震やハイパーインフレで円資産を失う前にパーッと自分に投資しようと思った次第です。ネットでもリアルでも評判が高かった青山の某クリニック（値段も高いが･･･）にお世話になってます。

歯列矯正でネックになってくるのは、治療費もそうですが一番はやはり治療期間。６〜７年くらい金具つけっぱなしってイメージをずっと抱いていたので今まで中々踏み切れなかったんですけど、最近ではあのごつい金具は全体矯正でも大体1年ぐらいで取れるみたいです。前歯だけの部分矯正ならもっと早く（＋安く）で済みます。さらに、期間をさらに短縮させるコルチコトミー手術というのもあるんですよ（高いけど･･･）。医学の進歩ってすごいですね！ただ、寝てる間にマウスピース装着して半年に一回くらいで通院するという「保定期間」ってのはどうしても2〜3年かかってしまうみたいです。

さて、僕の場合なんですが、

• 上下ともに前歯のエリアが狭い（平均的な人の歯形がUだとしたら、僕の場合はV）ので、部分矯正すると出っ歯になる。よって全体矯正の方がおすすめ。
• 全体矯正の場合は、まずは前歯のエリアを広げるために、歯の裏側にも装置をつける必要あり
• 上前歯が1本、下前歯の裏側にいっちゃってるので、これを前に出すまでは前歯が重ならないよう、奥歯表面にセメント塗りこんで常に何か噛んでいる状態にしておかなくてはならない

という状態。歯の表面だけではなく、裏側＋奥歯と、第1段階では3倍のアイテムを装着しなくちゃならない状況。ちなみにこの第1段階の期間は最大で約3〜6ヶ月。前述したコルチコトミー手術ってのを受けると、これが2〜4ヶ月に縮まるとのことだけど、手術代が結構高い（月収に匹敵するレベル）。

結局、裏側の装置が舌に触れるので喋りづらくなるわ、奥歯はセメント塗ってるから物を噛みちぎってすり潰すのが困難だわ･･･って生活は一日でも早く終わらせたかったので、大奮発して手術受けました。治療期間が短くなるだけじゃなく、それ以外にも痛みの抑制やら歯を支える骨が強くなるやらいろいろメリットがあるとのことだし。歯は一生ものですからね。

ってことで、現在絶賛矯正中です。歯の中アイテムだらけです。奥歯はやはり使えたものじゃなく、食べ物は全て流し込んでます。よって食べ物はお粥などの流動食系、豆腐などの「うがいで噛みくだける系」ばっかりです。一度、禁断症状にどうしても耐えられなくなりカップヌードル食べたところ、麺を全然噛みちぎれなくて喉につまって窒息しそうになりました。

ああ･･･早く肉食いたい･･･ラーメンつけ麺食いたい･･･オンナ食いたい･･･つまり俺はゲイじゃない･･･

歯医者豆知識

歯科医院では、「抜糸」を「ばっし」ではなく「ばついと」と読む。
「抜歯」とごっちゃになるから。

＊

[Mac 10.8]Homebrewインストール＋Rubyバージョンアップメモ

僕はアルミボディiMacの頃（2007年。OSは10.5）からのマカーなんですけど、開発環境はずっとBootcamp上のWindows。かつても今も職場のPCは当たり前のようにWindowsだし（Excel･･･）、以前の会社ではJava時々.NETで降Linux確率0%です今日も元気にいってらっしゃいって状況だったからWindowsオンリー、現在はLAMPオンリーだけどVM使ってるからホストOSが何であろうと関係ない･･･ってことでズルズルとWindows使い続けてきたけど、いい加減飽きてきたしShift-JIS鬱陶しくなってきたしiPhone5買ったしって事でMacに移行しました。ついでにOSも最新の10.8に。ウィンドウサイズ変更が全枠でできるようになったのはGJ（昔は右下端でしかできなかった）、スクロールの挙動がスマホ仕様になったのはまあ慣れるとして、なぜSpacesを外した！？

というわけで、まずは各種ソフトウェア・言語環境を手っ取り早く構築・管理するために、パッケージ管理システムHomebrewをインストールしました。その時の作業メモ。
ついでにデフォで入ってたRubyを1.9系にバージョンアップ。

試した環境

• Mac OS 10.8(Mountain Lion)
• Java 6u37
• Homebrew 0.9.3

Javaインストール

OS 10.8の場合、Javaが未インストールの状態でJavaを使用する何らかのプログラムを実行すると、「Java無いです。インストールしますか？」的なダイアログが表示され、ご親切にもOSがインストールしてくれます（10.7以前はどうか知らん）。ターミナルでjavaコマンドを叩くのが一番手っ取り早いでしょう。

ただし、この場合にインストールされるバージョンは6となります。最新の7が欲しい場合は自力でインストールしましょう（この手順は割愛）。

Xcode Command Line Tools インストール

単独インストールしてもいいですが、Xcodeインストールしとけばワンクリックでインストールできます。

XcodeはApp Storeでその辺のアプリ感覚でインストール可能。Appleの開発者アカウント登録は不要でした。Xcodeインストールしたら、起動して
Preferences > Downloads > Components
リスト内の「Command Line Tools」を「Install」。

Homebrewインストール

公式サイト下部にインストールコマンド記載されているのでコピペして実行。
Homebrew — MacPorts driving you to drink? Try Homebrew!

$ /usr/bin/ruby -e "$(curl -fsSkL raw.github.com/mxcl/homebrew/go)"
$ brew -v
Homebrew 0.9.3

サブコマンド一覧は「man brew」で確認してください。

ていうかMacにはRubyがデフォルトで入ってるのね知らんかった。
でもバージョンは1.8.7か･･･。

Rubyが最新でなきゃ夜も眠れない方々へ送る子守唄

rbenvを利用して、最新バージョンのRubyを同居させてそっちに切り替えます。

rbenvインストール

先ほどインストールしたHomebrew使えば一発。
インストールしたら環境設定ファイルに設定追加して再読込。

$ brew install rbenv
$ brew install ruby-build
$ echo 'eval "$(rbenv init -)"' >> ~/.bash_profile
$ source ~/.bash_profile

Ruby お好みのバージョンインストール

まずは-lオプションで用意されているバージョンのリストを確認し、あとはお望みのバージョンをインストール。
今回僕は1.9.3の最新版を選択しました。

$ rbenv install -l
Available versions:
･･･
1.9.1-p378
1.9.2-p180
1.9.2-p290
1.9.2-p318
1.9.2-p320
1.9.3-dev
1.9.3-p0
1.9.3-p125
1.9.3-p194
1.9.3-p286
1.9.3-p327
1.9.3-p362
1.9.3-preview1
1.9.3-rc1
2.0.0-dev
2.0.0-preview1
2.0.0-preview2
･･･
$ rbenv install 1.9.3-p362
$ rbenv global 1.9.3-p362
$ ruby -v
ruby 1.9.3p362 (2012-12-25 revision 38607) [x86_64-darwin12.2.0]

参考

• [Mac] Mountain Lionへパッケージ管理「Homebrew」をインストールする手順のメモ | Tools 4 Hack
• 【初心者向け】Mac(OSX Lion)でRuby on Railsを動かすための5ステップ « pplog.org