[CakePHP]アラビア語はSQLまでも右から左へ受け流す 他

アラビア語をINSERTしたSQL文をブラウザで見るとカラムと値の並びが逆だった

仕事でアラビア語を登録するSQLを実行する機会がありました。
アラビア語を登録するテーブルの構造は以下のような構造。

Field
id
word
delete_flag
created
modified

"word"列にアラビア語がセットされるのですけど、INSERT文をCakePHPにて実行し、Cakeが出力するSQLデバッグを確認したところ･･･



カラムと値の対応が逆になってました。でもテーブル確認するとちゃんと正常にデータ登録されてました。てかブラウザのページソース確認してみると、カラムと値の並びはちゃんと揃ってました。
ちなみに上記テーブルをCSV出力してWindowsのEmEditorで開いた時も並びは逆になってました。

アラビア語といえば右から左へ綴る言語ってことで、ブラウザとかエディタが表示制御してるんでしょうね。SQLに限らず、左から右へと綴る言語とアラビア語を混在させた文章がどう表示されるかいろいろ試してみたいな。ま、それをやって特に得るものはないから優先度超低だけど。

アラビア語の文字コードとかのメモ殴り書き

携わってる仕事は別にグローバルでは無いんですけどね。

• ISO-8859-6, windows-1256 : アラビア語
• GB2312 : 中国語
• EUC-KR : 韓国語
  ※mb_detect_orderで「EUC-JP」の後に定義してると「EUC-JP」と検出されてしまった。
  「EUC-JP」の前に定義すると今度は「EUC-JP」が「EUC-KR」と検出。
  つまりどちらの言語も先に出現する方のエンコーディングとして検出されるっぽい
• タイ語はUTF-8

グローバル展開するならMySQLのエンコーディングはutf8ではなくutf8mb4を使うべき

【デブサミ2012】16-A-6 レポート グリーに学ぶ、グローバル展開の最新事情 （2/2）：CodeZine

CakePHPではMySQLのTINYINT型はboolean型扱いとなる

データの種類や区分を表すのに整数値割り当てて使うってのはまあ当たり前の話ですが･･･
この区分値を格納するカラムの型をTINYINT(1)にし、Modelでこの区分値の条件指定して検索かけたところ、いろいろと意図してない結果が発生しました。

• 検索条件に2以上の値を指定しても=1のデータが返ってきた
• 値が0のデータの検索結果をダンプすると、カラムの値は0ではなくbool(false)となっていた
  →PHPで判定条件を「=== 0」と厳密判定にしてたら大変だね

どうも「0とそれ以外」の2種類しか認識されない、つまりboolean扱いされているっぽい。
app/tmp/cache/models配下にあるモデルキャッシュを確認してみたところ、問題のカラムの型は確かにboolean型になってました。

･･･
s:10:"kbn_column";a:4:{s:4:"type";s:7:"boolean";･･･
･･･

Cakeの仕様なんでしょうね。僕全然知らなかったのですけど、これって知ってなきゃ恥ずかしいレベル？

まあとにかく、0と1以外の値を持ちうる場合はCHAR(1)にしときましょう。

＊

Cloudera Managerを利用してHadoopインストール試みたが最後にエラー

PCとネットワーク環境さえあれば開発環境を構築できる時代ですが、それでも敷居が高いのがビッグデータ系環境。並列分散処理を本格的に検証するならハードが複数必要だし、VM使って擬似分散環境を構築する場合は（VM載せるマシンに）ある程度のスペックが要求される。SSDとはいえメモリ4G、ブラウザでちょっとタブを多めに開いたり大容量ファイルコピーするだけでファンフル回転するMacbookAirでは厳しいな･･･というのを言い訳に後回しにしてきたけど、いい加減そろそろ手を出さないとなと思ってたところにCloudera Managerという環境構築ツールの存在を知り、ちょっと手を出してみました。

しかし結果は･･･当エントリのタイトルが物語っているとおり、最後の最後のサービス起動でエラー発生してインストール処理全ロールバックという結果となりました･･･。詳細は後述しますが、どうもサービス起動時のタイムアウトっぽい。Hadoopのインストール先が外付けハードディスクに置いたVMで、かつ先に述べたとおりマシンスペックが低いとは言え･･･レスポンス時間の要件厳しすぎやしませんかClouderaさん。

ということでHadoop動かすところまではいきませんでしたが、環境構築の流れは確認できたのでメモメモ。

試した環境

• CentOS 6.3
• Cloudera Manager 4.1.3

日本語サイトの紹介ページには
「インストール・ノード、コンポーネントの選択や、インストール後のセットアップを含めてたったの4分程度でクラスタを構築することができます。」
とありますが（上記ページ内の動画では5分）、僕の環境ではインストール処理開始までは確かに数分でしたが、実際のインストールには1時間以上待たされました。まあこれもマシンスペックの問題かもしれません。

Cloudera Manager インストールマシンでの事前準備

SELinuxを一旦無効に

無効にしないとCloudera Managerのインストーラに怒られて先へ進めません（Permissiveでもダメでした）。

# vim /etc/sysconfig/selinux
--
SELINUX=disabled
--
# reboot

scpコマンドインストール

Cloudera Managerは各ホストにHadoopインストールする際、インストール対象ホストへインストールファイルをコピーするのに内部でscpを使ってます。

# yum install openssh-clients

ちなみにJDKも必要なんですけど、無ければCloudera Managerと一緒にインストールしてくれます（本家Oracleの6系ですけど）。

Cloudera Manager インストール

ドキュメント

• Automated Installation of Cloudera Manager and CDH - Cloudera Support
  

ダウンロード

以下ページから辿ります。

• Cloudera Manager Downloads - Cloudera Support

ユーザー情報登録を求められますが、日本語サイトの紹介ページの動画で「（ユーザー情報）登録してくれたらうれしいです」と述べてる通り、入力はしなくてもダウンロード可能。入力画面下部の"I'd rather not fill in the form..."といったメッセージ内のリンクからダウンロードページに飛べます。

それではコマンドを叩きます。

$ wget http://archive.cloudera.com/cm4/installer/latest/cloudera-manager-installer.bin
$ chmod u+x cloudera-manager-installer.bin
# ./cloudera-manager-installer.bin

GUIのウィザードが起動するので、Nextとか同意するとかしてください。インストール処理はそこそこ時間かかりました。

ファイアウォール穴開け

7180番ポートを開けます。

# vim /etc/sysconfig/iptables
--
-A INPUT -m state --state NEW -m tcp -p tcp --dport 7180 -j ACCEPT
--
# service iptables restart

Cloudera Manager使ってHadoopクラスタ構築

ブラウザでインストールしたマシンの7180番ポートへアクセス。ログイン画面が表示されるので、ここに記載されている通りログインユーザー・パスワードに「admin」を入力してログインしてください。

後はもうウィザードに従えばいいだけなので割愛。Hadoopに手を出そうとする人なら説明なんていらんでしょ。ちなみに僕の環境の場合、前述の通りインストール処理は1時間以上かかりました。

そして、エラー発生

片手間に進捗バーを眺めること1時間弱、ようやく全てのソフトウェアのインストールが完了したと思いきや、エラーが発生してバーの色が赤色になって「ロールバックします」との非情な光景が。
ホスト一覧の「詳細」リンクを押下するとインストールログを参照できるので、確認してみたところ、以下エラーが発生していました。

BEGIN /sbin/service cloudera-scm-agent start 
cloudera-scm-agent を起動中:  [60G[ [0;31m失敗 [0;39m] 

サービスの起動でエラー発生しているので、サービスのインストールに失敗したのかと思い、いろいろと調べたところ、発見したのがHadoopのエキスパートと思われる方の以下記事。

• 覚え書き: Install Cloudera Manager and CDH4 manually
  

Cloudera Manager のインストーラーである cloudera-manager-installer.bin は、速度の遅いネットワークではタイムアウトのせいで失敗してしまう （ように見える）

この方は結局Cloudera Manager使うのを諦めて手作業でインストールしたそうです。ってことで、僕も深追いするのは諦めました。
手作業でのインストール手順は、上記の方とか他をあたってください。

Cloudera Manager アンインストール手順

僕と同じくCloudera Managerでインストールできねぇってことで無用の長物と化したのでアンインストールしたい場合は、以下ページを参照してください。

• Uninstalling Cloudera Manager Free Edition - Cloudera Support

＊

僕歪週末号〜ゲイNo!人は歯が命

ちっ、また週末過ぎちまってたぜ。

ドラッカー本って自己啓発書なん？

1週間ほど前（関東大雪の日だっけな）、ラジオ聴きながら晩飯作ってたら、「キャリアポルノ」というどっかで聞いたフレーズが飛び込んできた。どこで聞いたんだっけなと記憶を辿っていると、今度は「タニモトマユミ」と、これまたどっかで聞いた名が。そう、ご存じMay_Roma女史でした。何とラジオに電話出演しておられました。何か最近本を出版されたりと、今年は表舞台においでになるんでしょうかね（それとも元々これくらいの活動してました？）。

さて、ラジオでのテーマですが、前述してますが「キャリアポルノ」に関して。まあ「自己啓発書なんて無意味だ」といったことを述べているのですけど、一点気になったのが「自己啓発書の定義」。ラジオでも上記の元記事でもドラッカーを例に挙げていましたが、僕の感覚ではドラッカー本は自己啓発書ではなくノウハウ集・フレームワーク集ってな位置づけなんですけどどうなんでしょう。ラジオで「具体的じゃない（実際どうすればいいか書いてない）から、（実践では）役に立たない」というような事もおっしゃってましたけど、具体的でないのは様々ケースで使えるようにするために抽象化（要するにフレームワーク化）してあるからであって。まあ僕ドラッカー読んだことないですけど（『もしドラ』をブックオフでパラ読みしたくらい）。

でもまあしかし、愛すべきおばちゃんです。

僕ら歯みんな歪ている

私、自分で言うのも何ですが割とシュッとしていてコミュ障って訳でもないのに長いこと彼女がいない＋坊主頭というだけで、これまで幾度となくゲイ疑惑をかけられてきた者です。そんな私もとっくに30歳になりました。そんなおっさんの領域に踏み込みだした私ですが、昨年12月、長年の夢だった歯列矯正をついに始めました。最大の目的は「体の歪み矯正（それに伴う体質改善）」です。ちょっと自律神経が弱かったり、まっすぐ立ってるつもりなのに度々「傾いている」と言われたりすることが多いもんで。歯の歪みが肩こりなど「体の歪み」を引き起こしてる節もあるので、首都直下地震やハイパーインフレで円資産を失う前にパーッと自分に投資しようと思った次第です。ネットでもリアルでも評判が高かった青山の某クリニック（値段も高いが･･･）にお世話になってます。

歯列矯正でネックになってくるのは、治療費もそうですが一番はやはり治療期間。６〜７年くらい金具つけっぱなしってイメージをずっと抱いていたので今まで中々踏み切れなかったんですけど、最近ではあのごつい金具は全体矯正でも大体1年ぐらいで取れるみたいです。前歯だけの部分矯正ならもっと早く（＋安く）で済みます。さらに、期間をさらに短縮させるコルチコトミー手術というのもあるんですよ（高いけど･･･）。医学の進歩ってすごいですね！ただ、寝てる間にマウスピース装着して半年に一回くらいで通院するという「保定期間」ってのはどうしても2〜3年かかってしまうみたいです。

さて、僕の場合なんですが、

• 上下ともに前歯のエリアが狭い（平均的な人の歯形がUだとしたら、僕の場合はV）ので、部分矯正すると出っ歯になる。よって全体矯正の方がおすすめ。
• 全体矯正の場合は、まずは前歯のエリアを広げるために、歯の裏側にも装置をつける必要あり
• 上前歯が1本、下前歯の裏側にいっちゃってるので、これを前に出すまでは前歯が重ならないよう、奥歯表面にセメント塗りこんで常に何か噛んでいる状態にしておかなくてはならない

という状態。歯の表面だけではなく、裏側＋奥歯と、第1段階では3倍のアイテムを装着しなくちゃならない状況。ちなみにこの第1段階の期間は最大で約3〜6ヶ月。前述したコルチコトミー手術ってのを受けると、これが2〜4ヶ月に縮まるとのことだけど、手術代が結構高い（月収に匹敵するレベル）。

結局、裏側の装置が舌に触れるので喋りづらくなるわ、奥歯はセメント塗ってるから物を噛みちぎってすり潰すのが困難だわ･･･って生活は一日でも早く終わらせたかったので、大奮発して手術受けました。治療期間が短くなるだけじゃなく、それ以外にも痛みの抑制やら歯を支える骨が強くなるやらいろいろメリットがあるとのことだし。歯は一生ものですからね。

ってことで、現在絶賛矯正中です。歯の中アイテムだらけです。奥歯はやはり使えたものじゃなく、食べ物は全て流し込んでます。よって食べ物はお粥などの流動食系、豆腐などの「うがいで噛みくだける系」ばっかりです。一度、禁断症状にどうしても耐えられなくなりカップヌードル食べたところ、麺を全然噛みちぎれなくて喉につまって窒息しそうになりました。

ああ･･･早く肉食いたい･･･ラーメンつけ麺食いたい･･･オンナ食いたい･･･つまり俺はゲイじゃない･･･

歯医者豆知識

歯科医院では、「抜糸」を「ばっし」ではなく「ばついと」と読む。
「抜歯」とごっちゃになるから。

＊