昨日はサーバ側でてんてこ舞いしていてクライアント側のhbaseviewerをいじれなかったので

今日はそっちを重点的にやってみました。

んで、本番業務を想定して（まだリサーチ中だったりします）１カラムで割と大きなデータをぶち込んで

そうですねぇＴＣＰの通信ヘッダの１日分とかを１レコードとかｗ

hbaseは平気です、なんでも食べます。よい子ですｗ

スキーマ設計？なんすかそれｗ

オラクルマスター？

なんすかそれｗ

left join？

なんすかそれｗ

で、ですね。hadoopのmap/reduceつかってhbaseに100kレコードほどぶち込んでおきます。

テーブルはキーは日時で、カラムファミリーはcontentsとして

ぶち込むときは

contents:dataと生意気にもqualifier（修飾子）をつけてみました。

hbaseviewerてのはflash builder 4 お試し（お試し期間残り８日になってたよｗ）を使って現在作成中のツールです。まあプロジェクト始まっても使えると思うので今のうちに作っておいて損はないとおもってつくってます。

どうやってデータをhbaseviewerにもっていくかとか、そういう話はおいておいて

とにかく、hbaseの内容を専用のサーバを立ててsocket使ってクライアントのhbaseviewerで読む

そこでの話しなんですが

hbaseviewerは転送されてきたデータ（ＸＭＬだとだけいっておきましょう）からテーブル構造を把握して

今回の場合だと、rowidとcolumnfamily(contents)の２つをカラムに持ったDataGridにキー(日時）とカラムcontents:data（ＴＣＰヘッダ（長いよ１日分はｗ））の値をrowとして表示する。

要するに１行が激しく縦に長いリストができるわけです。

いや、それを想定していました。

ところがですよ・・・・

ん？見切れてないかい？

およよよ

確かに見切れている。

ていうかどう見ても１行しか、１ヘッダのそれも先頭の一行だけしかないじゃない？

なぜ？

デバッガで１行ずつとめてみて、調べること小一時間・・・・

行数を計算しているところ発見。

DataGrid.as内のcommitProperties()

rowHeightを決定しているのはどうもここらしい。

ところが、100件ずつレコードを読むようにしていたのに一度しかとおらない。

あ。。。もしかして最初に１回だけ？

う。。。まじすか？

じゃあ、先頭が１行だったら２レコード目とかが何行でも１行？

ぐはああああ

てか、バグじゃね？

しょうがないから

override protected function commitProperties() : voidっすよ(あ、DataGrid継承して作ったくらすですよ）

もともとのやつはiterator.currentで１レコードだけ見ているように（多分先頭（ほんとに先頭かはちょっとあやしいーー；））

なってたから

var maxRowHeight : uint = 0;

while(iterator.next())

{

super.commitProperties();

maxRowHeight = Math.max(maxRowHeight,rowHeight);

}

setRowHeight(maxRowHeigth);

で全部まわして最大値を最終的なrowHeightにするっすよ

そうすると最大値で全レコードの高さが決るので

めでたし、めでたし

いや、でも１行しかない行は１行でいいような。。。

ま・・・その辺がへっぽこということでｗ

まあ、いろいろあって
試験的にＰＣ４台でHadoop/HBase構成してます。

ＰＣ４台起動して
#start-all.sh
#start-hbase.sh

hadoop jar xmlserver.jar ←　xmlserver.jarはflashbuilder(のこり１０日きってますｗ）で作ったhbaseviewerの相手のサーバ

ってやって

hbaseviewer起動

サーバのIPうって、テーブルリストだして
中身を確認しましたよ。

おや？
ないじゃない？

あれ？またsafemode?
そういえば昨日もあがんなかったんだった。

またかよと思って。
#stop-hbase.sh
#hadoop dfsadmin -safemode leave

で、safemode解除

再び
#start-hbase.sh
で起動して

hbaseview(自作ね）起動

・・・・
むむ・・・

こないじゃん。。。

namenodeのログ見るとなにやらExceptionが・・・

Cannot delete /tmp/hadoop-root/mapred/system. Name node is in safe mode.
The ratio of reported block 0.???? has not reached threshold 0.9990　

みたいなのがでてる。。。。
ずーっとでる
小一時間出る（でている間仕事さぼるｗ）

ちなみに/tmp/hadoop-root/mapred./systemは
/tmp/hadoop-root/mapredまではあるんだけどsystemが存在しない。

４台とも確認したけどない。。。。

なんじゃろか？

そういえば、最近面倒でhbaseもhadoopもデーモンあげたままで
shutdown nowやっちまってたけど
そのせいかな？（多分間違いないｗ）

いろいろぐぐってみたけど
確かにこういう現象は起こってるみたいだけど
ＦＷのせいじゃないかとか、slaveにはつながっているかとか
一応は確認してみたよ、slaveはmasterからみえてるし、FWもきっていることは
#service iptables statusで確認した。

無いものを消しにいくのはなぜだろう？

あ、そうか、ソースあるんだから/tmp/hadoop-root/mapred/ｓｙｓtem
はどこから拾ってきたか探せば
なんでこれがずっとでるかわかるってもんか！

でも解析がへたれな私は
#rm -fr /tmp/hadoop-root （ＰＣ４台とも）

で初期化しましたとさ

めでたし、めでたし（あははははは

こんなところがあったんだねぇ
あ。。。着替えるの忘れたT_T