ついにこの日がやってきました。
Eucalyptusの導入を始めて幾星霜（≒一月＋α）。ええ、長かったです。
CC側で（手動で）起動したDHCPデーモンがようやく噛み合ったらしく、
正しいIPアドレスを割り当ててくれました。
ただし、STATICモードとして指定したIPとは別のIPアドレスを割り当てたので、
※（DHCP設定のIP割り当て範囲）＞（STATICモードの設定の割り当て範囲）
STATICモードとして正常に機能しているかは怪しいです。むしろSYSTEMモード的？
ここらへんも追々調べる必要があります。
まだ確認事項はそれなりに残っていますが、
何にせよ、ようやくここまで辿り着きました。ばんざいばんざい。
/* もう少しでコアラが嫌いになるところでした */
//-----------------------------------------------------
最近自宅で、院試の勉強に必要な教科書やノートのサルベージ中。
この際、理論系の知識の再構築を徹底的にやってしまうのも手か。
実際問題、院試でこの研究室に残れないと色々笑えない。
（でなきゃ、私は何のために奥村研究室etcの内薦を目前に「筆答試験を受けます」と即答したのか）
国際経験も確かに必要だけれど、
今の私では負荷が大きすぎるし（…まさか体調まで崩すとは、自分でも呆れ気味）、
「院試を確実にパスする」方が最優先事項なので、
もう少し段階を踏む方向にシフトチェンジしよう。
ようやくEucalyptusの方が、進展の兆しを見せ始めたので、
こちらもここからが本番といえばそう。前期の間に、可能なら論文化したいし。
多少の損は承知の上で安全運転。
2010年5月27日木曜日
2010年5月24日月曜日
STATICモードで奮闘中
エラーメッセージは余りログに吐かれなくなってきたが、
（インスタンスが正常に立ち上がらない系統のそれらを除けば）
いかんせん上手くいかない。
Eucalyptus側でDHCPサーバーが動作していない様で、
これではこちらが指定したIPアドレスも割り当てられるはずもない。
このあたりをもう少し調査する必要がありそう。
それと、インスタンスの立ち上がる時間が20～30分近くかかるのも問題。
原因はEucalyptus側が、インスタンスの立ち上げ、終了に応じて、
一々VMイメージをコピー、削除しているのが原因。
キャッシュしておけるのかどうかは現在不明。
Web上の記事と比較しても遅すぎるので、こちらのネットワーク環境の問題の可能性もある。
インストールに引っかかってからかれこれ一月。
色々勉強にはなっているものの、そろそろ突破できないといい加減苦しい。
「できないことを覚えながらやる」のが前提なので当然といえば当然だが、めげる。
あと、StreamWeb発表＠フロリダの件も、
手続き関連に尽く引っかかってこちらもグッタリ。
無理してでも行った方がいいのか、
もう今回は旗色が悪いのか（院試も受ける必要が出たし）
自分でも良く分からなくなってきた。
先生が帰ってきてから一旦状況を整理する必要がありそう。
情けなしも致し方なし。
（インスタンスが正常に立ち上がらない系統のそれらを除けば）
いかんせん上手くいかない。
Eucalyptus側でDHCPサーバーが動作していない様で、
これではこちらが指定したIPアドレスも割り当てられるはずもない。
このあたりをもう少し調査する必要がありそう。
それと、インスタンスの立ち上がる時間が20～30分近くかかるのも問題。
原因はEucalyptus側が、インスタンスの立ち上げ、終了に応じて、
一々VMイメージをコピー、削除しているのが原因。
キャッシュしておけるのかどうかは現在不明。
Web上の記事と比較しても遅すぎるので、こちらのネットワーク環境の問題の可能性もある。
インストールに引っかかってからかれこれ一月。
色々勉強にはなっているものの、そろそろ突破できないといい加減苦しい。
「できないことを覚えながらやる」のが前提なので当然といえば当然だが、めげる。
あと、StreamWeb発表＠フロリダの件も、
手続き関連に尽く引っかかってこちらもグッタリ。
無理してでも行った方がいいのか、
もう今回は旗色が悪いのか（院試も受ける必要が出たし）
自分でも良く分からなくなってきた。
先生が帰ってきてから一旦状況を整理する必要がありそう。
情けなしも致し方なし。
2010年5月19日水曜日
インスタンスが立った
ようやく。
ただしまだログインできない…
（起動時にフリーズしている模様。Xenからコンソールでログインすると、初回のみ起動中のログっぽい表示がダンプされる）。
とりあえず、Eucalyptusが使うDHCPサーバーの設定を適切にする必要がある。
ログインできない問題については、VMイメージの問題か？
あるいはlibvirtかXenの問題。とりあえず、Xenで起動するイメージを、st00からコピーしてきてXen単独で起動するかチェックする必要はありそう。
ただしまだログインできない…
（起動時にフリーズしている模様。Xenからコンソールでログインすると、初回のみ起動中のログっぽい表示がダンプされる）。
とりあえず、Eucalyptusが使うDHCPサーバーの設定を適切にする必要がある。
ログインできない問題については、VMイメージの問題か？
あるいはlibvirtかXenの問題。とりあえず、Xenで起動するイメージを、st00からコピーしてきてXen単独で起動するかチェックする必要はありそう。
2010年5月17日月曜日
2010年5月16日日曜日
立て、立つんだ、インスタンス
イメージの登録は滞りなくできた模様。
意気揚々とインスタンスを立ち上げるも、状態が"pending"から"running"に変わらないまま。
/var/log/eucalyptus/nc.log を見てみると、
libvirt: cannot read directory /etc/xen: Permission denied (code=38)
libvirt: Domain not found: xenUnifiedDomainLookupByName (code=42)
とのメッセージが延々表示される。
昨日残っていたlibvirtがらみのエラーが悪さをしているらしい。
ちょいと調べてみたら、本家のドキュメントにて、
となると問題なのはcode=42の方で。
……これを書いている間に気づいたけれども、
インスタンス起動の操作をしているノードがCLC側なのが問題なのか？
そろそろ時間がなくなってきたので明日再考しよう。
意気揚々とインスタンスを立ち上げるも、状態が"pending"から"running"に変わらないまま。
/var/log/eucalyptus/nc.log を見てみると、
libvirt: cannot read directory /etc/xen: Permission denied (code=38)
libvirt: Domain not found: xenUnifiedDomainLookupByName (code=42)
とのメッセージが延々表示される。
昨日残っていたlibvirtがらみのエラーが悪さをしているらしい。
ちょいと調べてみたら、本家のドキュメントにて、
- On some distros (CentOS), if you are using Eucalyptus with Xen, you might see an error like,
[EUCAERROR ] libvirt: cannot read directory /etc/xen: Permission denied (code=38)
This does not affect the node and can be ignored.……無視ですかそうですか。
となると問題なのはcode=42の方で。
……これを書いている間に気づいたけれども、
インスタンス起動の操作をしているノードがCLC側なのが問題なのか？
そろそろ時間がなくなってきたので明日再考しよう。
2010年5月15日土曜日
Eucalyptusインストール完了？
気を取り直してインストール作業続行。
ログファイルを読み直してみると、（nc側にlibvirt絡みのエラーが見えたが、致命的かは不明）致命的なエラーは無い模様。ノード（se00）、クラスタもクラウドコントローラー側から認識されている。
これでイメージの登録に移って良さそうなので、後日やってみよう。
VMインスタンスを立ち上げる(＋ログインする)ところまで出来れば、
とりあえずはマイルストーンになるはず。
ログファイルを読み直してみると、（nc側にlibvirt絡みのエラーが見えたが、致命的かは不明）致命的なエラーは無い模様。ノード（se00）、クラスタもクラウドコントローラー側から認識されている。
これでイメージの登録に移って良さそうなので、後日やってみよう。
VMインスタンスを立ち上げる(＋ログインする)ところまで出来れば、
とりあえずはマイルストーンになるはず。
状況整理
先日無事？4～5月の進捗報告が終わりました。
とりあえずStreamTwitterの方は開発環境が整ったのでよし。
次の一月はStreamCloudの方に重点をおいて取り組む予定。
今度は、詰まったらさっさとメーリングリストに投げる方針にしようと思います。
騒がしくなると思いますが、予めすみません。
今日は、一旦Eucalyptus用のマシンの構成などを再確認して、
現在までに得た情報を整理してみようと思います。
蛇足：
昨日の進捗報告の途中で「Google日本語入力がアホ」という発言をしましたが、
誤解の無いように注釈をば。
私が「アホ」という形容をする場合は、
「ちょっと足りないところがあるけども可愛げがある」というような意味です。
殊更、貶めるとか悪く言うとかの意図はありません。
とりあえずStreamTwitterの方は開発環境が整ったのでよし。
次の一月はStreamCloudの方に重点をおいて取り組む予定。
今度は、詰まったらさっさとメーリングリストに投げる方針にしようと思います。
騒がしくなると思いますが、予めすみません。
今日は、一旦Eucalyptus用のマシンの構成などを再確認して、
現在までに得た情報を整理してみようと思います。
蛇足：
昨日の進捗報告の途中で「Google日本語入力がアホ」という発言をしましたが、
誤解の無いように注釈をば。
私が「アホ」という形容をする場合は、
「ちょっと足りないところがあるけども可愛げがある」というような意味です。
殊更、貶めるとか悪く言うとかの意図はありません。
2010年5月12日水曜日
Javaが少し好きになりました
慣れれば結構便利。
本命はいつもC++ですが。
TwitterのStreamingAPIが時々途絶える件、
Pythonのライブラリ側の問題だった様子。
（※人様のを使ってるくせに酷い…）
Javaに切り替えてみたところ止まらなくなった上に高速化。
稼働しだした仮設リアルタイムビューワーの測定によると、
約60Tweet/sec程スピードが出ています。
1時間で22万弱のポストを拾える計算。
本家の流速を500T/s弱と仮定すると、およそ10％強。
gardenhoseの取得率は通常の3倍～5倍と諸説あるようで、
それにJava側でのオーバーヘッドを加味すると妥当なところか。
現在、SystemSに渡す前の時点でJSONデコードを挟んでいるので、
その処理が終わらないと次のTweetを取得できない（はず）。
（取得しそこねたTweetは流されるはず。ゲームのフレームスキップと同じ（例えが悪い））
取得側でJSONをそのままSystemSに投げて、Tweetを分散、
各UDOP内でJSONパースをすれば（要Boostのインストール）もう少し早くなりそう。
マルチスレッド化するとか上手いことして、
取得側のJavaをさらに高速化すれば100T/sに近づけるかもしれない。
20:00頃までビューワーのデコレーションをして、
明日はEucalyptusの続き。それを適当に切り上げて資料作成。第一部完。
初回特有の問題だが、
このひと月は開発環境を稼働させるのに殆どが費やされたのが地味に痛い。
Eucalyptusの方はまだ終わっていないし。
そもそもこちらはそれ自体が勉強なので何ともな部分もあるけど。
StreamTwitterが軌道に乗れば、
StreamCloudの方にまとまった時間を割けるので、
このまま軌道に乗ってくれればいいけれど。日々是精進。
追記。
ビューワーをマルチスレッド化したら80t/sまで高速化。やったー。
本命はいつもC++ですが。
TwitterのStreamingAPIが時々途絶える件、
Pythonのライブラリ側の問題だった様子。
（※人様のを使ってるくせに酷い…）
Javaに切り替えてみたところ止まらなくなった上に高速化。
稼働しだした仮設リアルタイムビューワーの測定によると、
約60Tweet/sec程スピードが出ています。
1時間で22万弱のポストを拾える計算。
本家の流速を500T/s弱と仮定すると、およそ10％強。
gardenhoseの取得率は通常の3倍～5倍と諸説あるようで、
それにJava側でのオーバーヘッドを加味すると妥当なところか。
現在、SystemSに渡す前の時点でJSONデコードを挟んでいるので、
その処理が終わらないと次のTweetを取得できない（はず）。
（取得しそこねたTweetは流されるはず。ゲームのフレームスキップと同じ（例えが悪い））
取得側でJSONをそのままSystemSに投げて、Tweetを分散、
各UDOP内でJSONパースをすれば（要Boostのインストール）もう少し早くなりそう。
マルチスレッド化するとか上手いことして、
取得側のJavaをさらに高速化すれば100T/sに近づけるかもしれない。
20:00頃までビューワーのデコレーションをして、
明日はEucalyptusの続き。それを適当に切り上げて資料作成。第一部完。
初回特有の問題だが、
このひと月は開発環境を稼働させるのに殆どが費やされたのが地味に痛い。
Eucalyptusの方はまだ終わっていないし。
そもそもこちらはそれ自体が勉強なので何ともな部分もあるけど。
StreamTwitterが軌道に乗れば、
StreamCloudの方にまとまった時間を割けるので、
このまま軌道に乗ってくれればいいけれど。日々是精進。
追記。
ビューワーをマルチスレッド化したら80t/sまで高速化。やったー。
2010年5月9日日曜日
インストールがまだ終わらない
Eucalyptusのインストールに中々トドメを刺せない。困り物。
rpmのインストールまでは上手く行っている気がするのだが、
ノードの登録が上手く出来ていない様子。
（ノード追加コマンドを叩いても、そ知らぬ顔）
バージョンを1.6.1に下げてみるのも手だが、
それで解決するかは分からないし、ごちゃごちゃになるのも御免被りたいし、どうしたものか。
GW過ぎて、大分煮詰まって焦げ付き始めた感。
めげずに日々是精進。
rpmのインストールまでは上手く行っている気がするのだが、
ノードの登録が上手く出来ていない様子。
（ノード追加コマンドを叩いても、そ知らぬ顔）
バージョンを1.6.1に下げてみるのも手だが、
それで解決するかは分からないし、ごちゃごちゃになるのも御免被りたいし、どうしたものか。
GW過ぎて、大分煮詰まって焦げ付き始めた感。
めげずに日々是精進。
2010年5月6日木曜日
やや振り出しに戻る
Eucalyptusの設定が中々キマらないので、
version1.5.2にダウングレードしようかと企んだが、
CentOS5.4に対応したのはver1.6.*だけという事実。
日本ユーザー会のwikiは現在、1.5.2までしか翻訳されていない。
結局、本家のドキュメント（英語）を読むのが一番早そうという結論に。
2週間前からそうしてれば良かったといえばそうですが、致し方なし。これも勉強。
それと、Twitterモニタは、AS3.0だとセキュリティによって、
通信部分が制限（解除はできるが、面倒＋難＋よく分からん）されているので、
一旦Java+ProcessingでJavaアプリとして作成。
可能であれば、後々アプレットにする。
3歩進んで5歩下がった感じだが、これも勉強。
version1.5.2にダウングレードしようかと企んだが、
CentOS5.4に対応したのはver1.6.*だけという事実。
日本ユーザー会のwikiは現在、1.5.2までしか翻訳されていない。
結局、本家のドキュメント（英語）を読むのが一番早そうという結論に。
2週間前からそうしてれば良かったといえばそうですが、致し方なし。これも勉強。
それと、Twitterモニタは、AS3.0だとセキュリティによって、
通信部分が制限（解除はできるが、面倒＋難＋よく分からん）されているので、
一旦Java+ProcessingでJavaアプリとして作成。
可能であれば、後々アプレットにする。
3歩進んで5歩下がった感じだが、これも勉強。
登録:
投稿 (Atom)