大規模データ処理勉強会に行ってきました

大規模データと対峙した事もないのにzusaar.com -&nbspzusaar リソースおよび情報に参加しました。Hadoopに興味はあったけど、未知の事をやり始めるのは割と腰が重くなりがちなので、勉強会で少しでも既知にしてみようと思ったりしました。

感想

Jubatusの発表が一番面白かったです。というのも、他の発表はHadoopの経験があってこそ面白くなりそうな内容だったから。Jubatusのは、理論の解説という事もあって、今後深く知る為の検索キーになりそうな単語がいっぱい入ってて、後で資料を読み返したいです。最近色んな知らない分野に触れてるけど、なんか線形代数の理解が必要になりそうなものが多くて、ちゃんとやっておけば良かったなぁと思ったり。ビッグデータの処理といえばHadoopだと思ってたけど、Jubatusがあるって事を知れたのは良かったです。

ただ、どうも自分のやってみたい事には、HadoopやJubatusは必要ないのかもしれません。Hadoopが流行のワードだった事もあって、データ分析ならHadoopなのかと思ってましたが、これらはビッグデータを分散で処理する事が主目的のようです。ビッグじゃないデータを分析するなら、そこに必要な道具はHadoopじゃないっぽい。懇親会で聞いてみたら、大規模じゃないデータを処理する場合でも、使えるようになるのも合わせてHadoopを使って処理するのもありという様な話も聞けましたが、もう少し自分がやってみたい部分とそれに必要なものを調べたりしてみようと思ってます。大規模は置いといて、データ分析/データ解析はやってみたくて、それを可視化してみたいというのが、今のところの興味です。

Hadoopをより使いやすくする為のフレームワークやツールが、沢山あるみたいです。ちょうどHadoopを中心に据える様な位置関係で、色んなジャンルの道具が揃ってきているんだとか。Clouderaという会社の製品もそういうツール群のようで、Cloudera ManagerというブラウザからHadoopを管理するツールなんかもあり、オープンソースではないものの50ノードまでは無料で利用出来るらしい。初心者はHadoopの設定ミスでハマるよりは、Cloudera Managerを使って慣れた方が良いよと、Clouderaの中の人が発表中に言ってました。