2008-01-01から1年間の記事一覧

HBase InputFormat/OutputFormat for Hadoop Streaming

What is this? InputFormat/OutputFormat to use HBase tables as input/output of MapReduce in Hadoop Streaming. Repository http://github.com/wanpark/hadoop-hbase-streaming/tree/master Usage debian:~% hadoop dfs -mkdir dammy_input debian:~% ha…

hadoop-hbase-streaming を更新しました

前のエントリーをマニュアルっぽく更新 http://d.hatena.ne.jp/wanpark/20081112/1226504022 変更点 オプションのパースのバグ修正 inputformat に xml, list を追加 inputformat のオプションを追加 今後の予定 output でテーブルに書き出す その他 Thrift …

HBase 入門 (2)

Hadoop の MapReduce で HBase を使ってみましょう。 0. 参考ページ http://wiki.apache.org/hadoop/Hbase/MapReduce 1. セットアップ $HADOOP_HOME/conf/hadoop-env.sh の HADOOP_CLASSPATH に HBase のパスを加えます。 export HADOOP_CLASSPATH=$HBASE_HO…

Hadoop Streaming で HBase を使う

HBase のテーブルを Hadoop Streaming の入出力にするための InputFormat/OutputFormat を書きました。GitHub - wanpark/hadoop-hbase-streaming: HBase InputFormat/OutputFormat for Hadoop Streaming 例 debian:~% hadoop dfs -mkdir dammy_input debian:…

HBase 入門 (1)

Hadoop と HBase で分散処理が書けるのはわかったけど、いざ使ってみるとなるとドキュメントが少なくて……、というあなたの為の HBase 入門、今回はセットアップから Java の API で HBase を触るまでを勉強します。 使用するバージョンは Hadoop 0.17.2.1、H…

今日の日記

かまってほしくてanondに機能つけたよーと書いたらちょっとうざがられた。http://wiredvision.jp/news/200801/2008012520.htmlを見て、合成したDNAを酵母の中で繋げて今までより1オーダー長いのが作れましたってこと?ともかくDNAプログラマーなんて楽しそう…