MapReduce::Liteを使って、転置インデックスを作成するプログラムを書きました。 docIDとかwordIDとかは無しで、ファイル名や単語をそのままキーとして使うようにしています。 全体的な流れとしては、 複数のファイルを読み込む(perl reverse_index.pl index…

形態素解析をMapで行ない、単語の登場回数をReduceで行なうプログラムを書きました。 MapReduceのフレームワークは、MapReduce::Liteを使用しました。 Mapperの定義 文章を受け取って、形態素解析を行ない「(単語,1)」のkey-valueペアを作成します。 形態素…