共同体的P2P 全文検索システムの開発
本プロジェクトでは、ピアツーピア型の分散処理により大規模な全文検索システムの構築を
可能にするソフトウェア「Hyper Estraier」の開発を行った。
Hyper Estraier は、ユーザ向けにはコマンドやウェブアプリケーション、そして開発者むけ
にはライブラリ(API)、この双方を提供し、導入の容易性と高度なカスタマイズ性を両立させる。
従来のオープンソースの検索エンジンに比べ、インデックスを構築する処理のパフォーマン
スとスケイラビリティの向上をはかる。テキストの解析処理はN-gram 法を基礎とすることで完
全な再現率を求めつつ、N-gram 法に改良を加えることで単なるN-gram 法よりも効率的なイン
デクシングを実現している。
膨大な量の文書を対象にする場合には、インデックスが巨大になり、ある程度以上のスケー
ルで性能をだすのが難しくなるが、インデックスをノードごとに分割しノード同士でピア関係
を結ぶようにすることで大規模な検索システムの構築ができるようにしている。
だそうです。DHTと合わせてうまいことができそう。。
やはり個々のPCがストレージ資源を持つ意義というものをかんがえていくとよいのかも。
あと、RIAまわりのネタとして。
デスクトッププラットフォームを制するのはApolloかWPF/Eか - @IT
