svnseeds’ ghoti!より未来技術Inverted File Structureによる1テラ3秒の超検索技術！ どんな環境で3秒なんだろう…。というかSuffix arrayをそんな大規模な文書群？に適用してたのが異常な気もしないでもない。
転置インデックス関連で最近知った汎用連想計算エンジンGETA。文書のキーワードを抽出したり、類似記事の検索が結構楽にできるらしい。OS Xでもjperlさえ入れれば動くようなので、ニュースメモ変換君のためにマタリと書いてたPerlコードがこれで置き換えられればいいなー。