2011年6月 1日

[Namazu-users-ja 1203] big index example

http://www.namazu.org/FAQ.html#index-scale いはく:
> どの程度の規模のインデックスが作れますか?

> 報告のあったもののなかでは 878,914 ファイル、
> 合計 2,167,480,108 bytes の文書を対象にしたものが最大です
> これより規模の大きいインデックスを作成された方は
> ぜひメイリングリストにご連絡ください。

この世界記録より12年たってるので、2桁ぐらい大きなインデックスが
あっても不思議ではない気がします。

私のところで、上より大きなインデックスを作りましたので報告申し上げます。

[Merge]
Date: Thu May 5 10:00:35 2011
Total Files: 3,209,937
Total Keywords: 24,529,399
Time (sec): 622367
System: freebsd
Perl: 5.008008

内容は古いネットニュース記事です。
http://katsu.watanabe.name/unifiedfj/

普通はこんなに大きくせず、インデックスを分割してしまうのかも。
クロスポストの概念があるので、ニュースグループ毎という自然な分割は
できないのです。また、namazu.cgiが数多くのインデックスのNMZ.w中を
各々探索して時間がかかる(timeoutしやすい)こともありえるんじゃないか
と考えたせいもあります。

--
渡辺克宏
_______________________________________________
Namazu-users-ja mailing list
Namazu-users-ja@xxxxx
http://www.namazu.org/cgi-bin/mailman/listinfo/namazu-users-ja


投稿者 xml-rpc : 2011年6月 1日 16:52
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/104155
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。