2007年4月11日

[Namazu-devel-ja 1550] Re: hash の負荷軽減

寺西です。

Tadamasa Teranishi wrote:
>
> 以前 hash の処理時間が重いということが分かったので、少し手を加えた
> テストを行いました。

インデックス書き出し回数が3回だったので、$ON_MEMORY_MAX を10倍して

1回になるようにしたものと比較してみました。

A1:
修正前 インデックス書き出し3回
User+System Time = 329.6541 Seconds

A2:
修正前 インデックス書き出し1回
User+System Time = 289.0096 Seconds

B1:
修正後 インデックス書き出し3回
User+System Time = 302.7359 Seconds

B2:
修正後 インデックス書き出し1回
User+System Time = 280.9919 Seconds


という結果でした。A1 の時間を 1.0 として比較した結果は次の
通りです。

A1: 1.000
A2: 0.877
B1: 0.918
B2: 0.852

A2 と B2 を比較すると B2 は A2 の 0.972 でした。

やはりインデックス書き出しの負荷がかなり高いのが分かります。
また、インデックス書き出しを1回にすると、今回の修正分の効果が
薄まっていることも分かります。


[B1]

Total Elapsed Time = 729.8796 Seconds
User+System Time = 289.0096 Seconds
Exclusive Times
%Time ExclSec CumulS #Calls sec/call Csec/c Name
18.9 54.83 52.650 733289 0.0001 0.0001 mknmz::hash
14.2 41.22 38.855 794790 0.0001 0.0000
mknmz::indexer::_splitsymbol
9.55 27.60 79.427 4136 0.0067 0.0192 mknmz::make_phrase_hash
6.19 17.89 55.056 24816 0.0007 0.0022
mknmz::indexer::_wordcount_sub
4.35 12.57 12.224 118804 0.0001 0.0001 Text::Kakasi::xs_do_kakasi
3.99 11.53 11.528 4136 0.0028 0.0028
File::MMagic::checktype_data
3.99 11.52 11.523 4136 0.0028 0.0028 mknmz::add_key
3.93 11.34 297.70 4136 0.0027 0.0720 mknmz::namazu_core
3.18 9.182 36.759 4136 0.0022 0.0089 mknmz::put_field_index
2.97 8.584 8.617 4136 0.0021 0.0021
mailnews::mailnews_citation_filter
2.58 7.468 7.134 111827 0.0001 0.0001 IO::File::open
2.57 7.428 7.924 4136 0.0018 0.0019 mailnews::mailnews_filter
2.51 7.248 7.225 8486 0.0009 0.0009 NKF::nkf
2.29 6.628 6.618 4136 0.0016 0.0016 mailnews::uuencode_filter
2.23 6.438 6.415 8272 0.0008 0.0008 gfilter::line_adjust_filter


[B2]

Total Elapsed Time = 544.2019 Seconds
User+System Time = 280.9919 Seconds
Exclusive Times
%Time ExclSec CumulS #Calls sec/call Csec/c Name
14.5 40.79 38.813 794790 0.0001 0.0000
mknmz::indexer::_splitsymbol
13.8 38.91 36.931 795386 0.0000 0.0000 mknmz::hash
10.7 30.08 66.372 4136 0.0073 0.0160 mknmz::make_phrase_hash
6.31 17.74 55.154 24816 0.0007 0.0022
mknmz::indexer::_wordcount_sub
4.56 12.80 12.513 118804 0.0001 0.0001 Text::Kakasi::xs_do_kakasi
4.23 11.88 11.889 4136 0.0029 0.0029 mknmz::add_key
3.90 10.96 10.960 4136 0.0027 0.0026
File::MMagic::checktype_data
3.90 10.94 286.41 4136 0.0026 0.0693 mknmz::namazu_core
3.29 9.247 37.436 4136 0.0022 0.0091 mknmz::put_field_index
3.02 8.495 8.534 4136 0.0021 0.0021
mailnews::mailnews_citation_filter
2.84 7.968 7.949 8486 0.0009 0.0009 NKF::nkf
2.70 7.588 8.049 4136 0.0018 0.0019 mailnews::mailnews_filter
2.64 7.408 7.130 111827 0.0001 0.0001 IO::File::open
2.46 6.918 6.910 4136 0.0017 0.0017 mailnews::uuencode_filter
2.29 6.438 6.419 8272 0.0008 0.0008 gfilter::line_adjust_filter
--
=====================================================================
寺西 忠勝(TADAMASA TERANISHI) yw3t-trns@xxxxx
http://www.asahi-net.or.jp/~yw3t-trns/index.htm
Key fingerprint = 474E 4D93 8E97 11F6 662D 8A42 17F5 52F4 10E7 D14E

_______________________________________________
Namazu-devel-ja mailing list
Namazu-devel-ja@xxxxx
http://www.namazu.org/cgi-bin/mailman/listinfo/namazu-devel-ja

投稿者 xml-rpc : 2007年4月11日 21:38
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/57117
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。