2007年4月16日

[Namazu-devel-ja 1567] Re: hash の負荷軽減

寺西です。補足および修正です。

Tadamasa Teranishi wrote:
>
> 6) 考察
>
> テストに用いた1万件の文書は約30MBです。

約30MBというのは
$ON_MEMORY_MAX x インデックス書き出し回数
から計算した概算値でしたが、正確な値は約46MBの間違いでした。

$ON_MEMORY_MAX を越えた時にインデックスを書き出すので、
インデックス書き出し回数が増えると、差が累積されるために
$ON_MEMORY_MAX x インデックス書き出し回数 > 総データサイズ
となったためです。

> メモリは128MB積んでいます。たぶん7年以上前の環境だと思います。

メモリ128MBですが、インデックス書き出し1回の場合は $ON_MEMORY_MAXを
50000000 を指定しています。(約50MB)

このデータの場合、インデックスのサイズは16MBでした。インデックスは
圧縮されていることと Perl のデータ管理が不明なので、正確な内部データ
サイズは不明ですが、128MB のマシンならまだまだ処理できそうな値で
しょう。たぶん。

今回は総データが約48MBなので$ON_MEMORY_MAXは50000000という値で
収まったのですが、当然のことながらこの値は、主メモリの128MBより
大きな値であっても(内部データが128MBに収まりさえすれば)特に問題は
ありません。
--
=====================================================================
寺西 忠勝(TADAMASA TERANISHI) yw3t-trns@xxxxx
http://www.asahi-net.or.jp/~yw3t-trns/index.htm
Key fingerprint = 474E 4D93 8E97 11F6 662D 8A42 17F5 52F4 10E7 D14E

_______________________________________________
Namazu-devel-ja mailing list
Namazu-devel-ja@xxxxx
http://www.namazu.org/cgi-bin/mailman/listinfo/namazu-devel-ja

投稿者 xml-rpc : 2007年4月16日 01:22
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/57270
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。