2007年2月22日

[Namazu-devel-ja 1498] Re: mknmz のadd_ key( ), make_phrase_hash() の負荷軽減

寺西です。

Yukio USUDA wrote:
>
> 実環境を想定したテストデータ準備がむずかしいのでとりあえず mknmz
> に組み込んでメーリングリストの束等数千個単位のファイルをサンプルに
> 比較をしてみようと考えています。

Windows でないと差は出にくいかもしれませんね。
また、UNIX の場合は逆に遅くならないかチェックする必要があるかも
しれません。

> > $ON_MEMORY_MAX に達した
> > 時点での書き出しですが、これは改良することによって、大幅に速度
> > 向上
> > が期待できます。
...
> sub3のような実装にしておいて、仮置き先の配列に DBM を使え
> るように
> してはどうかと考えています。速度低下がひどくなくてメモリ消費が
> 抑えられるのであれば $ON_MEMORY_MAX 処理に変えることができ
> るかもしれません。

そこまで考えての話だったのですね。

しかし、それなら sub3 のような実装ではなくて、最初から DBM で作って
最後にインデックスとして吐き出すだけでも十分な気がします。
sub3 方式+DBMの方が速いかもしれませんが、大量のデータを処理する場合は
DBMだけでも現状よりはどう考えても速いでしょうし。
--
=====================================================================
寺西 忠勝(TADAMASA TERANISHI) yw3t-trns@xxxxx
http://www.asahi-net.or.jp/~yw3t-trns/index.htm
Key fingerprint = 474E 4D93 8E97 11F6 662D 8A42 17F5 52F4 10E7 D14E

_______________________________________________
Namazu-devel-ja mailing list
Namazu-devel-ja@xxxxx
http://www.namazu.org/cgi-bin/mailman/listinfo/namazu-devel-ja

投稿者 xml-rpc : 2007年2月22日 19:25
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/54660
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。