2007年2月22日

[Namazu-devel-ja 1494] Re: mknmz のadd_ key( ), make_phrase_hash() の負荷軽減

寺西です。

Tadamasa Teranishi wrote:
>
> テストスクリプトを改良して、もう少し実際に使うデータやデータフォー
> マットに合わせたものでテストした方が良いのではないでしょうか。

と、書いた後にふと。


そう言えば、mknmz では $ON_MEMORY_MAX に達した時点で書き出すので、
ちょうど sub3 と似たような実装にはなっていますね。
もっとも、書き出し条件が違うので、sub3 のような条件の方が(ガベージ
コレクションに関しては)有利なのは確かですけど。

そう考えると、「もう少し実際に使うデータやデータフォーマットに合わせ
たものでテスト」というのは、結構大変かもしれません。

また、mknmz に組み込むと、$ON_MEMORY_MAX を調整することで、あまり
性能差がでないという結果になってしまうかもしれません。

ところで、ガベージコレクションはともかく、$ON_MEMORY_MAX に達した
時点での書き出しですが、これは改良することによって、大幅に速度向上
が期待できます。
なので、どちらかといえば、そっちの方に関心があるのですが...。

具体的には、テンポラリに書き出したものを読み込んで、また書き出すと
いう無駄なことをやっています。
これをやめて毎回書き出しのみを行い、最後にマージ処理を行うというの
が良いと思います。これだと重複して書き込み/読み出しする必要がなく
なりますから。
--
=====================================================================
寺西 忠勝(TADAMASA TERANISHI) yw3t-trns@xxxxx
http://www.asahi-net.or.jp/~yw3t-trns/index.htm
Key fingerprint = 474E 4D93 8E97 11F6 662D 8A42 17F5 52F4 10E7 D14E

_______________________________________________
Namazu-devel-ja mailing list
Namazu-devel-ja@xxxxx
http://www.namazu.org/cgi-bin/mailman/listinfo/namazu-devel-ja

投稿者 xml-rpc : 2007年2月22日 01:19
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/54629
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。