2007年2月22日

[Namazu-devel-ja 1500] Re: mknmz のadd_ key( ), make_phrase_hash() の負荷軽減

臼田です

Tadamasa Teranishi wrote:
> Yukio USUDA wrote:
>
>> 実環境を想定したテストデータ準備がむずかしいのでとりあえず mknmz
>> に組み込んでメーリングリストの束等数千個単位のファイルをサンプルに
>> 比較をしてみようと考えています。

>>
>
> Windows でないと差は出にくいかもしれませんね。
> また、UNIX の場合は逆に遅くならないかチェックする必要があるかも
> しれません。
>
複数環境でのテストはしておこうと思っています。
大量データのテストで標準にできるサンプルデータがあるとよいですね。
とりあえず
「namazu-devel-ja.tar.gz
< http://www.namazu.org/ml/namazu-devel-ja.tar.gz>; 4,136通
開発向けメイリングリスト: 2000-02-24 〜 2004-05-24」
を使って試すことにしています。
> しかし、それなら sub3 のような実装ではなくて、最初から DBM で作って
> 最後にインデックスとして吐き出すだけでも十分な気がします。
> sub3 方式+DBMの方が速いかもしれませんが、大量のデータを処理する場合は
> DBMだけでも現状よりはどう考えても速いでしょうし。
>
これは私も少し試したことがありますがだいぶ遅くなったので
それ以降試していません。
野首さんのレポートでも同様に遅くなる結果になっています。
http://www.namazu.org/trac-namazu/trac.cgi/wiki/Development

今回はハッシュの無名配列になっているものを DBM にうまく Tie
する方法がわからないので悩んでいます。
これも変数の構造が単純でないので DBM とのやりとりをすると
遅くなるかも知れません。

臼田幸生

_______________________________________________
Namazu-devel-ja mailing list
Namazu-devel-ja@xxxxx
http://www.namazu.org/cgi-bin/mailman/listinfo/namazu-devel-ja

投稿者 xml-rpc : 2007年2月22日 20:14
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/54663
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。