2006年10月27日

[Namazu-devel-ja 1342] Re: mknmz の処理時間短縮

臼田です

Tadamasa Teranishi wrote:
> こうやって見るとやっぱり File::MMagic が重いですね。
> 並列化できそうな処理のような気もするので、遊ぶネタとしては File::MMagic
> の並列化は良いかな。
>
mknmz 自体も細かくモジュール化して並列処理できるよう

にしたいですね。
修正していく過程で文書の追加、削除時のインデックス変更処理
もしやすい形になると思います。
これもトランザクションの話題にいきつくのでしょうか。

> html::get_title_attr 等のパターンマッチングも重いですね。これは
> (正規表現を書き換えると高速化したりする気はします。)
>
呼び出し回数が文書数と同じわりには時間がかかっていますね
これは気になりますね。

> あとは hash が呼び出される回数が多い分、予想に反して効いていますね。
>
これは、 インデックス途中書き出し処理があると mknmz::hash の
呼び出し回数が増えるためのようですが、どうしてでしょう。

$ON_MEMORY_MAX 初期値(19回インデックス書きだしあり)

9.43 10.28 10.280 873244 0.0000 0.0000 mknmz::hash


$ON_MEMORY_MAX 増加後(インデックス書きだしは最後の1回のみ)

6.91 3.459 3.459 200174 0.0000 0.0000 mknmz::hash


臼田幸生

_______________________________________________
Namazu-devel-ja mailing list
Namazu-devel-ja@xxxxx
http://www.namazu.org/cgi-bin/mailman/listinfo/namazu-devel-ja

投稿者 xml-rpc : 2006年10月27日 12:49
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/48355
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。