2011年10月31日

[Apache-Users 7950] Re:ApacheのCPU使用率が100%を超え、システムに接続できなくなる現象が発生します

** Apache ユーザーズメーリングリスト **
** 注意:このメールへの返信は Apache-Users へ行きます **

連投すみません。

まずは、このあたりを参考にデバッグしてみるのが良いかもしれません。
http://httpd.apache.org/dev/debugging.html

2011年10月31日16:48 MATSUMOTO Ryosuke <matsu1229@xxxxx>:
> 松本です。
>
> strace等によってプロセスの動作を確認してみてはどうでしょうか。
>
> 2011年10月31日16:40 kida <s_kida@xxxxx>:
>> ** Apache ユーザーズメーリングリスト **
>> ** 注意:このメールへの返信は Apache-Users へ行きます **
>>
>> 喜田と申します。
>>
>> Apacheを使用したシステムにて、ApacheのCPU使用率が100%を超え
>> 突如システムに繋がらなくなる現象が発生致しましたので、
>> 質問させて下さい。
>>
>> 【質問内容】
>>
>> 突如ApacheのCPU使用率が100%を超えるようなApacheの不具合報告や、
>> 脆弱性は存在するか?
>> また、解決策があれば教えて頂きたい。
>>
>> 【現象】
>>
>> 2011/9/26の夕方頃、突如システムに接続できなくなる現象が発生。
>> 原因が分からなかったので、Apache及びtomcatの再起動をしたところ復旧。
>> システムのアドレスに接続したところ、画面が遷移せず、
>> エラー画面も表示されなかった。
>> 翌日9/27にも同様の現象が発生。
>> 過去にも3年間ほど同様の運用を続いてていたが、このような現象が発生したことはなかった。
>> 以後しばらく発生しなかったが、10/12に再度発生し、
>> 本日10/28に至るまで週2回ぐらいのペースで発生している。
>>
>> 【復旧方法】
>>
>> Apache及びtomcatの再起動
>>
>> 【調査経過】
>>
>> accessログ及びerrorログを見たところ、特に発生時刻付近に異常は見られず。
>> 接続しようとしてもaccessログにも記録されなかった。
>> また、apache killerの可能性を疑い、rangeヘッダリクエストを受けていないか
>> 確認のオプションを追加したが、特に受けてはいない模様。
>>
>> さらに調査のため、5分ごとにtopコマンドの結果を記述するログを作成し、
>> 現象発生前後のログを確認したところ、
>> 発生直前までは非常に低い数値だったapacheのCPU使用率が、
>> 発生後では100%を超えていた。
>> この事から、突如システムに繋がらなくなる原因は、
>> apacheのCPU使用率が急に増えて100%を超えた事に起因すると考えた。
>>
>> 【ログ】
>>
>> ・topコマンド一部抜粋(httpdのみ)
>>
>> Load averages: 0.24, 0.18, 0.13
>> 257 processes: 214 sleeping, 43 running
>> Cpu states:
>> CPU LOAD USER NICE SYS IDLE BLOCK SWAIT INTR SSYS
>> 0 0.03 0.0% 0.0% 0.2% 99.8% 0.0% 0.0% 0.0% 0.0%
>> 1 0.17 1.6% 0.6% 1.0% 96.8% 0.0% 0.0% 0.0% 0.0%
>> 2 0.52 0.0% 100.0% 0.0% 0.0% 0.0% 0.0% 0.0% 0.0%
>> 3 0.22 0.8% 0.0% 1.0% 98.2% 0.0% 0.0% 0.0% 0.0%
>> --- ---- ----- ----- ----- ----- ----- ----- ----- -----
>> avg 0.24 0.6% 25.2% 0.4% 73.8% 0.0% 0.0% 0.0% 0.0%
>>
>> System Page Size: 4Kbytes
>> Memory: 2334136K (1133212K) real, 5777524K (3877300K) virtual, 37168K free
>> Page# 1/17
>>
>> CPU TTY PID USERNAME PRI NI SIZE RES STATE TIME %WCPU %CPU COMMAND
>> 2 ? 3884 www 152 39 45364K 6872K run 2:11 101.20 101.02 httpd
>> 2 ? 3885 www 152 39 45108K 6468K run 0:06 0.51 0.51 httpd
>>
>> ・プロセス(httpdのみ)
>>
>> www 3883 3882 0 06:32:34 ? 0:00 /opt/hpws22/apache/bin/httpd -k
>> start
>> root 3882 1 53 06:32:34 ? 0:00 /opt/hpws22/apache/bin/httpd -k
>> start
>> www 3885 3882 0 06:32:34 ? 0:06 /opt/hpws22/apache/bin/httpd -k
>> start
>> www 3884 3882 0 06:32:34 ? 2:11 /opt/hpws22/apache/bin/httpd -k
>> start
>>
>> 【設定】
>>
>> KeepAlive On
>> MaxKeepAliveRequests 7
>> KeepAliveTimeout 2
>>
>> <IfModule prefork.c>
>> StartServers 5
>> MinSpareServers 5
>> MaxSpareServers 10
>> ServerLimit 75
>> MaxClients 75
>> MaxRequestsPerChild 5000
>> </IfModule>
>>
>> 【環境・バージョン】
>>
>> java version "1.6.0.05"
>> HP-UX 11i v3
>> Apache/2.2.8 HP-UX_Apache-based_Web_Server (Unix)
>> 外部には公開されていないウェブシステム
>>
>>
>>
>> 以上です、宜しくお願い致します。
>>
>>
>> --
>> 入退会・変更・配送一時停止は以下へ
>> http://www.apache.jp/mailman/listinfo/apache-users
>>
>
>
>
> --
> MATSUMOTO Ryosuke < matsu1229 at gmail.com >
> http://blog.matsumoto-r.jp/
>

--
MATSUMOTO Ryosuke < matsu1229 at gmail.com >
http://blog.matsumoto-r.jp/
--
入退会・変更・配送一時停止は以下へ
http://www.apache.jp/mailman/listinfo/apache-users


投稿者 xml-rpc : 2011年10月31日 16:50
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/107273
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。