2011年10月31日

[Apache-Users 7948]ApacheのCPU使用率が100%を超え、システムに接続できなくなる現象が発生します

** Apache ユーザーズメーリングリスト **
** 注意:このメールへの返信は Apache-Users へ行きます **

喜田と申します。

Apacheを使用したシステムにて、ApacheのCPU使用率が100%を超え
突如システムに繋がらなくなる現象が発生致しましたので、
質問させて下さい。


【質問内容】

突如ApacheのCPU使用率が100%を超えるようなApacheの不具合報告や、
脆弱性は存在するか?
また、解決策があれば教えて頂きたい。

【現象】

2011/9/26の夕方頃、突如システムに接続できなくなる現象が発生。
原因が分からなかったので、Apache及びtomcatの再起動をしたところ復旧。
システムのアドレスに接続したところ、画面が遷移せず、
エラー画面も表示されなかった。
翌日9/27にも同様の現象が発生。
過去にも3年間ほど同様の運用を続いてていたが、このような現象が発生したことはなかった。
以後しばらく発生しなかったが、10/12に再度発生し、
本日10/28に至るまで週2回ぐらいのペースで発生している。

【復旧方法】

Apache及びtomcatの再起動

【調査経過】

accessログ及びerrorログを見たところ、特に発生時刻付近に異常は見られず。
接続しようとしてもaccessログにも記録されなかった。
また、apache killerの可能性を疑い、rangeヘッダリクエストを受けていないか
確認のオプションを追加したが、特に受けてはいない模様。

さらに調査のため、5分ごとにtopコマンドの結果を記述するログを作成し、
現象発生前後のログを確認したところ、
発生直前までは非常に低い数値だったapacheのCPU使用率が、
発生後では100%を超えていた。
この事から、突如システムに繋がらなくなる原因は、
apacheのCPU使用率が急に増えて100%を超えた事に起因すると考えた。

【ログ】

・topコマンド一部抜粋(httpdのみ)

Load averages: 0.24, 0.18, 0.13
257 processes: 214 sleeping, 43 running
Cpu states:
CPU LOAD USER NICE SYS IDLE BLOCK SWAIT INTR SSYS
0 0.03 0.0% 0.0% 0.2% 99.8% 0.0% 0.0% 0.0% 0.0%
1 0.17 1.6% 0.6% 1.0% 96.8% 0.0% 0.0% 0.0% 0.0%
2 0.52 0.0% 100.0% 0.0% 0.0% 0.0% 0.0% 0.0% 0.0%
3 0.22 0.8% 0.0% 1.0% 98.2% 0.0% 0.0% 0.0% 0.0%
--- ---- ----- ----- ----- ----- ----- ----- ----- -----
avg 0.24 0.6% 25.2% 0.4% 73.8% 0.0% 0.0% 0.0% 0.0%

System Page Size: 4Kbytes
Memory: 2334136K (1133212K) real, 5777524K (3877300K) virtual, 37168K free
Page# 1/17

CPU TTY PID USERNAME PRI NI SIZE RES STATE TIME %WCPU %CPU COMMAND
2 ? 3884 www 152 39 45364K 6872K run 2:11 101.20 101.02 httpd
2 ? 3885 www 152 39 45108K 6468K run 0:06 0.51 0.51 httpd

・プロセス(httpdのみ)

www 3883 3882 0 06:32:34 ? 0:00 /opt/hpws22/apache/bin/httpd -k
start
root 3882 1 53 06:32:34 ? 0:00 /opt/hpws22/apache/bin/httpd -k
start
www 3885 3882 0 06:32:34 ? 0:06 /opt/hpws22/apache/bin/httpd -k
start
www 3884 3882 0 06:32:34 ? 2:11 /opt/hpws22/apache/bin/httpd -k
start

【設定】

KeepAlive On
MaxKeepAliveRequests 7
KeepAliveTimeout 2

<IfModule prefork.c>
StartServers 5
MinSpareServers 5
MaxSpareServers 10
ServerLimit 75
MaxClients 75
MaxRequestsPerChild 5000
</IfModule>

【環境・バージョン】

java version "1.6.0.05"
HP-UX 11i v3
Apache/2.2.8 HP-UX_Apache-based_Web_Server (Unix)
外部には公開されていないウェブシステム

以上です、宜しくお願い致します。

--
入退会・変更・配送一時停止は以下へ
http://www.apache.jp/mailman/listinfo/apache-users


投稿者 xml-rpc : 2011年10月31日 16:40
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/107270
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。