2011年11月 7日

[Apache-Users 7951] Re:ApacheのCPU使用率が100%を超え、システムに接続できなくなる現象が発生します

** Apache ユーザーズメーリングリスト **
** 注意:このメールへの返信は Apache-Users へ行きます **

喜田です。

ご回答頂きありがとうございます。
また、返信が遅くなり申し訳ございません。

本現象が発生しているのが、本番環境なのですが、
社内環境では現象の再現が起きず、
直接デバッグが行えない状況です。

----- Original Message -----
From: "MATSUMOTO Ryosuke" <matsu1229@xxxxx>
To: "Apache ユーザーズメーリングリスト" <apache-users@xxxxx>
Sent: Monday, October 31, 2011 4:50 PM
Subject: [Apache-Users 7950] Re:ApacheのCPU使用率が100%を超え、システムに接続できなくなる現象が発生します


> ** Apache ユーザーズメーリングリスト **
> ** 注意:このメールへの返信は Apache-Users へ行きます **
>
> 連投すみません。
>
> まずは、このあたりを参考にデバッグしてみるのが良いかもしれません。
> http://httpd.apache.org/dev/debugging.html
>
> 2011年10月31日16:48 MATSUMOTO Ryosuke <matsu1229@xxxxx>:
>> 松本です。
>>
>> strace等によってプロセスの動作を確認してみてはどうでしょうか。
>>
>> 2011年10月31日16:40 kida <s_kida@xxxxx>:
>>> ** Apache ユーザーズメーリングリスト **
>>> ** 注意:このメールへの返信は Apache-Users へ行きます **
>>>
>>> 喜田と申します。
>>>
>>> Apacheを使用したシステムにて、ApacheのCPU使用率が100%を超え
>>> 突如システムに繋がらなくなる現象が発生致しましたので、
>>> 質問させて下さい。
>>>
>>> 【質問内容】
>>>
>>> 突如ApacheのCPU使用率が100%を超えるようなApacheの不具合報告や、
>>> 脆弱性は存在するか?
>>> また、解決策があれば教えて頂きたい。
>>>
>>> 【現象】
>>>
>>> 2011/9/26の夕方頃、突如システムに接続できなくなる現象が発生。
>>> 原因が分からなかったので、Apache及びtomcatの再起動をしたところ復旧。
>>> システムのアドレスに接続したところ、画面が遷移せず、
>>> エラー画面も表示されなかった。
>>> 翌日9/27にも同様の現象が発生。
>>> 過去にも3年間ほど同様の運用を続いてていたが、このような現象が発生したことはなかった。
>>> 以後しばらく発生しなかったが、10/12に再度発生し、
>>> 本日10/28に至るまで週2回ぐらいのペースで発生している。
>>>
>>> 【復旧方法】
>>>
>>> Apache及びtomcatの再起動
>>>
>>> 【調査経過】
>>>
>>> accessログ及びerrorログを見たところ、特に発生時刻付近に異常は見られず。
>>> 接続しようとしてもaccessログにも記録されなかった。
>>> また、apache killerの可能性を疑い、rangeヘッダリクエストを受けていないか
>>> 確認のオプションを追加したが、特に受けてはいない模様。
>>>
>>> さらに調査のため、5分ごとにtopコマンドの結果を記述するログを作成し、
>>> 現象発生前後のログを確認したところ、
>>> 発生直前までは非常に低い数値だったapacheのCPU使用率が、
>>> 発生後では100%を超えていた。
>>> この事から、突如システムに繋がらなくなる原因は、
>>> apacheのCPU使用率が急に増えて100%を超えた事に起因すると考えた。
>>>
>>> 【ログ】
>>>
>>> ・topコマンド一部抜粋(httpdのみ)
>>>
>>> Load averages: 0.24, 0.18, 0.13
>>> 257 processes: 214 sleeping, 43 running
>>> Cpu states:
>>> CPU LOAD USER NICE SYS IDLE BLOCK SWAIT INTR SSYS
>>> 0 0.03 0.0% 0.0% 0.2% 99.8% 0.0% 0.0% 0.0% 0.0%
>>> 1 0.17 1.6% 0.6% 1.0% 96.8% 0.0% 0.0% 0.0% 0.0%
>>> 2 0.52 0.0% 100.0% 0.0% 0.0% 0.0% 0.0% 0.0% 0.0%
>>> 3 0.22 0.8% 0.0% 1.0% 98.2% 0.0% 0.0% 0.0% 0.0%
>>> --- ---- ----- ----- ----- ----- ----- ----- ----- -----
>>> avg 0.24 0.6% 25.2% 0.4% 73.8% 0.0% 0.0% 0.0% 0.0%
>>>
>>> System Page Size: 4Kbytes
>>> Memory: 2334136K (1133212K) real, 5777524K (3877300K) virtual, 37168K
>>> free
>>> Page# 1/17
>>>
>>> CPU TTY PID USERNAME PRI NI SIZE RES STATE TIME %WCPU %CPU
>>> COMMAND
>>> 2 ? 3884 www 152 39 45364K 6872K run 2:11 101.20 101.02
>>> httpd
>>> 2 ? 3885 www 152 39 45108K 6468K run 0:06 0.51 0.51
>>> httpd
>>>
>>> ・プロセス(httpdのみ)
>>>
>>> www 3883 3882 0 06:32:34 ? 0:00
>>> /opt/hpws22/apache/bin/httpd -k
>>> start
>>> root 3882 1 53 06:32:34 ? 0:00
>>> /opt/hpws22/apache/bin/httpd -k
>>> start
>>> www 3885 3882 0 06:32:34 ? 0:06
>>> /opt/hpws22/apache/bin/httpd -k
>>> start
>>> www 3884 3882 0 06:32:34 ? 2:11
>>> /opt/hpws22/apache/bin/httpd -k
>>> start
>>>
>>> 【設定】
>>>
>>> KeepAlive On
>>> MaxKeepAliveRequests 7
>>> KeepAliveTimeout 2
>>>
>>> <IfModule prefork.c>
>>> StartServers 5
>>> MinSpareServers 5
>>> MaxSpareServers 10
>>> ServerLimit 75
>>> MaxClients 75
>>> MaxRequestsPerChild 5000
>>> </IfModule>
>>>
>>> 【環境・バージョン】
>>>
>>> java version "1.6.0.05"
>>> HP-UX 11i v3
>>> Apache/2.2.8 HP-UX_Apache-based_Web_Server (Unix)
>>> 外部には公開されていないウェブシステム
>>>
>>>
>>>
>>> 以上です、宜しくお願い致します。
>>>
>>>
>>> --
>>> 入退会・変更・配送一時停止は以下へ
>>> http://www.apache.jp/mailman/listinfo/apache-users
>>>
>>
>>
>>
>> --
>> MATSUMOTO Ryosuke < matsu1229 at gmail.com >
>> http://blog.matsumoto-r.jp/
>>
>
>
>
> --
> MATSUMOTO Ryosuke < matsu1229 at gmail.com >
> http://blog.matsumoto-r.jp/
> --
> 入退会・変更・配送一時停止は以下へ
> http://www.apache.jp/mailman/listinfo/apache-users
>
>

--
入退会・変更・配送一時停止は以下へ
http://www.apache.jp/mailman/listinfo/apache-users


投稿者 xml-rpc : 2011年11月 7日 13:40
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/107139
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。