2011年12月27日

[ubuntu-jp:3972] Re:「too many files open in system」で困っております。

lsof | cut -f1 -d ' ' | uniq -c | sort

とかで、どのコマンドが大量にファイルを開いているか調べてみると、
解決の糸口にならないでしょうか?

2011/12/27 take_tk <ggb03124@xxxxx>

> 「too many files open in system」で困っております。

>
> ubuntu 11.04 で Samba 3.5.8 のサーバにしているホストで、リブートしてから
> 一日程度でおかしくなり、コンソールからログインしようとしても、他のホスト
> からsshでログインしようとしても「too many files open in system」と出てロ
> グインを拒否されるという状態になるようになってしまいました。
>
> 当初は電源永押しでリブートするほかなかったのですが、webminだと「others」
> →「commnand shell」でrebootできることが分かったので、多少、気が楽になり
> ました。
>
> 原因、対策、調査のヒントについてアドバイスいただけないでしょうか?
>
> * nfs で他のホストと連絡しあっているので、それも問題かもしれません。あ
> とはシステムメールを飛ばすためのメールサーバも入っています。
>
> ーーー
>
> 調査して分かった現象は下記の通りです。
>
> date ; sudo lsof | wc -l ; cat /proc/sys/fs/file-nr で、どのタイミングで
> ファイルのハンドルを消費しているのかを調べた。
>
> (1)リブートの直後からしばらくは
> 「lsof | wc -l」 > 「cat /proc/sys/fs/file-nr」で正常。
>
> [tk@xxxxx ~]$ date ; sudo lsof | wc -l ; cat /proc/sys/fs/file-nr
> 2011年 12月 26日 月曜日 20:08:48 JST
> 1754 ← 1754:「lsof | wc -l」
> 1024 0 100106 ← 1024:「cat /proc/sys/fs/file-nr」
>
> (2)30分ほど経つと「lsof | wc -l」 < 「cat /proc/sys/fs/file-nr」と
> 逆転してしまう。その後はどんどん増えていく。
>
> [tk@xxxxx ~]$ date ; sudo lsof | wc -l ; cat /proc/sys/fs/file-nr
> 2011年 12月 26日 月曜日 20:29:05 JST
> 1936
> 1056 0 100106
>
> [tk@xxxxx ~]$ date ; sudo lsof | wc -l ; cat /proc/sys/fs/file-nr
> 2011年 12月 26日 月曜日 20:40:04 JST
> 1938 ← 1938:「lsof | wc -l」
> 5728 0 100106 ← 5728:「cat /proc/sys/fs/file-nr」
>
> [tk@xxxxx ~]$ date ; sudo lsof | wc -l ; cat /proc/sys/fs/file-nr
> 2011年 12月 26日 月曜日 20:47:03 JST
> 2114
> 10048 0 100106
>
> [tk@xxxxx ~]$ date ; sudo lsof | wc -l ; cat /proc/sys/fs/file-nr
> 2011年 12月 26日 月曜日 23:25:13 JST
> 2217
> 29280 0 100106
>
> (3)逆転が始まった(20:29:05 〜 20:40:04)あたりの syslog を見ても、よ
> く分からない。
>
> Dec 26 20:22:02 EeePC-35 dovecot: pop3-login: Login: user=<tk>,
> method=PLAIN, rip=192.168.1.12, lip=192.168.1.135, TLS
> Dec 26 20:22:02 EeePC-35 dovecot: POP3(tk): Disconnected: Logged out
> top=0/0, retr=0/0, del=0/607, size=1459761
> Dec 26 20:25:01 EeePC-35 CRON[1622]: (root) CMD (command -v debian-sa1 >
> /dev/null && debian-sa1 1 1)
> Dec 26 20:26:57 EeePC-35 rpc.idmapd[843]: nss_getpwnam: name '0' does not
> map into domain 'localdomain' ← ★何?
> Dec 26 20:26:57 EeePC-35 rpc.idmapd[843]: nss_getpwnam: name '0' does not
> map into domain 'localdomain'
> Dec 26 20:35:01 EeePC-35 CRON[1723]: (root) CMD (command -v debian-sa1 >
> /dev/null && debian-sa1 1 1)
> Dec 26 20:40:04 EeePC-35 rpc.idmapd[843]: nss_getpwnam: name '0' does not
> map into domain 'localdomain'
> Dec 26 20:40:04 EeePC-35 rpc.idmapd[843]: nss_getpwnam: name '0' does not
> map into domain 'localdomain'
>
> 参考にしたサイト
>
> http://javadave.blogspot.com/2005_06_01_archive.html
>
> http://www.mjmwired.net/kernel/Documentation/sysctl/fs.txt
>
> take_tk = kumagai hidetake
>
>
>


--
==========================================
kensei@xxxxx http://www.artifarm.com/
中村 健生@株式会社アーティファーム
==========================================

--20cf307cfce608e01a04b5055ff9
Content-Type: text/html; charset=ISO-2022-JP
Content-Transfer-Encoding: base64

bHNvZiB8IGN1dCAtZjEgLWQgJiMzOTsgJiMzOTsgfCB1bmlxIC1jIHwgc29ydDxkaXY+PGJyPjwv
ZGl2PjxkaXY+GyRCJEgkKyRHISIkSSROJTMlXiVzJUkkLEJnTkwkSyVVJSElJCVrJHIzKyQkJEYk
JCRrJCtENCRZJEYkXyRrJEghIhsoQjwvZGl2PjxkaXY+GyRCMnI3aCROO2U4fSRLJEokaSRKJCQk
RyQ3JGckJiQrISkbKEI8YnI+PGJyPjxkaXYgY2xhc3M9ImdtYWlsX3F1b3RlIj4yMDExLzEyLzI3
IHRha2VfdGsgPHNwYW4gZGlyPSJsdHIiPiZsdDs8YSBocmVmPSJtYWlsdG86Z2diMDMxMjRAbmlm
dHkuY29tIj5nZ2IwMzEyNEBuaWZ0eS5jb208L2E+Jmd0Ozwvc3Bhbj48YnI+CjxibG9ja3F1b3Rl
IGNsYXNzPSJnbWFpbF9xdW90ZSIgc3R5bGU9Im1hcmdpbjowIDAgMCAuOGV4O2JvcmRlci1sZWZ0
OjFweCAjY2NjIHNvbGlkO3BhZGRpbmctbGVmdDoxZXgiPhskQiFWGyhCdG9vIG1hbnkgZmlsZXMg
b3BlbiBpbiBzeXN0ZW0bJEIhVyRHOiQkQyRGJCokaiReJDkhIxsoQjxicj4KPGJyPgp1YnVudHUg
MTEuMDQgGyRCJEcbKEIgU2FtYmEgMy41LjggGyRCJE4lNSE8JVAkSyQ3JEYkJCRrJVslOSVIJEch
IiVqJVYhPCVIJDckRiQrJGkbKEI8YnI+ChskQjBsRnxEeEVZJEckKiQrJDckLyRKJGohIiUzJXMl
PSE8JWskKyRpJW0lMCUkJXMkNyRoJCYkSCQ3JEYkYiEiQj4kTiVbJTklSBsoQjxicj4KGyRCJCsk
aRsoQnNzaBskQiRHJW0lMCUkJXMkNyRoJCYkSCQ3JEYkYiFWGyhCdG9vIG1hbnkgZmlsZXMgb3Bl
biBpbiBzeXN0ZW0bJEIhVyRIPVAkRiVtGyhCPGJyPgobJEIlMCUkJXMkcjVxSF0kNSRsJGskSCQk
JCY+dUJWJEskSiRrJGgkJiRLJEokQyRGJDckXiQkJF4kNyQ/ISMbKEI8YnI+Cjxicj4KGyRCRXY9
aSRPRUU4OzFKMiEkNyRHJWolViE8JUgkOSRrJFskKyRKJCskQyQ/JE4kRyQ5JCwhIhsoQndlYm1p
bhskQiRAJEghVhsoQm90aGVycxskQiFXGyhCPGJyPgobJEIiKiFWGyhCY29tbW5hbmQgc2hlbGwb
JEIhVyRHGyhCcmVib290GyRCJEckLSRrJDMkSCQsSiwkKyRDJD8kTiRHISJCPz4vISI1JCQsM1ok
SyRKJGobKEI8YnI+ChskQiReJDckPyEjGyhCPGJyPgo8YnI+ChskQjg2MHghIkJQOnYhIkQ0Ojok
TiVSJXMlSCRLJEQkJCRGJSIlSSVQJSQlOSQkJD8kQCQxJEokJCRHJDckZyQmJCshKRsoQjxicj4K
PGJyPgobJEIhdiEhGyhCbmZzIBskQiRHQj4kTiVbJTklSCRITyJNbSQ3JCIkQyRGJCQkayROJEch
IiQ9JGwkYkxkQmokKyRiJDckbCReJDskcyEjJCIbKEI8YnI+ChskQiRIJE8lNyU5JUYlYCVhITwl
ayRySHQkUCQ5JD8kYSROJWEhPCVrJTUhPCVQJGJGfiRDJEYkJCReJDkhIxsoQjxicj4KPGJyPgob
JEIhPCE8ITwbKEI8YnI+Cjxicj4KGyRCRDQ6OiQ3JEZKLCQrJEMkPzg9Pl0kTzI8NS0kTkRMJGok
RyQ5ISMbKEI8YnI+Cjxicj4KZGF0ZSA7IHN1ZG8gbHNvZiB8IHdjIC1sIDsgY2F0IC9wcm9jL3N5
cy9mcy9maWxlLW5yIBskQiRHISIkSSROJT8lJCVfJXMlMCRHGyhCPGJyPgobJEIlVSUhJSQlayRO
JU8lcyVJJWskcj5DSHEkNyRGJCQkayROJCskckQ0JFkkPyEjGyhCPGJyPgo8YnI+ChskQiFKIzEh
SyVqJVYhPCVIJE5EPjhlJCskaSQ3JFAkaSQvJE8bKEI8YnI+ChskQiFWGyhCbHNvZiB8IHdjIC1s
GyRCIVcbKEIgGyRCIWQbKEIgGyRCIVYbKEJjYXQgL3Byb2Mvc3lzL2ZzL2ZpbGUtbnIbJEIhVyRH
QDU+byEjGyhCPGJyPgo8YnI+Clt0a0BFZWVQQy0zNSB+XSQgZGF0ZSA7IHN1ZG8gbHNvZiB8IHdj
IC1sIDsgY2F0IC9wcm9jL3N5cy9mcy9maWxlLW5yPGJyPgoyMDExGyRCRy8bKEIgMTIbJEI3bhso
QiAyNhskQkZ8GyhCIBskQjduTUtGfBsoQiAyMDowODo0OCBKU1Q8YnI+CjE3NTQgJm5ic3A7ICZu
YnNwOyAmbmJzcDsgJm5ic3A7ICZuYnNwOyAmbmJzcDsgJm5ic3A7ICZuYnNwOyAmbmJzcDsgJm5i
c3A7ICZuYnNwOyAmbmJzcDsgJm5ic3A7ICZuYnNwOyAmbmJzcDsgGyRCIisbKEIgMTc1NBskQiEn
IVYbKEJsc29mIHwgd2MgLWwbJEIhVxsoQjxicj4KMTAyNCAmbmJzcDsgJm5ic3A7MCAmbmJzcDsg
Jm5ic3A7ICZuYnNwOyAxMDAxMDYgJm5ic3A7ICZuYnNwOyAmbmJzcDsbJEIiKxsoQiAxMDI0GyRC
ISchVhsoQmNhdCAvcHJvYy9zeXMvZnMvZmlsZS1uchskQiFXGyhCPGJyPgo8YnI+ChskQiFKIzIh
SyMzIzBKLCRbJEk3UCREJEghVhsoQmxzb2YgfCB3YyAtbBskQiFXGyhCIBskQiFjGyhCIBskQiFW
GyhCY2F0IC9wcm9jL3N5cy9mcy9maWxlLW5yGyRCIVckSBsoQjxicj4KGyRCNVVFPiQ3JEYkNyRe
JCYhIyQ9JE44ZSRPJEkkcyRJJHNBfSQoJEYkJCQvISMbKEI8YnI+Cjxicj4KW3RrQEVlZVBDLTM1
IH5dJCBkYXRlIDsgc3VkbyBsc29mIHwgd2MgLWwgOyBjYXQgL3Byb2Mvc3lzL2ZzL2ZpbGUtbnI8
YnI+CjIwMTEbJEJHLxsoQiAxMhskQjduGyhCIDI2GyRCRnwbKEIgGyRCN25NS0Z8GyhCIDIwOjI5
OjA1IEpTVDxicj4KMTkzNjxicj4KMTA1NiAmbmJzcDsgJm5ic3A7MCAmbmJzcDsgJm5ic3A7ICZu
YnNwOyAxMDAxMDY8YnI+Cjxicj4KW3RrQEVlZVBDLTM1IH5dJCBkYXRlIDsgc3VkbyBsc29mIHwg
d2MgLWwgOyBjYXQgL3Byb2Mvc3lzL2ZzL2ZpbGUtbnI8YnI+CjIwMTEbJEJHLxsoQiAxMhskQjdu
GyhCIDI2GyRCRnwbKEIgGyRCN25NS0Z8GyhCIDIwOjQwOjA0IEpTVDxicj4KMTkzOCAmbmJzcDsg
Jm5ic3A7ICZuYnNwOyAmbmJzcDsgJm5ic3A7ICZuYnNwOyAmbmJzcDsgJm5ic3A7ICZuYnNwOyAm
bmJzcDsgJm5ic3A7ICZuYnNwOyAmbmJzcDsgJm5ic3A7ICZuYnNwOyAbJEIiKxsoQiAxOTM4GyRC
ISchVhsoQmxzb2YgfCB3YyAtbBskQiFXGyhCPGJyPgo1NzI4ICZuYnNwOyAmbmJzcDswICZuYnNw
OyAmbmJzcDsgJm5ic3A7IDEwMDEwNiAmbmJzcDsgJm5ic3A7ICZuYnNwOxskQiIrGyhCIDU3Mjgb
JEIhJyFWGyhCY2F0IC9wcm9jL3N5cy9mcy9maWxlLW5yGyRCIVcbKEI8YnI+Cjxicj4KW3RrQEVl
ZVBDLTM1IH5dJCBkYXRlIDsgc3VkbyBsc29mIHwgd2MgLWwgOyBjYXQgL3Byb2Mvc3lzL2ZzL2Zp
bGUtbnI8YnI+CjIwMTEbJEJHLxsoQiAxMhskQjduGyhCIDI2GyRCRnwbKEIgGyRCN25NS0Z8GyhC
IDIwOjQ3OjAzIEpTVDxicj4KMjExNDxicj4KMTAwNDggJm5ic3A7IDAgJm5ic3A7ICZuYnNwOyAm
bmJzcDsgMTAwMTA2PGJyPgo8YnI+Clt0a0BFZWVQQy0zNSB+XSQgZGF0ZSA7IHN1ZG8gbHNvZiB8
IHdjIC1sIDsgY2F0IC9wcm9jL3N5cy9mcy9maWxlLW5yPGJyPgoyMDExGyRCRy8bKEIgMTIbJEI3
bhsoQiAyNhskQkZ8GyhCIBskQjduTUtGfBsoQiAyMzoyNToxMyBKU1Q8YnI+CjIyMTc8YnI+CjI5
MjgwICZuYnNwOyAwICZuYnNwOyAmbmJzcDsgJm5ic3A7IDEwMDEwNjxicj4KPGJyPgobJEIhSiMz
IUs1VUU+JCw7TyReJEMkPyFKGyhCMjA6Mjk6MDUgGyRCIUEbKEIgMjA6NDA6MDQbJEIhSyQiJD8k
aiROGyhCIHN5c2xvZyAbJEIkcjgrJEYkYiEiJGgbKEI8YnI+ChskQiQvSiwkKyRpJEokJCEjGyhC
PGJyPgo8YnI+CkRlYyAyNiAyMDoyMjowMiBFZWVQQy0zNSBkb3ZlY290OiBwb3AzLWxvZ2luOiBM
b2dpbjogdXNlcj0mbHQ7dGsmZ3Q7LCBtZXRob2Q9UExBSU4sIHJpcD0xOTIuMTY4LjEuMTIsIGxp
cD0xOTIuMTY4LjEuMTM1LCBUTFM8YnI+CkRlYyAyNiAyMDoyMjowMiBFZWVQQy0zNSBkb3ZlY290
OiBQT1AzKHRrKTogRGlzY29ubmVjdGVkOiBMb2dnZWQgb3V0IHRvcD0wLzAsIHJldHI9MC8wLCBk
ZWw9MC82MDcsIHNpemU9MTQ1OTc2MTxicj4KRGVjIDI2IDIwOjI1OjAxIEVlZVBDLTM1IENST05b
MTYyMl06IChyb290KSBDTUQgKGNvbW1hbmQgLXYgZGViaWFuLXNhMSAmZ3Q7IC9kZXYvbnVsbCAm
YW1wOyZhbXA7IGRlYmlhbi1zYTEgMSAxKTxicj4KRGVjIDI2IDIwOjI2OjU3IEVlZVBDLTM1IHJw
Yy5pZG1hcGRbODQzXTogbnNzX2dldHB3bmFtOiBuYW1lICYjMzk7MCYjMzk7IGRvZXMgbm90IG1h
cCBpbnRvIGRvbWFpbiAmIzM5O2xvY2FsZG9tYWluJiMzOTsgJm5ic3A7GyRCIisbKEIgGyRCIXoy
PyEpGyhCPGJyPgpEZWMgMjYgMjA6MjY6NTcgRWVlUEMtMzUgcnBjLmlkbWFwZFs4NDNdOiBuc3Nf
Z2V0cHduYW06IG5hbWUgJiMzOTswJiMzOTsgZG9lcyBub3QgbWFwIGludG8gZG9tYWluICYjMzk7
bG9jYWxkb21haW4mIzM5Ozxicj4KRGVjIDI2IDIwOjM1OjAxIEVlZVBDLTM1IENST05bMTcyM106
IChyb290KSBDTUQgKGNvbW1hbmQgLXYgZGViaWFuLXNhMSAmZ3Q7IC9kZXYvbnVsbCAmYW1wOyZh
bXA7IGRlYmlhbi1zYTEgMSAxKTxicj4KRGVjIDI2IDIwOjQwOjA0IEVlZVBDLTM1IHJwYy5pZG1h
cGRbODQzXTogbnNzX2dldHB3bmFtOiBuYW1lICYjMzk7MCYjMzk7IGRvZXMgbm90IG1hcCBpbnRv
IGRvbWFpbiAmIzM5O2xvY2FsZG9tYWluJiMzOTs8YnI+CkRlYyAyNiAyMDo0MDowNCBFZWVQQy0z
NSBycGMuaWRtYXBkWzg0M106IG5zc19nZXRwd25hbTogbmFtZSAmIzM5OzAmIzM5OyBkb2VzIG5v
dCBtYXAgaW50byBkb21haW4gJiMzOTtsb2NhbGRvbWFpbiYjMzk7PGJyPgo8YnI+ChskQjsyOU0k
SyQ3JD8lNSUkJUgbKEI8YnI+Cjxicj4KPGEgaHJlZj0iaHR0cDovL2phdmFkYXZlLmJsb2dzcG90
LmNvbS8yMDA1XzA2XzAxX2FyY2hpdmUuaHRtbCIgdGFyZ2V0PSJfYmxhbmsiPmh0dHA6Ly9qYXZh
ZGF2ZS5ibG9nc3BvdC5jb20vMjAwNV8wNl8wMV9hcmNoaXZlLmh0bWw8L2E+PGJyPgo8YnI+Cjxh
IGhyZWY9Imh0dHA6Ly93d3cubWptd2lyZWQubmV0L2tlcm5lbC9Eb2N1bWVudGF0aW9uL3N5c2N0
bC9mcy50eHQiIHRhcmdldD0iX2JsYW5rIj5odHRwOi8vd3d3Lm1qbXdpcmVkLm5ldC9rZXJuZWwv
RG9jdW1lbnRhdGlvbi9zeXNjdGwvZnMudHh0PC9hPjxicj4KPHNwYW4gY2xhc3M9IkhPRW5aYiI+
PGZvbnQgY29sb3I9IiM4ODg4ODgiPjxicj4KdGFrZV90ayA9IGt1bWFnYWkgaGlkZXRha2U8YnI+
Cjxicj4KPGJyPgo8L2ZvbnQ+PC9zcGFuPjwvYmxvY2txdW90ZT48L2Rpdj48YnI+PGJyIGNsZWFy
PSJhbGwiPjxkaXY+PGJyPjwvZGl2Pi0tIDxicj49PT09PT09PT09PT09PT09PT09PT09PT09PT09
PT09PT09PT09PT09PT08YnI+PGEgaHJlZj0ibWFpbHRvOmtlbnNlaUBhcnRpZmFybS5jb20iIHRh
cmdldD0iX2JsYW5rIj5rZW5zZWlAYXJ0aWZhcm0uY29tPC9hPiA8YSBocmVmPSJodHRwOi8vd3d3
LmFydGlmYXJtLmNvbS8iIHRhcmdldD0iX2JsYW5rIj5odHRwOi8vd3d3LmFydGlmYXJtLmNvbS88
L2E+PGJyPgobJEJDZkI8ISE3ckA4GyhCQBskQjN0PDAycTxSJSIhPCVGJSMlVSUhITwlYBsoQjxi
cj49PT09PT09PT09PT09PT09PT09PT09PT09PT09PT09PT09PT09PT09PT08YnI+CjwvZGl2Pgo=
--20cf307cfce608e01a04b5055ff9--


投稿者 xml-rpc : 2011年12月27日 06:23
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/107948
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。