プチ障害対応

夜も10時近くなってまだドナドナ先にいると、自分とこの会社から電話が。
何やら社内鯖のとあるサービスが応答しなくなったらしい。

この時間から会社戻るのは勘弁してくれ～家に帰るほうが近いんじゃ～とか思いつつ、多段SSHでアクセスを試みる。一応ログインできるじゃん。

1. とりあえず、サービスを再起動してみる。あれ？ "/var/tmp/xxxxx/xxxx を作成できません。空きスペースがありません" 的なことを言われたぞ。
2. とりあえず "df -h"。あれ？あいてるじゃん。
3. うーん。とりあえず言われたところを見てみるか。"ls /var/tmp/xxxxx"。帰ってこない・・・。orz
4. "C-c"。やばい。ディスク障害かも。徹夜決定かいな。おろおろ。
5. えーっと、もう一度サービスを起動してみよう。ん？ディスクがおかしいにしては、メッセージが変じゃん。
6. "df -i"。100%・・・。おいおい。どこで大量のファイルが湧いて出てるんだ？
7. とりあえず要らなそうなファイルをまとめて消してみる。ちょい空き。
8. つーか ls が帰ってこないあそこが怪しいじゃんか。
9. "cd /var/tmp; mv xxxxx xxxxx_bak" してからとりあえずサービス起動。
10. おお復旧した。つーかこれ要らないよな多分。
11. えーい、"rm -rf xxxxx_bak"。ていうか /var/tmp の下に置いたものがいつまでも残ってると思うなよ。
12. 完了。切断。
13. いちおう社内向けに障害報告メールを流しとく。

時間にして20分くらいかな？PHSだったし。片手間鯖管としては上出来の部類じゃないかと。

いやいや 1, 2 と来たらすぐ 6 だろうとか、そもそもinode無くなる前に気づけよ、とか言われるとそれは仰る通りなんだけど。