« バレンタイン | トップページ | Hyper Estraier »

2006年2月15日 (水)

プチ障害対応

夜も10時近くなってまだドナドナ先にいると、自分とこの会社から電話が。
何やら社内鯖のとあるサービスが応答しなくなったらしい。

この時間から会社戻るのは勘弁してくれ~家に帰るほうが近いんじゃ~とか思いつつ、多段SSHでアクセスを試みる。一応ログインできるじゃん。

  1. とりあえず、サービスを再起動してみる。あれ? "/var/tmp/xxxxx/xxxx を作成できません。空きスペースがありません" 的なことを言われたぞ。
  2. とりあえず "df -h"。あれ?あいてるじゃん。
  3. うーん。とりあえず言われたところを見てみるか。"ls /var/tmp/xxxxx"。帰ってこない・・・。orz
  4. "C-c"。やばい。ディスク障害かも。徹夜決定かいな。おろおろ。
  5. えーっと、もう一度サービスを起動してみよう。ん?ディスクがおかしいにしては、メッセージが変じゃん。
  6. "df -i"。100%・・・。おいおい。どこで大量のファイルが湧いて出てるんだ?
  7. とりあえず要らなそうなファイルをまとめて消してみる。ちょい空き。
  8. つーか ls が帰ってこないあそこが怪しいじゃんか。
  9. "cd /var/tmp; mv xxxxx xxxxx_bak" してからとりあえずサービス起動。
  10. おお復旧した。つーかこれ要らないよな多分。
  11. えーい、"rm -rf xxxxx_bak"。ていうか /var/tmp の下に置いたものがいつまでも残ってると思うなよ。
  12. 完了。切断。
  13. いちおう社内向けに障害報告メールを流しとく。

時間にして20分くらいかな?PHSだったし。片手間鯖管としては上出来の部類じゃないかと。

いやいや 1, 2 と来たらすぐ 6 だろうとか、そもそもinode無くなる前に気づけよ、とか言われるとそれは仰る通りなんだけど。

|

« バレンタイン | トップページ | Hyper Estraier »

コメント

コメントを書く



(ウェブ上には掲載しません)




トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/144798/8666657

この記事へのトラックバック一覧です: プチ障害対応:

« バレンタイン | トップページ | Hyper Estraier »