8月, 2017年
サーバー障害の検証でわかったこと
おはようございます。
システムエンジニアの鈴木です。
どんよりとした朝になりました。皆さんはいかがお過ごしでしょうか?
さてさて、先日日曜日ぐらいからお騒がせしている不正アクセスによるサーバー障害についてですが、昨日も午後９時すぎに5分程度発生いたしました。
緊急に状況を確認し、ログの解析などから、サーバーネットワークを司る装置(ルーター)が不正アクセスの処理に追いつかず、CPUが100%の状態になり、自動復旧のために機器が再起動を繰り返す事で、通信障害が発生している事を突き止めました。
ネットワークのトラフィックをログから参照すると、回線上十分な容量を確保できていましたので、集中してアクセスする事でパンクしたものではない事がわかります。
ではなぜCPUが暴走する原因になったのでしょうか?
不正アクセスの数は回線容量よりも少ないアタックではありましたが、ほぼ同時に多数の地域から集中的にアクセスされ、装置が不正アクセスと判断すると、ブロック及び管理者に通知する処理を自動で行います。この処理が同時に起こり、装置がフリーズ状態になる事で再起動がかかってしまうというものが原因のようでした。
このことから、この装置の挙動を変更してCPUに負担をかけない仕様に変更したところ、同様のネットワークトラフィックがかかってもフリーズしない事がわかりました。
この装置は、弊社OEMで提供しているシステムのサーバー5台、一部のサーバー監視、VTOS,VTSVサービス、SSLサービス、クラウドファイルサービスに直結しているため、これらのサービスで障害が発生していた事も判明いたしました。
装置の挙動変更後の本日、午前0時～午前9時の間のログでは、今のところ異常はみられない事が確認できました。
今後、同様の負荷がかかるか継続的な監視を強化し、慢性的になるようであれば、装置の強化を検討しなければならないようです。
皆様には大変ご不便をおかけいたしました事お詫び申し上げます。
緊急アンケート実施のご案内
日頃より弊社サービスをご愛顧いただきまして誠にありがとうございます。
近日頻繁に発生している海外からの不正アクセスに伴いまして、お客様のご利用状況を把握するべく緊急のアンケートを実施いたします。
このアンケートは、現在弊社サービスをご利用頂いている環境についてのアンケートです。
このアンケート結果により、セキュリティー強化の参考にいたしますので、お手数ではございますが、ご協力をお願いいたします。
なお、アンケートサイトはパスワードで保護されています。
8月28日に弊社より発送いたしましたアンケートのご案内にそれぞれパスワードが記されております。
そのパスワードを使用してアンケートのご協力をお願いいたします。
このアンケートは9月2日土曜日までとさせていただきます。何卒皆様のご協力をお願いいたします。
■アンケート実施のURL
https://drcom.co.jp/monitor001
サーバー障害の復旧のご連絡
日頃より弊社サービスをご愛顧くださいまして誠にありがとうございます。
本日夕方より発生致しました外部からの大量の不正アクセスでございますが、本日午後10時25分以降安定して稼働いたしております。
尚引き続き、不正アクセスの状況を確認し更なるセキュリティ向上に繋げて参ります。
ご不便をおかけ致しました事をお詫び申し上げます。
今後とも弊社サービスを宜しくお願いいたします。
サーバ障害の続報
日頃より弊社サービスをご愛顧いただきまして誠に有難うございます。
本日午後5時59分より発生しました 外部からの不正 アクセスが断続して続いております。 お客様には大変ご迷惑をおかけしておりますが現在復旧 作業を行っております。
依然不安定な状況が続いておりますが 、今しばらくお待ちいただきますようお願い申し上げます。
サーバー障害のご案内
いつもドリームズカンパニーをご愛顧いただき誠に有難うございます
先ほど17時58分頃弊社 oem サーバーにおいて、サーバ障害が発生いたしました 。
外部からのアクセスが多く発生し負荷がかかったため、サービスを一時切断し 再起動を行いました。
18時3分には すべて復旧しております。
ご不便をおかけいたしました事お詫び申し上げます。
今後とも弊社サービスをどうぞよろしくお願いいたします。
