みなさんこんにちは。システムエンジニアの鈴木です。
先月末から今月頭にかけて、弊社提供のOEMシステムサーバー及びクラウドファイルサービス、VTOS、VTSVサービスにおいて障害が発生しました。
このサーバーはお客様が業務と連携しているサービスが多く、接続が不安定になると大きな影響を伴うことから、設備の強化を日々行っておりました。
このサーバーには、先月20日頃から不正アクセスが増大し、27日、29日、30日、1日と頻繁に増え、1日には、ほぼ一日中慢性的に接続しにくい現象が発生してしまいました。

通信機器には接続ログと言って、誰が何時何分にどんな経路で接続したかを残すものや、機器類の状態を記録するものがあります。
このログを使って今回の障害を調査してみたところ、ある海外からの不正アクセスが引き金になり、大量のアクセスが回線装置(ルーターを大型化したもの)の処理できる許容範囲を超えてしまいフリーズ(動作不安定)してしまう事が判りました。
回線装置はフリーズ状態が数分続くと、自動で復旧するよう設計されていて、再起動を行いサービスを再開する仕組みを取っています。
しかし、今回の障害は再起動後にも外部からの不正アクセスが止まらず、回線装置が頻繁にフリーズしていた事が原因であることが判りました。

このことから、緊急にも9月1日の深夜から翌日早朝までの間に緊急のメンテナンスを実施し、使用中の回線装置を交換し、新しい回線経路を構築して朝までに復旧いたしました。
一部で9月2日も接続障害があったとのご報告もいただきましたが、おそらくは回線経路の変更の反映が正しく伝わっていなかった可能性があります。
3日も監視モニターで動きを確認していましたが、現在のところ安定した通信に戻っているようです。
引き続き監視を行い、障害の少ないシステム構築に心がけていきたいと思います。

ご不便をおかけしました事お詫び申し上げます。