【IT】ファーストサーバ、大規模障害の概要と原因について"中間報告"を発表 [06/25]

1 名前：ライトスタッフ◎φ ★ 投稿日：2012/06/25(月) 09:21:13.10 ID:???
※以下はファーストサーバ株式会社のリリース引用です。

【大規模障害の概要と原因について（中間報告）】2012年6月25日　2：00

月20日に発生した大障害について、最新の状況を下記の通りご報告いたします。
なお、FAQを6月25日 9時ごろ公開予定です。あわせてご覧ください。
データの消失について

■ 障害の概要
6月20日（水）17時ごろ、脆弱性対策を特定のサーバー群に対して実施しました。

脆弱性対策は更新プログラムを利用して一括して対象とするサーバー群に対して実施するという
運用を以前から行っており、今回も同様に作業を実施しました。

実施にあたっては検証環境において動作確認を行い対象サーバー群に問題が発生しないことを
確認したうえで、本番環境で実施するという手順を取っております。

しかしながら、更新プログラム自体に不具合があったことに加えて、検証環境下での確認による
防止機能が十分に働かなかったことと、メンテナンス時のバックアップ仕様の変更が重なり、
今回のデータの消失（バックアップデータの消失を含む）が発生いたしました。

■ 障害の原因
原因1：脆弱性対策のための更新プログラムの不具合
脆弱性対策のためのメンテナンスが必要となる都度、メンテナンスのための更新プログラムを
作成しており、今回も更新プログラムを作成しています。

そのプログラムの記述において、ファイル削除コマンドを停止させるための記述漏れと、メンテ
ナンスの対象となるサーバー群を指定するための記述漏れが発生していました。

原因2：メンテナンス時の検証手順
メンテナンスに際しては、検証環境でまず動作確認を行うという手順が定められていましたが、
プログラム実行後の動作確認を行う対象は、あくまでも当該メンテナンス対象サーバー群を
確認すれば足りるとされていたため、検証環境下で対象サーバー以外に影響が及んだことの
確認がないまま、動作確認上は問題なしと判定され本番環境での実施が行われました。

原因3：メンテナンス仕様
システムを含むデータのバックアップは毎朝6時に取得しております。

しかしながら、脆弱性対策のためのメンテナンスはバックアップをしてあるシステムについても
実施しておかないと、メンテナンス実施後にハードウェア障害が発生してバックアップに切り
替えた途端に脆弱性対策が講じられていないシステムに戻ってしまうことが過去に発生し、
脆弱性対策がなされていないシステムが動き続けていたという反省に立ち、脆弱性対策のメンテ
ナンスに関しては対象サーバー群とそのサーバー群のバックアップ領域に対して同時に更新プロ
グラムを適用するという構造に修正して実施しました。

そのため、今回のメンテナンス実施において、対象サーバー群のデータ消失と同時にバックアップ
領域のデータも消失したという事象に至っています。

■ 暫定対策
サービス再開に必要な場合、および緊急メンテナンスが必要な場合など止むを得ない場合を除き、
当面の間はメンテナンス作業を停止いたします。また、止むを得ずメンテナンス作業を行う場合には、
ダブルチェックを欠かさず細心の注意を払って作業を実施いたします。

メンテナンス運用手順を修正し、対象外サーバーの確認作業を追加します。

通常のバックアップ以外ではバックアップ領域に修正を加えられないように仕様を修正します。

■ 今後の事故究明と再発防止策
第三者による事故調査委員会を6月30日までに立ち上げ、事故要因を徹底究明し、再発防止策を
策定いたします。

【ファイルの誤参照の障害について】
復旧作業において専用サーバー、共有サーバーでそれぞれ障害が発生いたしましたので、下記の
通りご報告いたします。

■ 障害の概要
データ消失の後、データ復旧作業を実施。6月21日（木）9時ごろにデータの復旧プログラムにより
消失データを復旧し、リカバードファイルとしてお客様に提供しました。しかしながら、専用サー
バーのお客様より、専用サーバー内において情報にアクセス権限を有していなかった者からも
参照できる状態になっているとの報告があったため、リカバードファイルの提供を22日（金）
21時ごろ停止し、状況の確認を行ったところ、専用サーバー内において、アクセス権限を有して
いなかった情報についても参照が可能な状態にあったことが判明しました。

上記、問題の発覚を受け、共有サーバーにおいても、リカバードファイルの提供を即時停止し、
現在状況の確認を行っております。

■ 障害の原因　原因：データ復旧手順の不備
弊社にて消失ファイルを復旧しようとし復旧プログラムを実行しましたが、復旧プログラムの
仕様への理解が不十分であったため不適切なリカバリーファイルが作成されてしまい、その復旧
ファイルの内容を確認せずにお客様に提供してしまったことが原因です。

■ 影響範囲
現在調査中です。

●図解--通常の状態
[f:id:biz2ch:20120626000440g:image]
http://support.fsv.jp/info/img/syogai_before.gif

●図解--今回の事故の原因
[f:id:biz2ch:20120626000436g:image]
http://support.fsv.jp/info/img/syogai_after.gif

◎http://support.fsv.jp/info/nw20120625_01.html

3 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 09:27:58.88 ID:d27vY03A [1/2]
鯖の運用方法を2chに教えて貰った方がいいぞ。

8 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 09:36:00.52 ID:8B3saWcF
完全に事故とかじゃなくてヒューマンエラーだな。

▼ 37 名前：名刺は切らしておりまして投稿日：2012/06/25(月) 10:56:07.29 id:EDnahacf
>>8
組織エラー、資本エラーです

19 名前：名刺は切らしておりまして投稿日：2012/06/25(月) 09:49:04.01 ID:8TuK0cCU
バックアップのバックアップを取っておくのが普通だろｗ

31 名前：名刺は切らしておりまして投稿日：2012/06/25(月) 10:20:49.48 ID:0l7Bq/xB
>>1
素人でもわかることをひとつ。

バックアップに手を加えたらバックアップにならんだろうが。
脆弱性対策するなら、バックアップからコピーしたものを対策してから
オンラインにしろっての。

▼ 64 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 12:19:46.50 id:oKjRkaq1
>>31
正論だね。
こいつら機能のバックアップ（バックアップサーバ）はとってたけど、データのバックアップ（ある時点のデータのバックアップ）は一切とってなかった。
バックアップもとらずにパッチを当てるとか、素人の所業。

54 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 11:59:02.41 ID:a/9QcTji [1/2]
やっぱり思ったこと書かれてた
パッチ適用でデータ全消しなんてありうるのか、と
この会社でバックアップと言われてるのはデータバックアップじゃなく予備機ってことだろうってのも
サーバ管理なんて全然知らない俺でもこんなのおかしいとわかる

96 名前：名刺は切らしておりまして投稿日：2012/06/25(月) 14:24:24.94 ID:GsNXcSXt
普通サーバーって、通常系・待機系・検証系と、さらにデータのみのバックアップがあるんじゃないの？
今回の説明を聞くと、データのバックアップをしてなかったように聞こえるんだが。

▼ 99 名前：名刺は切らしておりまして投稿日：2012/06/25(月) 14:28:40.12 id:kENFJKnt
>>96バックアップがあるから安心と顧客には言っていたらしいがそのバックアップも損傷ってことらしい
http://www.news-us.jp/article/277080974.html

▼ 286 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 21:52:26.15 ID:6BfaMrKZ
>>96
ここの会社の定義だと、バックアップ＝待機系みたいだな。

▼ 326 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 22:38:57.93 id:TE3GrNLU
>>286
そういえば中継局を基地局と言い張る企業が有ったなぁ

129 名前：名刺は切らしておりまして投稿日：2012/06/25(月) 15:12:08.59 ID:vT74ADzo
ガンダムに例えると、
　間違えてザクで大気圏に降下しちゃった･･･
　「少佐、助けて下さい!!!」
　「残念だが、ザクには大気圏突入能力はない･･･キリッ」状態？

▼ 131 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 15:18:34.62 ID:5LyXZL1o
>>129
ガルマ殺すつもりがザビ家全員串刺しにして、ララァとアムロが巻き添えで死んだ感じ。

▼ 133 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 15:24:46.58 ID:M1O3PGZU
>>129
サーバ→アバオアクー
不具合プログラム→ガンダム
顧客データ→ドムとゲルググ

▼ 139 名前：名刺は切らしておりまして投稿日：2012/06/25(月) 15:30:02.48 ID:Ou+t3VGq
>>129
ルナ２宙域でソーラーシステムの運用テスト→目標を確実に捉えたので実戦投入
→ソロモンに命中し予定通りの戦果を挙げるも周囲の連邦艦隊を巻き添えに

ルナ２のテストチーム「目標に当たるかどうかだけしか確認してなかった
周囲の味方艦船への影響を調べるようには手順書に書いてなかった」

▼ 150 名前：名刺は切らしておりまして投稿日：2012/06/25(月) 16:12:46.99 ID:j+Hw+cn5
>>129
モビルスーツを多数積んだムサイによる大気圏突入だろ

▼ 180 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 17:37:29.43 ID:6/XFF0is
>>129
セイラ「進路オールクリア、ガンダム発進してください」　→　バックアップしているから大丈夫
敵のモビルスーツが攻撃してくる　　　　　　　　　　　　→　バックアップではなく待機系があっただけ
アムロ「どこが進路オールクリアなんだよ」　　　　　　　→　どこにバックアップがあるんだよ

177 名前：名刺は切らしておりまして投稿日：2012/06/25(月) 17:14:37.64 id:CFCzKvvC
今になっても各メディアはファーストサーバの説明文を丸写ししてるだけで
独自取材した形跡がないな
被害を受けた側の情報も公式には一切ない

報道がなくて困っている中小企業のIT担当者よ、赤旗にチクれ
恐怖の赤旗取材部が動き出すぞ

▼ 179 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 17:29:04.03 id:BfY1AzEV
>>177
独自取材つっても取材対象が無いでしょ。
コレが面白そう
ttp://internet.watch.impress.co.jp/docs/yajiuma/20120625_542578.html
＞【2012/6/25】
＞
＞● ロフトがファーストサーバの消失データを供養するリアルイベント開催
＞　先週末にネットを騒がせた、ファーストサーバの大規模サーバ障害。週末もその余波は続いていたようなのだけれど、
＞そんな中で阿佐ヶ谷ロフトAが発表したとある主催イベントが注目を集めていた。
＞その名も「ファーストサーバデータ消失オフ『データはどこへ消えた？』」。
＞イベント名からもわかるように、ファーストサーバの被害に遭った企業団体のウェブ担当者が集まり、被害状況を振り返ったり、消失データの供養をするという、ぶっ飛んだイベントだ。
＞これがまったくの第三者であれば悪乗りとして非難を浴びかねないところだが、実はこの阿佐ヶ谷ロフトAを含むロフトグループはほかならぬファーストサーバを利用していた1社であり、
＞いまもホームページはテキストオンリーでの運営となっているだけに、ネット上では転んでもただでは済まそうとしないその姿勢を応援する声が上がっている。
＞実際にイベントが開催されるかは今後の成り行きや参加者数にも依存しそうだが、障害の行方とともにこのイベントにも注目といったところだ。
＞
＞◇2012年7月14日の深夜スケジュール（阿佐ヶ谷ロフトA）
＞http://www.loft-prj.co.jp/lofta/schedule/perN.cgi?form=2&year=2012&mon=7&day=14
＞◇LOFT PROJECT
＞http://www.loft-prj.co.jp/

▼ 219 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 20:16:11.39 id:MmbcE4OT
>>179
革命始まる3秒前のバスティーユ広場のカフェ
職安にマークされるぞ

▼ 336 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 22:50:43.90 ID:n+4qTdnW
>>179
訴訟のための情報交換の場になりそうだなｗｗｗｗｗ

181 名前：名刺は切らしておりまして[] 投稿日：2012/06/25(月) 17:38:16.55 id:bEzy6Rz8

::::::::　　　　　　　　┌───────────────┐
::::::::　　　　　　　　｜　ファーストがやられたようだな…　 │
:::::　　　┌───└───────────ｖ───┬┘
:::::　　　｜フフフ…奴はソフトバンク四天王の中でも最弱 …│
┌──└────────ｖ───┬──────┘
｜　ミラーリングがバックアップとは　 │
｜　クラウドサービスの面汚しよ… 　│
└────ｖ──────────┘
　 |ﾐ,　 ／　 ｀ヽ　/!　　　　,.──､　　　　　　
　 |彡/二Oニニ|ノ　　　 /三三三!,　　　　　　 |!
　　`,' ＼､､＿,|/-ｬ　　　 ト `=j r=ﾚ　　　　 /ミ !彡 　　　　
T 爪| /　/￣|/´＿_,ｬ　　|`三三‐/　　　　 |`=､|,='| 　　　
/人 ヽ ミ='／|`:::::::/ｲ＿_ ト｀ー く＿＿,-,　 ､　_!_ / 　　
/　　`ー─'" |_,.イ､ | |/､　　 Y　 /| | | j　/　ﾐ`┴'彡＼ 　
　　　Yahoo!　　ソフトバンクモバイル　　　ソフトバンクテレコム

190 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 18:26:19.45 ID:1e84xi+A
ネット系メディア以外、ほとんど記事無しって怖いなあ。
時事も共同もそれっぽい記事hitしないし。

▼ 208 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 19:54:28.97 id:rPZ73GzV
>>190
記者にも知識がないのでどう扱っていいかわからない

▼ 210 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 19:58:42.35 ID:0qHrAoDb
>>190
実際に倒産するところが出るまで
技術系メディア以外は大事だと思えないだろうよ

▼ 211 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 20:01:07.22 id:sqoXT2ga
>>210
原因が原因だから、技術系メディア大して取り上げないかもよ。
こんな馬鹿な運用大系聞いたことがない。

307 名前：名刺は切らしておりまして[sage] 投稿日：2012/06/25(月) 22:17:26.52 id:zy2T+cCr [3/3]
絶対に起きない
起こる筈がない
そこに魔物は潜むのですよ

308 名前：名刺は切らしておりまして[] 投稿日：2012/06/25(月) 22:18:56.14 id:NSnkXdGG [3/5]
おこるべくしておこってる
表面化するものが少ないだけで予算無い所は似たり寄ったりだろ

http://anago.2ch.net/test/read.cgi/bizplus/1340583673/