Resolved -
障害発生大変申し訳ございませんでした。
障害が回復したことをお知らせいたします。
発生時刻:2023/9/21 11:50:00(JST) (始めの記載が間違っておりました。こちらの時刻が正しいです)
復旧時刻:2023/9/21 13:08:00(JST)
影響範囲:
・obnizCloudの開発者コンソール
・デバイス接続
・obnizCloud pipeline およびpipelineを活用するhubapis等の各種サービス
原因:センサーログの記録を負荷の原因とする一部データベースへの接続失敗。
対策:ログ記録機能のロールバック。データベースの再起動を含む回復処理。
今後の対策:
・データベース自動復旧の仕組み改善
・データベース接続失敗時にも継続動作が行える仕組みへの変更を検討。
・ログ記録に関して負荷上昇とならないアルゴリズムについて検討。
Sep 21, 13:31 JST
Monitoring -
発生時刻:2023/9/21 11:50:00(JST)
復旧時刻:2023/9/21 13:08:00(JST)
影響範囲:
obnizCloudの開発者コンソール
デバイス接続
obnizCloud pipeline
原因:センサーログの記録の負荷を原因とする一部データベースへの接続失敗。
対策:ログ記録機能のロールバック。データベースの再起動を含む回復処理。
Sep 21, 13:10 JST
Update -
現在原因を特定し、順次対策を行っております。
センサーデータの履歴保存量の増加による接続エラーと負荷上昇が原因でした。
履歴保存量を増やしていた処理を削減しており、データベースについては状態リセットを行い回復しました。
現在は残りの負荷軽減を順次行っております。
開発者コンソールの閲覧とAPIに影響があり、pipeline, hubapisを利用したサービスにも影響があり現在回復中です。
Sep 21, 12:56 JST
Identified -
発生時刻:2023/9/21 11:50:00(JST)
復旧時刻:進行中
影響範囲:
obnizCloudの開発者コンソール
デバイス接続
obnizCloud pipeline
原因:一部データベースへの接続失敗
Sep 21, 12:47 JST