接続障害

Incident Report for obniz

Resolved

障害発生大変申し訳ございませんでした。
障害が回復したことをお知らせいたします。

発生時刻：2023/9/21 11:50:00(JST) (始めの記載が間違っておりました。こちらの時刻が正しいです)
復旧時刻：2023/9/21 13:08:00(JST)
影響範囲：
・obnizCloudの開発者コンソール
・デバイス接続
・obnizCloud pipeline およびpipelineを活用するhubapis等の各種サービス

原因：センサーログの記録を負荷の原因とする一部データベースへの接続失敗。
対策：ログ記録機能のロールバック。データベースの再起動を含む回復処理。
今後の対策：
・データベース自動復旧の仕組み改善
・データベース接続失敗時にも継続動作が行える仕組みへの変更を検討。
・ログ記録に関して負荷上昇とならないアルゴリズムについて検討。

Posted Sep 21, 2023 - 13:31 JST

Monitoring

発生時刻：2023/9/21 11:50:00(JST)
復旧時刻：2023/9/21 13:08:00(JST)
影響範囲：
obnizCloudの開発者コンソール
デバイス接続
obnizCloud pipeline

原因：センサーログの記録の負荷を原因とする一部データベースへの接続失敗。
対策：ログ記録機能のロールバック。データベースの再起動を含む回復処理。

Posted Sep 21, 2023 - 13:10 JST

Update

現在原因を特定し、順次対策を行っております。
センサーデータの履歴保存量の増加による接続エラーと負荷上昇が原因でした。
履歴保存量を増やしていた処理を削減しており、データベースについては状態リセットを行い回復しました。
現在は残りの負荷軽減を順次行っております。
開発者コンソールの閲覧とAPIに影響があり、pipeline, hubapisを利用したサービスにも影響があり現在回復中です。

Posted Sep 21, 2023 - 12:56 JST

Identified

発生時刻：2023/9/21 11:50:00(JST)
復旧時刻：進行中
影響範囲：
obnizCloudの開発者コンソール
デバイス接続
obnizCloud pipeline

原因：一部データベースへの接続失敗

Posted Sep 21, 2023 - 12:47 JST

This incident affected: obnizCloud: Console and Device Connection Request, obnizCloud: GraphQL API, and obnizCloud: Device connection.