メインコンテンツへスキップ
見出し画像

運営型ゲームの本番障害対応―止血・影響範囲の特定・告知・復旧の進め方

    ガチャの画面に表示されている排出対象と、実際に抽選されているアイテムが違う。イベント報酬が同じユーザーへ二重に配布されている。ランキングの更新が止まり、対戦結果が反映されない。

    運営型ゲームでは、こうした不具合が本番環境で発生することがあります。

    アプリ自体は動いていても、課金やアイテム、対戦の公平性に影響している場合があります。障害の発生中にもユーザーはゲームをプレイしているため、調査に時間がかかるほど影響が広がる可能性があります。

    障害の連絡を受けると、エンジニアは原因を調べたくなりますし、運営担当者はユーザーへの説明を考え始めます。どちらも必要ですが、対応する順番を間違えると、被害を広げたり、復旧を遅らせたりすることがあります。

    「落ち着いて対応してください」と言われても、実際に障害が起きている最中に冷静でいるのは難しいものです。

    私は、こうした場面こそ、事前に対応手順を決めておくことが大切だと考えています。

    基本的な流れは、次の5段階です。

    1. 止血(被害の拡大防止)

    2. 影響範囲の特定

    3. ユーザーへの告知

    4. 原因究明と復旧

    5. 再発防止

    必ず一つずつ完了させるという意味ではありません。止血を優先しながら、影響調査や告知の準備は並行して進めます。

    また、障害対応の責任者を決めておくことも必要です。

    大規模な障害では、インシデントコマンダーと呼ばれる全体指揮担当者を置き、調査・復旧、告知、カスタマーサポート(CS)の担当者を分ける方法があります。

    責任者は対応状況を把握し、機能停止や復旧などの判断を行います。調査担当者が原因究明に集中できるよう、ユーザー対応や社内報告を別の担当者へ任せます。

    対応用のチャットや記録文書を一つ決め、確認できた事実、実施した操作、未解決の問題を関係者が共有できる状態にしておきます。

    1.原因が分かる前でも、被害を広げる処理は止める

    障害の連絡を受けたら、最初に影響の重大度を判断します。

    すべての不具合で、直ちに機能を止める必要があるわけではありません。

    例えば、重大度を次のように分類しておく方法があります。

    • S1(重大): 課金の誤処理、ガチャの表示と抽選内容の不一致、大規模なデータ破損など、金銭や公平性に重大な影響がある障害

    • S2(高): 特定イベントの進行不能、一部機能の停止など、ユーザーのプレイに大きな影響がある障害

    • S3(低): ゲームの進行や課金に影響しない軽微な表示不具合など

    これは分類例であり、実際の基準はゲームの仕様や運営方針に合わせて決めます。

    特に課金やデータの整合性に関わる障害では、利用を継続するほど被害が増えるかどうかを確認します。

    例えば、ガチャの排出内容が表示と一致していない疑いが出たとします。

    原因の特定を待っている間にもユーザーがガチャを引き続けていれば、影響人数や課金に関係する取引が増えてしまいます。

    不一致が確認された場合や、重大な不一致が強く疑われる場合には、あらかじめ定めた基準に従って対象ガチャを速やかに停止します。

    ガチャのボタンを画面から隠すだけでは不十分な場合があります。古いクライアントから直接APIを呼び出せる実装なら、サーバー側でも実行を拒否する必要があります。

    同じように、障害の種類によって止める対象も変わります。

    • ガチャの排出内容に問題がある場合: 対象ガチャの実行受付を停止し、関連する購入・抽選処理への影響も確認します。

    • イベント報酬が二重配布される場合: 報酬付与処理の新規実行を止め、実行中のジョブやキューに残っている処理も確認します。

    • 特定のスキルが不正なダメージを出す場合: スキルを一時的に無効化するか、影響する対戦モードを制限します。

    • ランキング集計に異常がある場合: 集計や順位表示を一時停止するか判断し、その間の対戦結果をどう扱うか決めます。

    ゲーム全体を止める必要があるとは限りません。対象機能だけを停止できるなら、ほかのユーザーへの影響を抑えられます。

    機能停止をすぐに実行できるようにしておく

    本番障害が発生してから、機能を停止するプログラムを作り始めるようでは対応が遅れます。

    ガチャ、イベント報酬、ランキング集計など、障害時に停止する可能性がある機能には、管理画面やサーバー設定から即座に停止できる仕組みを用意しておきたいところです。

    こうした緊急停止機能は、一般にキルスイッチと呼ばれます。

    ただし、停止操作によって別の不整合が起きることもあります。報酬付与の途中で処理を停止した場合、付与済みのデータと未処理のデータが混在するかもしれません。

    キルスイッチは、実行中の処理やキューに残った処理がどうなるかも含めて、事前にテストしておく必要があります。

    また、停止判断の権限を持つ担当者と、その担当者へ連絡がつかない場合の代行者も決めておきます。

    停止操作を実行した際には、操作した担当者、対象機能、実行時刻、停止理由を監査ログへ残します。再開の判断権限や条件も、あらかじめ決めておくとよいでしょう。

    課金機能を停止した場合は、決済が完了しているのにアイテムが付与されていない取引がないかも確認します。購入受付を止めても、すでに成立した決済の処理が残っていることがあるためです。

    なお、稼働中のゲームでデータベース全体を障害前の状態へ巻き戻す操作は、原則として避けたい方法です。

    障害発生後に正常にプレイしたユーザーの課金、アイテム獲得、ゲーム進行まで失われる可能性があります。通常は影響のあるデータを特定し、必要な部分だけを修正する方法を優先します。

    2.影響人数だけでなく、どのデータが変わったかを調べる

    止血と並行して、影響範囲を調査します。

    ここで確認したいのは、いつから発生しているのか、誰に影響しているのか、どのデータに問題があるのかという点です。

    例えば、イベント報酬の二重配布なら、次の情報を調べます。

    • 報酬付与処理が実行された日時

    • 対象イベントと報酬の付与条件

    • 報酬を受け取ったユーザーID

    • 報酬付与履歴と処理の実行ID

    • 同じ処理が再実行された記録の有無

    同じユーザーが同じアイテムを2個持っているというだけでは、二重配布とは判断できません。

    そのゲームの仕様上、同じ報酬を複数回受け取れる場合もあります。

    例えば、同一イベントの同一報酬条件に対して、同じユーザーへ成功した付与処理が複数記録されていないかを調べます。その際、正規の複数受け取りと区別できるように、付与条件や実行履歴を照合します。

    ガチャであれば、画面に表示した対象アイテム・提供割合と、実際に抽選に使用したマスターデータを比較します。マスターのバージョン、適用時刻、抽選結果、ゲーム内通貨の消費履歴などを結び付けて確認できると、調査しやすくなります。

    ランキングについては、対戦結果が記録されていないのか、集計処理が止まっているのか、集計結果は正常でも表示用キャッシュが更新されていないのかで対応が変わります。

    特に運営型ゲームでは、データの不整合が対戦やランキングの公平性に影響していないかも調べる必要があります。

    復旧作業で調査に必要な記録を失わない

    原因調査に使うログやデータは、可能な範囲で変更前に保全しておきます。

    例えば、アプリケーションログ、サーバーの操作履歴、バッチ実行履歴、マスターの更新履歴、必要なDBスナップショットなどです。

    ログの保存期間が短い環境では、調査を進めている間に古い記録が削除されることもあります。

    被害の拡大防止を遅らせない範囲で、保全できる記録を早めに確保しておきます。取得したデータにはユーザー情報が含まれる場合があるため、保存先や閲覧権限の管理も必要です。

    ログが不足している場合には、DBの現在の状態、バックアップ、マスターの適用履歴、決済履歴、CSへの問い合わせなどを照合します。クライアント側のログを取得している場合には、それも調査材料になります。

    ただし、こうした情報を集めても、過去の状態を完全には復元できない場合があります。

    その場合は、影響が確認できた範囲と、記録不足によって確定できない範囲を分けておきます。

    また、障害の発生開始時刻は、最初の問い合わせ時刻とは限りません。

    ログがUTCで保存されている場合は日本時間との違いに注意します。複数のサーバーやリージョンを使用している場合には、マスターや設定の反映時刻が揃っているかも確認します。

    CDNやキャッシュが関係していると、画面に表示される情報とサーバーが使用するデータの更新タイミングが異なることもあります。

    3.原因が確定していなくても、ユーザーへの告知を進める

    運営型ゲームでは、障害が発生しているのに何の案内もない状態が長く続くと、ユーザーは何が起きているのか判断できません。

    ガチャが突然使えなくなったり、ランキングが更新されなくなったりすれば、ゲーム内のお知らせや公式サイトを確認する人もいるでしょう。

    原因が分かるまで告知を待つ必要はありません。

    初回の告知では、現時点で確認できた現象、実施した対応、次回の報告予定を伝えます。

    例えば、イベント報酬の二重配布が確認できた場合なら、次のような案内が考えられます。

    〇月〇日〇時頃から、イベント「〇〇」の報酬受け取りにおいて、一部のユーザーに報酬が重複して付与される不具合を確認しました。

    現在、対象の報酬受け取り機能を一時停止し、付与履歴と影響範囲を調査しています。

    対象となるユーザー数や今後の対応については、確認でき次第、改めてご案内します。

    ご迷惑をおかけして申し訳ございません。

    次回の状況報告は〇時頃を予定しています。

    これは重複付与が確認できた場合の例です。

    現象そのものが未確認であれば、「報酬の付与に問題がある可能性を確認し、調査しています」など、確定している情報と調査中の情報を分けて記載します。

    影響人数が確定していない段階で、推測した人数を発表する必要はありません。

    復旧見込みが分からない段階で、無理に復旧予定時刻を約束する必要もありません。

    また、告知した次回報告時刻になっても調査が終わっていなければ、調査継続中であることを案内します。

    CSと法務への連絡も並行して進める

    CS担当者には、初回告知と同じタイミングで障害の状況を共有します。

    問い合わせに対する回答が担当者ごとに異ならないよう、確認済みの事実、調査中の事項、回答を保留すべき内容を簡単なFAQにしておくとよいでしょう。

    特に返金やアイテム回収について、正式な判断が出る前に個別の約束をしないよう、回答方針を揃えておきます。

    一方、ガチャの表示と実際の抽選内容が一致していない場合は、景品表示法上の問題になる可能性もあります。

    対象ガチャ名、対象期間、表示内容、実際の抽選内容、影響した取引を確認し、必要に応じて法務担当者と告知内容や対応方針を協議します。

    ユーザーへのお詫びは早い段階で伝えられますが、具体的な返金・補填内容は、影響範囲や法的な対応を確認してから案内する方が適切な場合もあります。

    AppleやGoogleなどのプラットフォームを通じた課金に問題がある場合は、決済記録や返金処理の状況を確認します。事案の内容や各プラットフォームの規約に応じて、必要な連絡や手続きを進めます。

    4.直前の変更を確認し、復旧後もデータの整合性を検証する

    被害の拡大を抑えたら、原因を調べながら復旧方法を検討します。

    運営型ゲームでは、プログラムの更新がなくても、マスターデータやサーバー設定の変更によって不具合が発生することがあります。

    最初に調べたいのは、正常に動作していたときから何が変わったかです。

    例えば、次のような情報を比較します。

    • 障害発生前後のマスターデータの差分

    • 本番環境と検証環境の設定値の違い

    • サーバーのデプロイ履歴

    • キャッシュの更新状況

    • バッチや非同期ジョブの実行履歴

    ガチャの不具合なら、画面表示に使用したマスターと抽選処理が参照したマスターが一致しているかを確認します。

    イベント報酬の二重配布なら、同じジョブが再実行されていないか、処理がタイムアウトした後に再試行されていないか、同じ報酬を複数回付与できる実装になっていないかを調べます。

    調査そのものは複数人で並行して進められますが、本番環境の設定やプログラムを変更する際には、変更内容と担当者を記録し、作業が競合しないようにします。

    原因が完全に特定できていなくても、直前の設定変更を戻すことで安全に復旧できると判断できれば、先に復旧する選択肢もあります。

    ただし、切り戻しにも確認が必要です。

    例えば、変更前のマスターへ戻す場合には、すでに新しいマスターを使って作成されたユーザーデータが、古いマスターでも問題なく扱えるかを確認します。

    サーバープログラムを旧バージョンへ戻す場合には、DBのスキーマ変更やAPIの互換性にも注意します。

    可能であれば検証環境で切り戻しを試し、対象機能に加えて、課金やアイテム付与など関連する処理が正常に動くか確認します。

    本番での復旧後も、エラー率、処理件数、ユーザーデータの更新結果を監視し、同じ障害が再発していないかを確認します。

    プログラムの復旧と、データの修正は別に考える

    ここで注意したいのが、プログラムが正常に動く状態へ戻ったことと、ユーザーデータが正常になったことは別だという点です。

    二重配布の原因を修正しても、すでに配布されたアイテムは残ります。

    ガチャのマスターを修正しても、修正前に実行された抽選結果や消費履歴が変わるわけではありません。

    ランキングの集計処理を復旧しても、それまでの対戦結果が正しく反映されているかは別途確認が必要です。

    既存データの修正、アイテムの回収、ランキングの再集計などが必要であれば、対象データを確定したうえで対応方法を決めます。

    例えば、二重配布したアイテムを修正する場合には、次のような手順が考えられます。

    1. 対象ユーザーIDと、修正が必要なデータを抽出する。

    2. 修正前後でデータがどう変わるかを確認し、検証環境で試行する。

    3. 対象データのバックアップを取得し、技術責任者と運営責任者の承認を得る。

    4. 承認された手順で本番データを修正し、操作履歴を残す。

    5. 修正件数やアイテム数を照合し、対象外のユーザーに影響していないことを確認する。

    データ修正を本番DBで直接実行する必要がある場合でも、対象条件、更新件数、実行方法、失敗時の復旧方法を事前に確認します。

    アイテムの回収については、すでに消費されたアイテムをどう扱うか、交換・強化などで別のデータへ変化している場合にどう対応するかも決めなければなりません。

    一律に所持数を減らす処理では、正常なアイテムまで回収してしまう可能性があります。

    返金・補填は対象者と目的を分けて検討する

    課金や報酬に影響する障害では、データの修正だけで対応が完了しない場合があります。

    例えば、ガチャで表示内容と実際の抽選結果が異なっていた場合、対象となる取引を調査し、返金や補填について検討します。

    対応方法には、取引に対する返金、ゲーム内通貨の返還、アイテムの個別配布などがあります。どの方法が適切かは、障害内容や購入経路、利用規約、法的な条件によって変わります。

    また、対象ユーザーの不利益を是正する個別対応と、イベント停止などで不便をかけたユーザー全体へのお詫びは、目的を分けて考えます。

    返金については、AppleやGoogleなど購入先のプラットフォームによって手続きが異なります。ゲーム運営側で自由に返金処理を実行できるとは限りません。

    技術担当者だけで補填内容を決めず、運営責任者、必要に応じてCS、経理、法務などの確認を受けてから実行します。

    そして、機能の再開、データの修正、返金・補填について、それぞれ対応状況を記録しておきます。

    ゲームが再開しても、ユーザーへの対応が継続している場合があるためです。

    5.再発防止では、プログラムと運用手順の両方を見直す

    障害が収束したら、同じ原因で再発しないように対応を見直します。

    例えば、ガチャの表示内容と抽選内容が食い違ったのであれば、マスターデータを更新するときに両者の整合性を自動で検証できないか検討します。

    人が画面を確認するだけでは、更新する項目が増えるほど見落としが起きやすくなります。

    イベント報酬の二重配布であれば、処理が再実行されても同じ報酬を重複して付与しない仕組みを検討します。

    代表的な方法の一つが、冪等性(べきとうせい)を持たせることです。

    例えば、ユーザーID、イベントID、報酬条件IDなどを組み合わせて一意の付与処理を識別し、同じ処理が再実行されても二重登録されないようにします。

    実装によっては、データベースの一意制約やトランザクション、処理済みIDの記録などを組み合わせます。

    ランキングであれば、一定時間更新されていないことを検知する監視も考えられます。

    例えば、通常は1分ごとに集計する仕様なのに、5分以上更新がない場合に通知する、といった方法です。時間の設定はゲームの更新頻度に合わせて決めます。

    技術的な修正に加えて、障害対応そのものも振り返ります。

    • 障害の発生から検知まで、どの程度の時間がかかったか

    • 重大度の判定や停止判断で迷うことはなかったか

    • 対象機能を安全に停止する手段は用意されていたか

    • 影響範囲を調べるためのログは揃っていたか

    • 初回告知やCSへの連絡に時間がかかった理由は何か

    • 復旧判断やデータ修正の承認手順は明確だったか

    • 返金・補填の対象者と対応履歴を正しく管理できたか

    特定の担当者の確認漏れだけを原因にしてしまうと、その人が気を付ける以外の対策が残りません。

    マスターデータの更新時に自動検証を追加する、停止操作を管理画面から実行できるようにする、告知文のひな形を用意するなど、次回の障害で実際に使える対応を決めたいところです。

    可能なら、ガチャの停止やイベントの凍結を想定した障害対応訓練も実施しておくとよいでしょう。

    例えば、ガチャの排出内容に不一致が見つかったという想定で、担当者への連絡から重大度判定、機能停止、ログ保全、告知までを実際の手順に沿って確認します。

    停止操作を実行できる人が不在だった場合や、想定していたログが取得できなかった場合にどうするかも、訓練で確認できます。

    本番環境で初めて停止方法を調べるような状態は、できるだけ避けたいものです。

    おわりに

    障害を減らせるチームは強いですが、障害が発生しても対応の順番を見失わないチームも、同じくらい強いと思います。

    特に課金やユーザーデータを扱うゲームでは、障害が発生してから対応方法を考え始めると、判断が遅れることがあります。普段の運営から、停止する機能、判断する担当者、確認するログ、ユーザーへの告知手順を決めておきたいですね。

    SNS

    ゲーム開発やソフトウェア開発、エンジニアの育成・マネジメントについて、日々の仕事で考えたことをX・Bluesky・Facebookでも投稿しています。

    noteの記事にするほど長くない話や、開発現場で気になったことも書いています。

    X:
    https://x.com/itchie_tatsumi

    Bluesky:
    https://bsky.app/profile/itchie-tatsumi.bsky.social

    Facebook:
    https://www.facebook.com/ichino.souta

    辰巳電子工業SS事業部

    辰巳電子工業SS事業部では、IT・ゲームエンジニアの採用を行っています。

    事業内容やエンジニアの働き方、キャリアについては、事業部のWebサイトでもご案内しています。

    辰巳電子工業SS事業部
    https://www.tatsu-mi-systemsolution.jp/

     
     
    辰巳電子工業の事業責任者。ゲームPG⇒ゲーム会社取締役⇒現職。ゲーム/システム開発、エンジニア組織づくりの現場で見てきたことを元に、若手育成、働き方、技術情報を整理して発信します。ゲーム業界志望の方、ITエンジニアとして働きたい若手や、マネジメントを目指す方に向けたnoteです。

    あなたへのおすすめ