AI インシデントは、実害が出た事象と出かねない事象の2つに分けて定義する
社内の定義は、実際に害が出た「インシデント」と、害につながりかねない「ハザード」の2つに分けておくのが、報告の漏れを減らす近道です。OECD は AI インシデントを、1つ以上の AI システムの開発・利用・誤作動が、直接または間接に次のいずれかの害につながった出来事と定義しています(OECD「Defining AI incidents and related terms」2024年5月)。
- 人の健康への害やけが
- 重要インフラの管理・運用の混乱
- 人権の侵害、または基本的な権利・労働の権利・知的財産権を守る法令上の義務への違反
- 財産・地域社会・環境への害
同じ報告書は、まだ害には至っていないものの、AI インシデントにつながる可能性が十分にある出来事を「AI ハザード」と呼んで区別しています。
国内では、AI セーフティ・インスティテュート(AISI)が、AI システムの挙動が想定外の形で倫理的な規範や安全性の基準を逸脱し、社会や組織のリスク許容度を超えた事象を AI インシデントとしています(AIセーフティ・インスティテュート「AIインシデントレスポンス・アプローチブック」2026年1月9日)。同じ資料によれば、発生した時点で AI が原因だと分かるものは少なく、多くは従来のセキュリティ事故として見つかり、原因を調べる中で AI の異常だと分かるという整理です。
この2つを踏まえて、社内の定義に書いておきたいのは次の2点です。
- 実害の有無を問わず報告の対象にする(ハザードも報告する)
- AI が原因かどうか分からない段階でも、AI を使った業務で起きた異常は報告してよい
報告の入口で「AI が原因か」を現場に判断させると、担当者は確信が持てるまで上げなくなります。判断は報告を受けた側の仕事にしておくのが安全です。
誤作動・誤った出力・情報の流出・偏った出力で、初動の担当が変わる
AI インシデントは、何が起きたかで4つに分けると、最初に動く担当と確かめる観点を決めやすくなります。AI事業者ガイドラインは、AI を使う企業が取り組む事項を、安全性・公平性・プライバシー保護・セキュリティ確保などの指針ごとに整理しています(総務省・経済産業省「AI事業者ガイドライン(第1.2版)」2026年3月31日)。
下の表は、その指針と事故の種類を対応させたものです(対応付けは編集部によるもの)。
| 種類 |
例 |
関わる指針 |
初動の主担当 |
最初に確かめること |
| 誤作動 |
AI エージェントが意図しない操作をする。連携先へ誤った処理を送る |
安全性 |
業務の責任者・情報システム |
操作がどこまで実行されたか。取り消せるか |
| 誤った出力 |
事実と違う回答を顧客に返す。誤った数字が資料に入る |
安全性 |
業務の責任者 |
出力が社外に出たか。誰が受け取ったか |
| 情報の流出 |
個人情報や機密を外部のサービスに入力した。他の利用者に見えた |
プライバシー保護・セキュリティ確保 |
情報システム・個人情報の管理部門 |
何の情報が何人分、誰に見えたか |
| 偏った出力 |
評価や選考の参考資料で、特定の属性に不利な出力が続く |
公平性 |
業務の責任者・人事・法務 |
その出力をもとに決めた判断があるか |
ガイドラインは AI を使う企業に向けて、AI が想定された仕様に基づいて適切に動いているかを確かめること、プライバシーの侵害について情報を集めて防止を検討すること、機密情報を不適切に入力しないよう注意することを挙げています。表の「最初に確かめること」は、これらが守られなかったときに被害の大きさを左右する項目です。
重さの判断には、OECD の定義にある害の種類が使えます。人の健康・重要インフラ・人権や法令上の義務・財産のどれに及んだかで経営層まで上げるかを決めておけば、担当者ごとの判断のぶれも小さくなります。
AI エージェントを使う業務では、外部の文章に紛れた指示で動作が乗っ取られるプロンプトインジェクションも誤作動の原因の1つです。権限の絞り方は AI エージェントのセキュリティの記事で扱っています。
初動は、全体を止める手順と一部だけ止める手順の両方を用意する
初動で最初にやるのは被害を広げないための停止で、止める権限を持つ人と止め方を事前に決めておく必要があります。AISI の資料は、AI は運用中にも更新・変化するため、従来の固定的な対応では過剰な停止につながる恐れがあると指摘しています(AIセーフティ・インスティテュート「AIインシデントレスポンス・アプローチブック」2026年1月9日)。
そのうえで資料は、システム全体を一括で止めるのではなく、特定のモジュールの停止や機能の切り替えを局所的にできるよう設計することを挙げています。例として示されているのは、改ざんされたモデルを別のモデルや代替のモデルへすぐに切り替えること、AI エージェントによる不正な API 利用をすぐに切り離すこと、異常時にも影響を受けない上位の権限を持つ制御の仕組みを分けて置くことの3つです。
社内で決めておく止め方は、次の3つの組み合わせが出発点になります。
- 機能を止める: AI の機能だけを止め、業務は人の手作業に戻す
- 人の確認を挟む: 自動で送っていた出力を、人が確かめてから送る流れに切り替える
- 範囲を狭める: 問題の出た連携先・データ・権限だけを外す
どれを選ぶかは、表の「最初に確かめること」の答え次第です。社外に誤った出力が出続けているなら機能を止め、社内の資料に誤りが混じった程度なら人の確認を挟む、といった目安を業務ごとに書いておくと、当日の判断が短くなります。
止める判断は、原因が分かるまで待たないことが大切です。OpenAI は2023年3月20日、オープンソースのライブラリの不具合で、一部の利用者に他の利用者のチャット履歴の題名が見える状態になったとして ChatGPT を停止し、不具合を直してから再開しました(OpenAI「March 20 ChatGPT outage: Here's what happened」2023年3月)。
同社は調べを進める中で、同日の太平洋時間午前1時から10時までの9時間に利用していた有料会員(ChatGPT Plus)の1.2%について、氏名・メールアドレス・支払い先の住所・カードの種類・カード番号の下4桁・有効期限が他の利用者に見えた可能性があったと公表し、該当する利用者に通知しています。カード番号の全体は見えていないという説明です。止める、直す、範囲を調べる、知らせて公表する、という順序は、AI を使う企業が初動の手順を書くときの参考になります。
発覚から再発防止までを時系列の表にしておく
初動・報告・連絡・記録・再発防止は、時点ごとに「何を・誰が」を1枚の表にしておくと、当日に迷う項目が減ります。下の表は、事前に決めておく項目を時系列に並べた雛形です(編集部作成。法令の期限は個人情報保護委員会「個人情報の保護に関する法律についてのガイドライン(通則編)」2026年6月一部改正による)。
| 時点 |
やること |
事前に決めておくこと |
主な担当 |
| 発覚直後 |
止める。記録を保全する |
止める権限を持つ人、止め方の3種類、ログを消さない手順 |
業務の責任者・情報システム |
| 当日中 |
影響の範囲を確かめ、社内に第一報を出す |
報告先と連絡手段、報告の様式、経営層へ上げる基準 |
業務の責任者・推進部門 |
| 知った時点から概ね3〜5日以内 |
個人情報の漏えいが報告の対象なら、個人情報保護委員会へ速報を出す |
報告する人、本人への通知の要否を判断する人 |
個人情報の管理部門・法務 |
| 当日〜数日 |
顧客・取引先に知らせるかを決め、知らせる |
社外に知らせる基準、文面の承認者、問い合わせの窓口 |
広報・法務・経営層 |
| 知った日から30日以内(不正の目的による恐れがあれば60日以内) |
確報を出す |
原因と再発防止策をまとめる担当 |
個人情報の管理部門 |
| 収束後 |
原因を分析し、台帳と手順を直す |
振り返りの場と期限、ヒヤリハットの集め方 |
推進部門・業務の責任者 |
AISI の資料が参照する米国 NIST のインシデント対応の文書(SP 800-61r3)は、対応を「準備」「検知・分析」「封じ込め・根絶・復旧」「事後対応」の4段階に整理しています。表に重ねると、発覚直後と当日中が検知・分析と封じ込め、収束後が事後対応で、この表を作る作業そのものが準備です。
既存のセキュリティ事故の手順書がある会社では、別の表を新しく作るより、その手順書に AI の行を足すほうが運用に乗ります。先に見たとおり、AI の事故の多くは最初は通常のセキュリティ事故として見つかるためです。
社内の報告先は、どこかの部署が知った時点から期限が動く前提で決める
社内の報告は、現場の担当者が AI の異常に気づいた時点で、推進部門と個人情報の管理部門に同時に届く経路にしておきます。個人情報保護委員会のガイドラインは、報告期限の起算点となる「知った」時点について、法人の場合はいずれかの部署が当該事態を知った時点を基準にするとしています(個人情報保護委員会「個人情報の保護に関する法律についてのガイドライン(通則編)」2026年6月一部改正)。
現場で調べ終えてから上げる運用だと、上がってきた時点で期限の日数はすでに減っている計算です。速報は報告の時点で把握している内容で足りるとされているので、社内の報告も「分かっていること」と「分かっていないこと」を分けた第一報を先に出す決まりにしてください。
報告の様式は、同じガイドラインが速報の報告事項に挙げる9項目に揃えると、社外への報告にもそのまま使えます。
- 概要
- 漏えい等が発生した、または発生した恐れがある個人データの項目
- 本人の数
- 原因
- 二次被害、またはその恐れの有無と内容
- 本人への対応の実施状況
- 公表の実施状況
- 再発防止のための措置
- その他参考となる事項
AI のインシデントでは、これに「使っていた AI(製品名・モデル)」と「止めたかどうか、止めた時刻」を足すと、後の原因分析が速くなります。全社で AI の責任者(CAIO)を置いている会社では、その人を報告先の最初の列に入れておきましょう。
社外への連絡は、法令で決まっている報告と自社で決める説明に分けて判断する
社外への連絡は、監督官庁への報告や本人への通知のように法令で求められるものと、顧客や取引先への説明のように自社で判断するものに分け、それぞれの判断者を決めておきます。
法令で求められる代表例が、個人情報の漏えいです。民間の事業者は、要配慮個人情報を含む漏えい、不正に使われて財産的被害が生じる恐れがある漏えい、不正の目的で行われた恐れがある漏えい、本人の数が1,000人を超える漏えいのいずれかが発生した、または発生した恐れがあるとき、個人情報保護委員会への報告が義務になっています(個人情報保護委員会「個人情報の保護に関する法律についてのガイドライン(通則編)」2026年6月一部改正)。
期限は、速報が知った時点から概ね3〜5日以内、確報が知った日から30日以内(不正の目的による恐れがある場合は60日以内)です。本人への通知も、事態の状況に応じて速やかに行うことが求められています。
AI で起きやすいのは、従業員が個人情報を含む文章を外部の生成 AI に入力した、社内向けの AI が見る権限の無い人に個人データを示した、といった形です。報告の対象になるかは情報の種類や人数で判断が分かれるので、判断する人を個人情報の管理部門か法務に決めておくのが確実です。入力の時点での防ぎ方は 生成 AI の情報漏洩と生成 AI と個人情報の記事にまとめています。
法令の義務が無い場合に、顧客や取引先への説明の目安になるのが AI事業者ガイドラインです。同じガイドラインは AI を使う企業に、関係者からの問い合わせに対応する窓口を合理的な範囲で設け、AI の提供元とも連携して説明と要望の受付をするよう求めています(総務省・経済産業省「AI事業者ガイドライン(第1.2版)」2026年3月31日)。AI を組み込んだサービスを顧客に提供する側には、不具合の原因と対応状況、インシデントの事例などを、適時かつ適切に知らせることも挙げられています。
社外に知らせるかは、「出力や情報が社外の人に届いたか」「相手が何かを判断し直したり手続きをしたりする必要があるか」の2つの問いで決めるのが簡単です。AI の提供元(クラウドや AI サービスの事業者)への連絡先と、契約で決めた通知の期限も、表に書き添えておいてください。誰がどこまで責任を負うかは契約と事案ごとに変わるので、この表では連絡の順番と判断者だけを決めます。
記録は、入力・出力・モデル・参照データまで残す
AI インシデントの記録に必要なのは、いつ誰が何をしたかに加えて、AI に何が入り、何が出て、どのモデルとデータで動いていたかです。AISI の資料は、AI の判断根拠や内部状態、データの流れを把握できる程度を「観測性」と呼び、推論の履歴などの動作の追跡、学習データ・モデル情報・RAG(社内文書を検索して回答に使う仕組み)といった構成要素の追跡、入力と出力の異常の検知を例に挙げています(AIセーフティ・インスティテュート「AIインシデントレスポンス・アプローチブック」2026年1月9日)。
同じ資料は、AI の構成要素を記録・管理する考え方として、G7 のサイバーセキュリティ作業部会が示した「SBOM for AI」(AI 向けのソフトウェア部品表)も紹介しています。外部のモデルやデータセットを組み合わせて作った AI ほど、どの部品が原因かを後から辿れるかが、対応の速さの分かれ目です。
事故の後から集められない記録は、平時から残しておくしかありません。最低限、次の5つを残す設定にしておきます。
- 入力(プロンプト・添付したファイル・参照させた文書)と出力
- 使ったモデルの名前と更新日、設定(システムプロンプト・使える道具と権限)
- AI エージェントが実行した操作と、その時刻
- 止めた時刻・止め方・止めた人
- 社内外へ連絡した相手・時刻・内容
個人情報を含む入力を記録に残す場合は、記録そのものの保管場所と閲覧できる人も決めておいてください。記録が新たな流出の元になるのを防ぐためです。
再発防止は、ヒヤリハットまで集めて台帳と手順に戻す
再発防止のゴールは、原因への手当てに加えて、同じ種類の事故を他の業務で起こさないよう、AI を使う業務の台帳と対応の手順を直すことです。AI事業者ガイドラインは、AI を提供する側にはプライバシーの侵害を認識した場合に適切に対処して再発の防止を検討すること、AI を使う側には想定どおりに動いているかを確かめることを挙げています(総務省・経済産業省「AI事業者ガイドライン(第1.2版)」2026年3月31日)。
AISI の資料も、インシデントは必ず起こるものという前提に立ち、発生させないための統制だけでなく、起きたときの被害を小さくする統制の強化が必要だとしています(AIセーフティ・インスティテュート「AIインシデントレスポンス・アプローチブック」2026年1月9日)。
振り返りで決めることは、次の3つです。
- 原因の手当て: 設定・権限・データ・人の確認の工程のどこを直したか
- 横展開: 同じ AI・同じ使い方をしている他の業務はどこか
- 手順の更新: 時系列の表のうち、当日うまく動かなかった項目
ヒヤリとした事例は、報告した人が責められない窓口を1つ決めておくと集まります。実害が出る前の事例ほど手当ての手間は小さいので、件数の少なさを気にせず集めるのが得策です。台帳の作り方とリスクの評価は AI のリスク管理の記事、全社の規程と体制は AI ガバナンスの記事で扱っています。
AI を業務に組み込む段階で、止め方と記録の取り方を設計に入れる
止める手順と記録の取り方は、AI を作った後から足すより、業務に組み込む設計の時点で入れるほうが手間は小さく済みます。どこで止めればよいか、どの記録が要るかは、動くものを業務で試して初めてはっきりするからです。
Offers AX は、FDE 型で戦略立案と実装を同じチームで進めるサービスです。数週間で動くプロトタイプを作り、実業務で検証してから本実装に進みます。AI の処理基盤はお客様の環境(GCP・Azure・AWS)に構築し、当社の環境に顧客データを持たない作りです。
インシデント対応に関わるところでは、次の点が判断の材料になります。
- クラウドの LLM を実質的に使えない高機密の人事の案件で、貸与 PC の中で処理を完結させ、テレメトリを含む外部通信を無効にした構成で実装した実績があります。端末内の暗号化・アクセス制御・監査ログも設計に含めています
- AI の出力は下書き・参考情報として扱い、事実認定・合否・処遇は人が判断する作り
- 内製化を見据えた引き継ぎドキュメントの整備と、社内の運用体制の設計
進め方の全体は Offers AX のサービスページをご覧ください。どの業務の AI から止める手順と記録の項目を決めるか、まだ決まっていない段階でも相談できます。無料相談を申し込む
最初に決める6項目
最初は全社の AI を対象にせず、出力が社外に出る業務を1つ選び、次の6項目を埋めるところから始めます。1つ埋めてみると、他の業務に広げるときの手間の見当がつくはずです。
| 項目 |
決めること |
| 止める |
止める権限を持つ人、機能を止める・人の確認を挟む・範囲を狭めるの使い分け |
| 範囲を確かめる |
種類ごとに最初に確かめること、確かめる担当 |
| 社内に上げる |
第一報の宛先(推進部門・個人情報の管理部門・CAIO)、9項目に AI の2項目を足した様式 |
| 社外に知らせる |
個人情報保護委員会への報告の判断者、顧客に知らせる基準、AI の提供元の連絡先 |
| 記録する |
入力・出力・モデル・操作・停止・連絡の記録の残し方と保管場所 |
| 再発を防ぐ |
振り返りの期限、横展開の確かめ方、ヒヤリハットの窓口 |
表ができたら、「顧客向けの AI が誤った案内を返した」といった想定で1度なぞっておくと、当日に止まりやすい項目が前もって見つかります。AI 推進の体制づくりは AI CoE の記事で扱っており、同じテーマの記事はカテゴリの一覧から読めます。