説明可能な AI(XAI)とは、AI がなぜその結果を出したかを、使う人や判断を受ける人が理解できる形で示せる AI と、そのための技術や取り組みのことです。融資・採用・医療のように人に影響する判断で特に求められます。内部の理由を示しきれない生成 AI では、入力・参照資料・判断者の記録で補うのが企業の実務です。

説明可能な AI は、説明の有無・伝わり方・正しさ・限界の4つで考える

説明可能な AI かどうかは、理由を出せるかに加えて、相手に伝わるか、理由が正しいか、使ってよい範囲をわきまえているかの4つで見ます。

説明可能な AI システムの基本の性質として、次の4つの原則が示されています(NIST「Four Principles of Explainable Artificial Intelligence(NISTIR 8312)」2021年9月)。

原則 中身 企業の現場での問い
説明(Explanation) 出力や処理について、根拠や理由を添えるか、内部に持っている 結果と一緒に理由が出る仕組みになっているか
意味がある(Meaningful) 説明が、受け取る相手にとって理解できるものになっている 審査の担当・本人・監査役のそれぞれに分かる言葉か
説明の正確さ(Explanation Accuracy) 説明が、出力を生んだ理由やシステムの処理を正しく映している もっともらしい後付けの理由になっていないか
知識の限界(Knowledge Limits) 設計した条件の中で、出力に十分な確信があるときにだけ動く 想定外の入力や確信の低い判断を、人に回す仕組みがあるか

表の「企業の現場での問い」は、原則の定義をもとに編集部がまとめたものです。

同じ文書は、すべての AI システムに説明が要るわけではないと認めたうえで、説明可能であることを意図した、または求められる AI システムに、この4原則に従うことを提案しています。

説明を求める理由と届け方は、AI の利用者によって変わるとも書かれています。AI の開発者・設計者と、政策を決める人や最終的な利用者とでは求める説明が大きく違うことがあり、どんな相手にも合う説明は無いので、相手ごとに違う種類の説明が要るという考え方です。

最初の「説明」の原則だけでは、その説明が正しいか、分かりやすいかは問いません。理由を出すことは入り口で、残りの3つの原則が説明の質を決めます。

説明可能性は、透明性・解釈可能性・アカウンタビリティと答える問いが違う

説明可能性は「どのように決まったか」、透明性は「何が起きたか」、解釈可能性は「なぜその決定になり、利用者にとってどんな意味があるか」に答える性質です(NIST「Artificial Intelligence Risk Management Framework(AI RMF 1.0)」2023年1月)。

3つは別々の性質でありながら、互いに支え合うものとして扱われています。同じ枠組みは、AI の仕組みを利用者の役割・知識・技能に合わせて説明することで、説明可能性が欠けるリスクを管理できるとしています。説明可能なシステムは不具合の調査や監視がしやすく、文書化・監査・ガバナンスにもつなげやすい、という整理です。

日本では、透明性の定義が国や文書によって異なることに留意したうえで、情報開示に関する事項を広く「透明性」として扱っています。アカウンタビリティは、AI に関する事実上・法律上の責任を負うことと、その責任を負うための前提条件を整えることの概念として、説明可能性とは分けて置かれています(総務省・経済産業省「AI事業者ガイドライン(第1.2版)」2026年3月31日公表)。

用語 答える問い 企業で用意するものの例
透明性 何が起きたか。AI を使っている事実や範囲、使ったデータは何か AI を使っている業務の一覧、利用者への通知
説明可能性 どのように決まったか 判断に影響した要素の提示、判断の流れの説明
解釈可能性 なぜその決定になり、相手にとって何を意味するか 本人に伝える理由の文面、結果の読み方の手引き
アカウンタビリティ 誰が責任を負い、後から経緯を追えるか 責任者の指名、記録と保存のルール

表の右の列は、編集部が企業の実務に置き換えた例です。

説明が要るのは、融資・採用・医療など人に影響する判断

説明が強く求められるのは、AI の出力が個人の生活や機会を左右する判断です。

先に挙げた NIST の4原則の文書は、AI が人の人生に影響する判断に関わる例として、医療の診断、ローンの申し込みの審査、量刑の推奨を挙げています。自動化されたシステムによるものも含め、判断の理由についての情報を示すよう定めた法令があることも、説明を求める動きの背景の1つだとしています。例として挙がっているのは、米国の公正信用報告法(FCRA)と EU の一般データ保護規則(GDPR)第13条です。

日本の AI事業者ガイドラインも、透明性の項目に「関連するステークホルダーへの説明可能性・解釈可能性の向上」を置いています。目的は、関係者の納得感と安心感を得ること、AI の動作についての証拠を示すことなどです。そのために、説明を受ける側がどのような説明が必要かを、説明する側へ共有するよう示しています。

下の表は、場面ごとに、誰にどんな説明が要るかを編集部が整理したものです。

場面 説明する相手 求められる説明の例 主に要る説明の種類
融資・与信の審査 申込者、審査の担当、監督当局 否決の主な理由、どの条件が変われば結果が変わるか 個別の判断の理由
採用の書類選考・面接の評価 応募者、面接官、人事の責任者 評価に影響した項目、AI と人がそれぞれ何を決めたか 個別の判断の理由と全体の傾向
人事評価・配置の提案 社員本人、評価者 提案の根拠になったデータ、評価者が変えた点 個別の判断の理由
医療の診断の支援 医師、患者 根拠になった所見、確信が低いときの扱い 個別の判断の理由と知識の限界
需要予測・在庫の発注 業務の担当、管理職 どの要素が予測を大きく動かしているか 全体の傾向

人に影響する用途では、説明と並んで偏りの確認も欠かせません。採用や人事評価の AI で偏りをどう確かめるかは、AI バイアス のページにまとめています。

説明の種類は「全体の傾向」と「個別の判断の理由」に分かれる

AI の説明は、モデル全体がどんな傾向で判断しているかを示すものと、1件ごとの判断の理由を示すものの2つに分けて考えるのが基本です。

手法の面では、人がモデルそのものを直接読める「自己解釈可能なモデル」と、別の道具で後から説明を作る「事後の説明」に大別されます。事後の説明はさらに、個別の判断を説明する局所的な説明と、アルゴリズム全体を説明する大域的な説明に分かれます(NIST「NISTIR 8312」2021年9月)。

種類 答える問い 代表的な手法 使いどころ
全体の傾向(大域的な説明) このモデルは一般にどの要素を重く見るか 部分依存プロット(ある要素の値を変えたときの予測の変化を示す図)、TCAV、代表例(プロトタイプ) 導入前の妥当性の確認、監査、経営や現場への説明
個別の判断の理由(局所的な説明) この1件はなぜこの結果になったか LIME、SHAP(要素ごとの寄与の度合いを示す)、反実仮想の説明(入力がこうだったら別の結果になった、という示し方) 本人への理由の通知、審査の担当の確認、問い合わせへの対応
モデルそのものが説明になる(自己解釈可能なモデル) 判断の規則そのものは何か 決定木、回帰モデル(ロジスティック回帰を含む) 理由を正確に示す必要が高い判断

自己解釈可能なモデルは、モデル全体を説明でき、1件ずつ入力をたどれば個別の判断の説明にもなるのが特徴です。これに対して事後の説明は、元のモデルを近似した別のモデルや、近くの入力を試した結果から作る説明です。4原則の「説明の正確さ」を満たしているかは、事後の説明ほど確かめる手間がかかります。

精度と分かりやすさの関係は、見方が分かれるところです。自己解釈可能なモデルは精度で劣るとする見方がある一方で、多くの場合は精度を損なわずに解釈可能なモデルを使えるとする研究者もいます。同じ文書が紹介する研究には、影響の大きい判断では、同じ精度の解釈可能なモデルが無いと示せない限り、中身の見えないモデルを避けるよう勧めるものもあります。

審査や採用のように理由の正確さが問われる用途では、まず決定木や回帰のような読めるモデルで足りるかを確かめ、足りないときに複雑なモデルと事後の説明を組み合わせる順で検討するのが現実的でしょう。

説明そのものにもリスクがあります。同じ文書は、説明を重ねて組み合わせると内部の仕組みや知的財産が見えてしまうおそれと、不正確な説明が仕組みの誤解につながるおそれを挙げています。説明の種類ごとに、誰にどこまで出すかを決めておく必要があるということです。

生成 AI は、判断の理由を自分の言葉で正しく示せるとは限らない

生成 AI が出力と一緒に書く「理由」や「根拠」は、その出力が実際に生まれた過程を映しているとは限りません。

生成 AI のモデルは学習データの統計的な分布に近い出力を作るように設計されており、大規模言語モデル(LLM)は文の中の次のトークンや単語を予測しています。出力には、答えを正当化したり説明したりするように見える作り話の論理や引用が含まれることがあり、答えそのものが間違っているときにも LLM が答えに至った論理の手順を示すことがある、と指摘されています(NIST「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile(NIST AI 600-1)」2024年7月)。

4原則に照らすと、生成 AI の書く理由が「説明の正確さ」を満たしているかを、外から確かめるのは難しいということです。生成 AI に「理由も書いて」と頼んで得た文章は、判断の根拠の記録として扱わず、出力の一部として扱うほうが安全です。

そのため、生成 AI を業務に組み込む企業が整えるのは、モデルの内部の説明よりも、何を入れ、何を参照させ、誰が最終的に決めたかを後から追える記録になります。

企業が整えるのは、入力・参照資料・判断者の記録

AI の判断を後から説明できるようにする土台は、入力・出力・参照させた資料・最終的に判断した人を、後から追える形で残すことです。

AI の判断にかかわる検証可能性を確保するため、データ量やデータ内容に照らして合理的な範囲で、開発過程、利用時の入出力、学習プロセス、推論過程、判断根拠などのログを記録・保存することが、透明性の取り組みとして示されています(総務省・経済産業省「AI事業者ガイドライン(第1.2版)」2026年3月31日公表)。

記録の方法・頻度・保存期間は、使う技術の特性と用途に照らし、事故などの原因究明、再発防止策の検討、損害賠償責任の要件の立証での重要性を踏まえて検討する、という書き方です。

同じガイドラインのアカウンタビリティの項目には、データの出所や、開発・提供・利用の中で行われた意思決定などを、技術的に可能かつ合理的な範囲で追跡・遡求できる状態にすること(トレーサビリティ)が挙がっています。関係する情報を文書化して一定期間保管し、必要なときに参照できるようにすることも同じ項目の中身です。文書化は、後から容易に確認できるよう適切なツールで記録が残っていればよく、紙や特定の文書の形式である必要はないとされています。

記録すること 中身の例 後から答えられる問い
入力 利用者が入れた指示(プロンプト)、対象の書類やデータ、入力した日時と人 何を AI に判断させたか
参照資料 答えるときに参照させた社内文書や規程と、その更新日 どの情報をもとに出力したか
モデルと設定 使ったモデルの名前とバージョン、プロンプトのひな形、設定値 同じ条件で出力を確かめ直せるか
出力 AI の出力そのもの、確信度などの付随情報 AI は何を提案したか
判断者と根拠 最終的に可否を決めた人、AI の提案から変えた点とその理由 誰が、何を理由に決めたか

表は、上の記録と保存の考え方をもとに、編集部が業務の記録に置き換えたものです。

最後の「判断者と根拠」が抜けると、AI の出力と人の判断の境目が後から分からなくなります。承認の画面に、承認者が自分の言葉で根拠を書く欄を設けておけば、本人や監査に説明するときの材料になるはずです。

株式会社overflow が社内で何を自動化し、何を人に残したかは、社内で動かしている AI ワークフローの記録 にまとめています。

企業が説明可能な AI を導入するときに決めること

人に影響する判断に AI を使う前に決めておくのは、用途、説明の相手、説明の種類、モデルの選び方、記録、人の判断の位置の6つです。

決めること 中身
用途と影響 どの判断に AI を使うか。結果で誰の処遇や機会が変わるか
説明の相手 本人・現場の担当・経営・監査・監督当局のうち、誰に何を説明するか
説明の種類 全体の傾向と個別の判断の理由のどちらが要るか。どこまで開示するか
モデルの選び方 読めるモデルで足りるか。複雑なモデルを使うなら、説明の正確さをどう確かめるか
記録 入力・参照資料・モデルと設定・出力・判断者を、どの期間残すか
人の判断の位置 どの時点で誰が決めるか。確信の低い判断を誰に回すか

外部の AI サービスやモデルを使う場合について、AI事業者ガイドラインは、AI 利用者が AI 開発者・AI 提供者に、どのような説明が必要となるかを共有することを挙げています。発注やサービスの選定の前に、表の「説明の相手」と「説明の種類」を書き出して提供元に渡せる形にしておけば、契約の後で必要な説明が出せないと分かる事態を防ぎやすくなります。

株式会社overflow の Offers AX は、コンサルティング・AI エージェント開発・内製化支援の3つを、業務の現場に近い距離で戦略立案と実装を一体で進める FDE 型で支援するサービスです。AI の出力は下書き・参考情報の位置づけとし、事実認定・合否・処遇は人が判断する、という前提で業務の流れを組むのが基本です。

仕組みはお客様の環境(GCP・Azure・AWS)に構築し、当社の環境には顧客データを抱えません。クラウドの LLM を使えない高機密の人事の案件でも、処理を貸与 PC の中で完結させる構成で対応した実績があり、その案件では外部通信を止めたうえで、端末内の暗号化・アクセス制御・監査ログまで設計に含めました。数週間で動くプロトタイプを作り、実際の業務で確かめてから本実装へ進む流れです。

支援の進め方は Offers AX のサービスページ をご覧ください。AI の判断を誰にどう説明し、何を記録に残すかを導入の前に整理したい場合は、無料相談を申し込む からお申し込みいただけます。

社内ルールへの組み込み方は 生成 AI の社内ガイドラインとガバナンスの作り方、業務ごとのリスクの洗い出しは AI のリスク管理の進め方 の記事が参考になるでしょう。

説明可能な AI と責任ある AI・AI ガバナンスの違い

説明可能な AI は判断の理由を示せる性質を指し、責任ある AI はそれを含む原則の集まり、AI ガバナンスは原則を組織で回す体制と手順を指します。

用語 何を指すか 説明可能な AI との関係
説明可能な AI(XAI) AI の判断の理由を、相手が理解できる形で示せること このページの用語
責任ある AI 公平性・透明性・安全性・プライバシー保護・説明責任などの原則に沿って AI を開発・利用・統治する考え方 説明可能性は、その原則のうち透明性と説明責任を支える
AI ガバナンス 原則を組織で回し続ける体制と手順 誰が何を記録し、誰が説明するかを決める器
AI バイアス AI の判断や出力が特定の属性の人に不利に偏る現象 判断の理由が見えると、偏りを確かめる材料が増える

社内で議論するときは、「モデルの中身をどこまで説明できるか」という技術の話と、「誰に何を説明し、誰が責任を負うか」という運用の話を分けておくと、技術の担当と法務・人事の担当で話が噛み合いやすくなります。

説明可能な AI と一緒に使われる用語

説明可能な AI の話題でよく並ぶ用語は、次のとおりです。

  • 解釈可能性: AI の出力が、設計された目的に照らして何を意味するかを、相手が理解できること
  • 透明性: AI を使っている事実や範囲、データ、判断の過程などの情報を、関係者に合理的な範囲で示すこと
  • アカウンタビリティ: AI に関する事実上・法律上の責任を負うことと、その前提となる条件を整えること
  • LIME・SHAP: 1件ごとの判断で、どの要素がどれだけ影響したかを示す代表的な手法
  • 反実仮想の説明: 「入力がこうだったら、別の結果になった」という形で理由を示す説明
  • ヒューマン・イン・ザ・ループ: AI の処理の流れの中に、人が確認・判断する時点を組み込む設計
  • NIST AI RMF: NIST が公表した、AI のリスクを管理するための任意の枠組み。説明可能で解釈可能であることを、信頼できる AI の特性の1つに置いている
  • AI事業者ガイドライン: 総務省と経済産業省がまとめた、AI の開発者・提供者・利用者向けの指針。透明性とアカウンタビリティを共通の指針に置いている

全社の AI 導入の進め方は、AX 戦略のカテゴリ の記事にまとめています。