AI レッドチーミングとは、攻撃者の視点で AI システムを試し、危険な出力や情報の漏れ、施した安全対策の不備といった弱点を見つけて直すための評価手法のことです。想定どおりの使い方で正しく動くかを見る品質テストと違い、想定外の使われ方で何が起きるかを探します。

AI レッドチーミングは、攻撃者の視点で対策の有効性を確かめる評価手法

AI レッドチーミングが確かめるのは、AI の賢さよりも、AI に施した安全対策が悪意のある使い方に耐えられるかどうかです。

日本では、レッドチーミングは「攻撃者がどのようにAIシステムを攻撃するかの観点で、AIセーフティへの対応体制及び対策の有効性を確認する評価手法」と定義されています。目的は、攻撃者の立場から弱点や対策の不備(脆弱性)を見つけ、それを修正して堅くすることで、AI の安全性を保つか高めることです(AI セーフティ・インスティテュート「AIセーフティに関するレッドチーミング手法ガイド(第1.10版)概要」2025年3月31日公表)。

このガイドを出した AI セーフティ・インスティテュート(J-AISI)は、2024年9月25日に第1.00版を公表し、2025年3月31日に第1.10版へ改訂しました。第1.10版では、外部の文書を検索して答えに使う仕組み(RAG)を組み込んだ AI システムに実際にレッドチーミングを行い、その手順と成果物の例を文書にまとめています。

対象は、大規模言語モデル(LLM)を部品に持つ AI システムで、そのシステムの利用者に直接及びうる影響です。想定読者は AI の開発者と提供者のうち、レッドチーミングの企画・実施にかかわる人で、開発・提供の管理者と事業の執行責任者が挙がっています。

外部の生成 AI を組み込んで社内向けの質問応答の仕組みを作り、社員に使わせる企業も、そのシステムを提供する側として読めます。モデルを自社で作っていなくても、どの文書を検索させ、どんな指示を与え、誰に使わせるかを決めたのは自社だからです。

米国の国立標準技術研究所(NIST)も、生成 AI 向けの資料 NIST AI 600-1 で AI レッドチーミングを取り上げています。AI システムを探り、不正確・有害・差別的な出力などの欠陥や脆弱性を見つける構造化された試験で、多くは管理された環境で、システムの開発者と協力して行うものという説明です。NIST はこれを今も発展途上の取り組みとし、一般に公開する前と後のどちらでも行えるとしています(NIST「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile(NIST AI 600-1)」2024年7月公表)。

通常の品質テストとの違いは、想定外の使われ方を探すこと

品質テストが「正しく使えば正しく動くか」を見るのに対し、AI レッドチーミングは「悪意を持って使われたら何が起きるか」を見ます。

比べる点 通常の品質テスト AI レッドチーミング
問い 想定どおりに使ったとき、仕様どおりに動くか 攻撃者が使ったとき、施した対策が破られないか
試す入力 業務で想定する質問・データ 想定外の使われ方・対策をすり抜けようとする入力
見つけたいもの 誤答・不具合・性能の不足 危険な出力・情報の漏れ・指示の乗っ取り
担い手 開発しているチーム 開発チームと連携して置く別のチーム(社外に頼むこともある)
前提知識 仕様を知っている 内部構造を知らない・一部知っている・知っている、の3通りから選ぶ
時期 開発中と変更のたび 利用開始の前に1度、運用を始めた後も必要に応じて繰り返す

表は、編集部が J-AISI のレッドチーミング手法ガイドの分類(ブラックボックス・グレーボックス・ホワイトボックスのテスト、実施時期)をもとに、品質テストと並べて整理したものです。

2つは置き換えの関係にありません。NIST は、AI の安全対策をすり抜ける試み(ジェイルブレイク)やプロンプトを工夫する試験では、出力が正しいか・安定しているかといったリスクを体系的には評価できない場合があると指摘しています(NIST「NIST AI 600-1」2024年7月公表)。攻撃に耐えることと、業務で正しく答えることは別の性質です。

実務では、品質テストで業務の質問への正答の割合を確かめ、レッドチーミングで悪用されたときの壊れ方を確かめる、という分担で両方を利用開始の前に行います。どちらか一方だけで「出してよい」と判断しないことが大切です。

自社の AI を出す前に確かめる観点は、有害な出力・情報の引き出し・指示の乗っ取り

業務で使う生成 AI を社員や顧客に出す前のレッドチーミングでは、まず「有害な出力」「情報の引き出し」「指示の乗っ取り」の3つの観点から確かめると論点を絞れます。

J-AISI は AI の安全性を評価する観点として、有害情報の出力制御、偽誤情報の出力・誘導の防止、公平性と包摂性、ハイリスク利用・目的外利用への対処、プライバシー保護、セキュリティ確保、説明可能性、ロバスト性、データ品質、検証可能性の10を挙げています。この10の観点は網羅的なものではなく、将来更新されることが想定されるという位置づけです(AI セーフティ・インスティテュート「AIセーフティに関する評価観点ガイド(第1.10版)概要」2025年3月28日公表)。

レッドチーミングのガイドは、LLM を使うシステムへの代表的な攻撃の分類も示しています。下の表は、編集部が3つの観点ごとに、関係する評価観点と攻撃の分類を対応させたものです(AI セーフティ・インスティテュート「AIセーフティに関するレッドチーミング手法ガイド(第1.10版)概要」2025年3月31日公表)。

確かめる観点 起きないことを確かめる中身 関係する評価観点 関係する攻撃の分類
有害な出力 差別的・暴力的な内容や、誤った情報をもっともらしく出さないか。業務の目的から外れた使われ方に応じないか 有害情報の出力制御、偽誤情報の出力・誘導の防止、公平性と包摂性、ハイリスク利用・目的外利用への対処 回避攻撃(入力に悪意ある変更を加え、意図しない動作を起こさせる)
情報の引き出し 設定した指示文(システムプロンプト)や、学習・検索に使ったデータに含まれる情報を引き出されないか プライバシー保護、セキュリティ確保 プロンプトリーキング、メンバーシップ推論攻撃、モデルインバージョン攻撃
指示の乗っ取り 利用者の入力や、読み込ませた文書・Web ページに紛れた指示で、本来の動作を変えられないか セキュリティ確保、ロバスト性 直接プロンプトインジェクション、間接プロンプトインジェクション

指示の乗っ取りの仕組みは プロンプトインジェクション で、見つかった弱点を塞ぐ仕組みは AI ガードレール で詳しく扱っています。

3つの観点の重さは用途で変わります。社内文書を検索して答える仕組みなら、権限の無い部署の文書の中身を答えてしまわないか(情報の引き出し)が最初の確認事項になりやすいでしょう。メールの送信や台帳の更新までを AI に任せる AI エージェントなら、読み込んだ文書に紛れた指示で操作が実行されないか(指示の乗っ取り)の影響が大きくなります。AI エージェントに特有の守り方は、AI エージェントのセキュリティ の記事にまとめました。

人事や採用の業務で使う AI では、公平性と包摂性の観点も欠かせない確認事項です。応募者の属性によって評価の文面が変わらないかを、レッドチーミングとは別の評価で確かめておく必要があります。

進め方は、計画・攻撃・改善の3つの工程に分かれる

J-AISI のガイドは、レッドチーミングを「実施計画の策定と実施準備」「攻撃計画・実施」「結果のとりまとめと改善計画の策定」の3つの工程、15のステップで整理しています。

工程 主な中身 主に担う人
実施計画の策定と実施準備 企画書をまとめて実施を決め、レッドチームを置く。予算と人員、ツールを確保し、社内で足りなければ第三者を選んで契約する。実施計画書を作り、実施環境を用意し、予期しない動作や障害が起きたときの連絡の流れを確かめる プロジェクトチーム、レッドチーム
攻撃計画・実施 リスクシナリオを作り、それに沿って実際に可能な攻撃を検討した攻撃シナリオを作って実施する。実施中の記録を証跡として残し、終わったら関係部署に連絡して一時的なアカウントや設定を元に戻す レッドチーム
結果のとりまとめと改善計画の策定 結果を分析して報告書にまとめ、関係者が事実の誤りが無いかを確かめる。最終報告書を作り、必要に応じて経営層へ報告する。改善計画を立てて実施し、直った後を確かめる レッドチーム、プロジェクトチーム

リスクシナリオは、システムの構成、AI の安全性の評価観点、守るべき情報資産、システムの使われ方の4つから作るとされています。改善策の進み具合は経営会議などで確かめ、実施後には設定の確認や文書の点検、必要に応じて再度のレッドチーミングで、弱点が直りリスクが下がったことを確かめるのが望ましいという整理です(AI セーフティ・インスティテュート「AIセーフティに関するレッドチーミング手法ガイド(第1.10版)概要」2025年3月31日公表)。

体制は、対象の AI システムを開発・提供するプロジェクトチームと連携する形でレッドチームを置き、リーダーか責任者を任命します。レッドチームには攻撃を計画・実施する人と、AI システムに関連する有識者が入ることが基本です。

実施の時期は、初回をリリースか運用開始の前までに行うのが基本で、規模の大きいシステムでは部品や層の単位に分けて行うこともあります。レッドチーミングは1度で完了するものではなく、運用を始めた後も必要に応じて行うことが望ましいとされます。

社内の準備で見落としやすいのが、情報システム部門と情報セキュリティ部門への事前の連絡です。ガイドは、必要に応じて関係者に周知したうえで、監視設定の一時的な解除や監視対象からの除外を依頼すると書いています。攻撃を試す通信を、通常の監視が本物の攻撃として扱うおそれがあるためです。実施する月が決まったら、両部門に日程と範囲を先に伝えておくと手戻りを防げます。

NIST は、レッドチームの顔ぶれで結果の質が変わるとしている

NIST は、AI レッドチーミングの成果の質は、レッドチーム自身の経歴と専門性に左右されるとしています。

属性や専門分野の異なる人を集めたレッドチームは、生成 AI が使われるさまざまな場面での欠陥を見つけやすくなります。最もよい結果を出すには、その分野の専門知識と、使われる場面の社会・文化への理解を持つことが求められるという指摘です。NIST は用途に応じて、次の4つのパターンを挙げています。

パターン 担い手 特徴
一般の利用者(General Public) AI や技術の専門家ではない、実際に使う見込みの人 自分の経験と視点を持ち込める。大人数で行うほど成果が出やすい
専門家(Expert) その分野や使われる場面の専門家(医療・バイオ・サイバーセキュリティなど) 分野特有の危険を見つけられる
組み合わせ(Combination) 専門家と一般の参加者 専門家が一般の参加者の入力を直したり確かめたりする。攻撃される範囲を広く見られる
人と AI(Human / AI) 生成 AI と、専門家か非専門家のチーム 人だけで行うより費用を抑えられる場合がある。人と AI では引き出しやすい害の種類が違う

NIST は、レッドチーミングの結果を組織の統治や意思決定、方針・手順の更新に取り込む前に、追加の分析をかけるべきだとも書いています(NIST「NIST AI 600-1」2024年7月公表)。見つかった事象をそのまま規程に書き写すのではなく、どれくらい起きやすく、起きたら誰にどんな影響が出るかを見積もってから手を打つ順番を決める、ということです。

全社で使う AI なら、情報システム部門の担当者だけでなく、その AI を実際に使う部門の人をレッドチームに入れる価値があります。人事の AI なら人事の実務者、営業の AI なら営業の担当者が、業務を知る人にしか思いつかない使われ方を持ち込めるからです。

企業が AI レッドチーミングを始めるときに決めること

最初に決めるのは、対象、観点、環境、担い手、止める手順、結果の扱い、繰り返すきっかけの7つです。

決めること 中身
対象と範囲 どの AI システムの、どの部分(モデル・検索の仕組み・つないだツール)を試すか
確かめる観点 有害な出力・情報の引き出し・指示の乗っ取りのうち、用途に照らしてどれを先に確かめるか
実施する環境 本番の環境か、本番とほぼ同じ検証用の環境か、開発用の環境か
担い手 社内のチームか第三者か。その AI を使う部門の人を入れるか
止める手順 予期しない動作や障害が出たときの連絡先と、試験を止めると決める人
結果の扱い 報告先(経営層を含むか)、直す優先順位、直った後の確かめ方
繰り返すきっかけ モデルの更新、つなぐデータやツールの追加、利用者の範囲の拡大

見つかった弱点を、リスクの洗い出し・評価・対応の流れにどう組み込むかは、AI のリスクを社内で洗い出し、評価し、手を打つ進め方 の記事にまとめました。運用中に問題が起きたときの初動については、AI インシデント対応 の記事が参考になるはずです。

レッドチーミングで弱点が見つかっても、AI の仕組みの側に操作の記録が残らず、止める方法も用意されていなければ、原因を追えず手も打てません。誰が何を入力し、AI が何を返し、どのツールを動かしたかを記録する設計は、作り始める前に決めておくほど手戻りが少なく済みます。

株式会社overflow の Offers AX は、コンサルティング・AI エージェント開発・内製化支援の3つを、業務の現場に近い距離で戦略立案と実装を一体で進める FDE 型で支援するサービスです。仕組みはお客様の環境(GCP・Azure・AWS)に構築し、当社の環境には顧客データを抱えません。端末内の暗号化・アクセス制御・監査ログまでを設計に含めています。

AI の出力は下書き・参考情報の位置づけとし、事実認定・合否・処遇は人が判断する、というのも支援の前提です。数週間で動くプロトタイプを作り、実際の業務で効果を確かめてから本実装へ進む流れです。

支援の進め方は Offers AX のサービスページ をご覧ください。自社の AI を社員や顧客に出す前に何を確かめるか、確かめた結果を仕組みの作り方にどう返すかをあわせて相談したい場合は、無料相談を申し込む からお申し込みいただけます。

AI レッドチーミングと一緒に使われる用語

AI レッドチーミングの話題では、次の用語がよく並びます。

  • レッドチーム: 攻撃者の視点で、AI の安全への備えと対策の有効性を確かめる役割を担うチーム。開発を担うプロジェクトチームと連携して置く
  • ブラックボックス・グレーボックス・ホワイトボックスのテスト: レッドチームが AI の内部構造を知らない・一部知っている・知っている、のどの前提で試すかによる分け方
  • リスクシナリオ・攻撃シナリオ: 起きてほしくない事態を描いたものと、それを起こすために実際に可能な攻撃の筋書き
  • TEVV: 試験(Test)・評価(Evaluation)・検証(Verification)・妥当性確認(Validation)の頭文字。NIST は利用開始前の試験を pre-deployment TEVV と呼んでいる
  • プロンプトインジェクション: 入力や読み込ませた文書に紛れた指示で、AI の動作を乗っ取る攻撃
  • AI ガードレール: AI の入力と出力を見張り、危険なものを止める仕組み。レッドチーミングはその守りが働くかを確かめる
  • NIST AI RMF: NIST が公表した、AI のリスクを管理するための任意の枠組み。生成 AI 向けのプロファイル NIST AI 600-1 は、その関連資料
  • AI事業者ガイドライン: 総務省と経済産業省がまとめた、AI の開発者・提供者・利用者向けの指針。J-AISI のガイドが作成の土台にした資料の1つ
  • AI ガバナンス: AI のリスクを管理しながら便益を大きくする取り組みの全体

AI エージェントを業務に入れるときの論点は、AI エージェントのカテゴリ の記事にまとめています。