AI セキュリティとは、AI を組み込んだシステムを攻撃や誤用から守り、機密情報の漏えいや、AI の意図しない出力・動作・停止を防ぐ取り組みのことです。セキュリティ業務に AI を使うことも同じ語で呼ばれるため、社内で話すときはどちらの意味かを先に揃えておくと議論がかみ合います。
AI セキュリティには「AI を守る」と「AI で守る」の2つの意味がある
AI セキュリティという語は、AI のシステムそのものを守る対策と、セキュリティの業務に AI を使う対策の、両方を指して使われています。
米国の国立標準技術研究所(NIST)が公開した、サイバーセキュリティの枠組みを AI に当てはめる指針の草案は、取り組みを3つに分けています。AI システムの構成要素を守る「Secure」、AI を使ってサイバー防御を行う「Defend」、AI を悪用した攻撃を防ぐ「Thwart」の3つです(NIST「Cybersecurity Framework Profile for Artificial Intelligence(NIST IR 8596)」初期予備草案・2025年12月16日)。
| 意味 | 対象と中身 | 社内で主に関わる担当 |
|---|---|---|
| AI を守る(Secure に該当) | 自社が使う・作る AI の入力・モデル・データ・出力・外部連携を、攻撃や誤用から守る | AI を作る開発の担当、情報システム部門、AI 推進の担当 |
| AI で守る(Defend に該当) | セキュリティの監視や対応の業務に AI を組み込む | セキュリティの運用担当 |
| AI を悪用した攻撃に備える(Thwart に該当) | 攻撃する側が AI を使って手口を広げ、巧妙にすることへの備え | セキュリティの運用担当、全社の教育の担当 |
表の「対象と中身」と担当は、NIST の3分類をもとに社内の役割を割り振るために編集部が整理したものです。
国内でも、この語が指す範囲は広めです。情報処理推進機構(IPA)が選ぶ「情報セキュリティ10大脅威 2026」の組織編では、「AI の利用をめぐるサイバーリスク」が初めて選ばれ、3位に入りました。IPA はこの項目に、AI への理解が足りないことによる意図しない情報漏えいや権利侵害、AI の生成結果を検証せず鵜呑みにすることで起きる問題、AI の悪用によるサイバー攻撃の容易化と手口の巧妙化を、まとめて含めています(IPA「情報セキュリティ10大脅威 2026」2026年1月29日)。
全社で AI の導入を進めるときに、先に決める必要があるのは前者の「AI を守る」ほうです。後者の「AI で守る」は、セキュリティ部門が自分の業務に AI を使うかどうかの判断で、AI の導入の可否とは切り分けて検討できます。
国内では、総務省のガイドラインが AI のセキュリティで守る状態を定めている
国内で AI のセキュリティの範囲を定めた公的な資料が、総務省が2026年3月に公表したガイドラインです。このガイドラインは AI の「セキュリティ確保」の対象を、「不正操作による機密情報の漏えい、AI システムの意図せぬ変更や停止が生じないような状態」に対する脅威への対策と定めています(総務省「AI のセキュリティ確保のための技術的対策に係るガイドライン」2026年3月)。
AI の開発・提供・利用に関わる事業者向けの国の指針として、総務省と経済産業省の AI 事業者ガイドライン があり、共通の指針の1つに「セキュリティ確保」を置いています。総務省のガイドラインは、そのセキュリティ確保を技術的な対策例まで具体にしたものです。
想定読者は、AI 事業者ガイドラインが定める AI 開発者と AI 提供者です。AI 提供者には、AI を自社のサービスや業務の仕組みに組み込んで利用者に提供する事業者が含まれ、想定事例には社内向けのチャットボット(RAG=社内文書を検索して回答に使う仕組みを利用するもの)も挙がっています。社内向けに AI の仕組みを作る企業も、読者に含まれると読めます。
主な対象の脅威は、プロンプトインジェクション攻撃と DoS 攻撃(サービス拒否攻撃)の2つです。どちらもプロンプトの入力だけで実行できるため、攻撃の具体的な可能性が比較的高いと説明されています。このほかの脅威として、学習データを汚すデータポイズニング攻撃、細工をしたモデルの導入を通じた攻撃、繰り返しのアクセスで似たモデルを複製するモデル抽出攻撃を挙げる構成です。
企業が読むうえで押さえておきたい点が3つあります。
- 対策例を実装しても、AI の性質上、脅威の要因を完全に排除するのは難しい。複数の対策を重ねてリスクを下げ、レッドチーミングで脅威を特定し、対策の有効性を確かめることが重要とされている
- 悪意のある攻撃だけでなく、人の設定ミスなどから生じる脅威にも注意が要る
- 示された対策を講じて秘密のデータを適切に管理していれば、AI から漏れた場合でも、不正競争防止法の「営業秘密」の要件の1つである秘密管理性を満たすと考えられる、という整理も示されている(有用性と非公知性の要件は別に満たす必要がある)
3つ目は、対策が事故を防ぐためだけでなく、事故が起きたときに会社の情報を法的に守れるかにも関わる、という意味です。攻撃する側の視点で AI を試す方法は、AI レッドチーミング の用語ページで説明しています。
守る対象は、入力・モデル・データ・出力・外部連携の5つに分けると整理しやすい
AI のシステムを守る対策は、守る対象を入力・モデル・データ・出力・外部連携の5つに分けると、どこに何が要るかを決めやすくなります。
| 守る対象 | 主なリスク | 対策の例 |
|---|---|---|
| 入力(利用者の入力・AI が読む外部の文書) | 細工をした入力や、Web ページ・メールに紛れた指示で、AI が不正な出力をする。膨大な処理を要する入力で、応答が遅れたり止まったりする | 入力に不正な指示が無いかを検証する。外部の文書を入力と区別して扱う。アクセスの回数に上限を設ける |
| モデル | 細工をしたモデルを取り込む。繰り返しのアクセスでモデルを複製される | 導入する基盤モデルの信頼性を、作成者が開示する情報をもとに確かめる。攻撃に悪用され得る情報を応答に含めない |
| データ(学習データ・RAG の参照先) | 学習や検索に使うデータを汚される。見せてはいけない文書の内容が回答に混ざる | データの出所と加工の履歴を確かめる。RAG の参照権限を利用者や役割に応じて設定する |
| 出力 | システムプロンプト(利用者に見せない AI への前提の指示)や機密情報が出力される。誤った内容が出力される | 出力を検証し、意図しない情報があれば応答を止める。システムプロンプトに API キーなどの機密情報を書かない |
| 外部連携(AI が操作する道具・連携システム) | AI が生成した命令が連携システムで実行され、データの漏えい・改ざん・削除につながる | AI と連携システムを動かす仕組みの権限を必要最小限にする。監査ログを残す |
表は、総務省のガイドラインが挙げる脅威と対策例を、守る対象ごとに編集部が並べ替えたものです(総務省「AI のセキュリティ確保のための技術的対策に係るガイドライン」2026年3月)。
攻撃する側の狙いで分ける見方もあります。NIST が敵対的機械学習(AI の統計的な性質を突く攻撃の研究分野)の分類と用語をまとめた報告書は、生成 AI への攻撃の狙いを4つに分けています。利用者が AI を使えなくする「可用性の妨害」、AI に意図と違う出力をさせる「完全性の侵害」、学習データや RAG の参照先などの情報を引き出す「プライバシーの侵害」、提供者が設けた利用の制限を外す「悪用の手助け」です(NIST「Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations(NIST AI 100-2 E2025)」2025年3月)。
同じ資料は、生成 AI が非公開のデータを読める使い方や、現実に影響する操作の道具を持つ使い方まで、守る範囲に含めています。社内データを検索する AI や、メールを送る・予定を入れる AI エージェントでは、表の「データ」と「外部連携」の比重が大きくなるということです。
開発の現場で確認項目として使われる資料の1つが、非営利団体 OWASP の LLM アプリケーション向けのリスク一覧です。2025年版の公式ページは、プロンプトインジェクションを1番目に置き、AI に持たせた機能や権限が大きすぎるリスク(Excessive Agency)や、出力を検査せずに他のシステムへ渡すリスク(Improper Output Handling)などを並べています(OWASP GenAI Security Project「2025 Top 10 Risk & Mitigations for LLMs and Gen AI Apps」2026年11月10日確認)。年ごとの改訂と各項目の中身は、OWASP Top 10 for LLM Applications の用語ページにまとめています。
企業が先に決めるのは、使ってよいサービス・AI に渡す権限・記録の3つ
AI を業務に入れる企業が、個々の技術的な対策より先に決めておくのは、利用してよいサービス、AI に渡す権限、何を記録するか、の3つです。この3つが決まっていないと、開発の担当が対策を作っても、どこまで守れば足りるのかを判断できません。
| 決めること | 決める中身 | 主な担当 | 対策の考え方 |
|---|---|---|---|
| 利用してよいサービス・モデル | 業務で使ってよい AI サービスと基盤モデルの一覧、入力してよい情報の区分、モデルを選ぶときに確かめる項目 | 情報システム部門、AI 推進の担当、法務 | 基盤モデルの作成者が開示する情報をもとに、セキュリティの信頼性を確かめる |
| AI に渡す権限 | AI が読める社内データの範囲、呼び出せる道具と連携システム、送信や削除のような取り消しにくい操作に人の確認を挟むか | 業務の責任者、情報システム部門 | 連携システムを動かす権限を必要最小限にする(最小権限の原則)。RAG の参照権限を利用者や役割に応じて設定する |
| 記録 | 入力・出力・道具の呼び出しを記録するか、保存の期間、誰が見られるか | 情報システム部門、法務・個人情報の担当 | 監査ログの保存で、後から経緯を辿れるようにする。保存の可否と見られる人の範囲は用途によって変わる |
右の列は、総務省のガイドラインが示す対策例から編集部が要約したものです(総務省「AI のセキュリティ確保のための技術的対策に係るガイドライン」2026年3月)。
3つのうち、AI エージェントを入れる会社で最も重くなるのは「AI に渡す権限」です。社内規程に答えるだけのチャットボットでも、だまされると誤った回答を返したり、参照先の社内文書やシステムプロンプトの内容を漏らしたりするおそれがあります。ただ、道具を持たないため、被害が操作の実行にまで広がることはありません。一方、メールを送る・データを書き換える AI は、だまされたときにそのまま実害のある操作につながるため、どの操作に人の確認を挟むかを業務の責任者が決めておく必要があります。AI エージェントに固有の守り方は、AI エージェントのセキュリティ の記事で扱う内容です。
株式会社overflow の Offers AX は、コンサルティング・AI エージェント開発・内製化支援の3つを、業務の現場に近い距離で戦略立案と実装を一体で進める FDE 型で支援するサービスです。AI の処理基盤は原則お客様の環境(GCP・Azure・AWS)に構築し、当社の環境に顧客データを抱えません。必要に応じて端末内で処理を完結させる構成をとり、外部通信の無効化、端末内の暗号化、アクセス制御、監査ログまでを設計に含めています。
支援の進め方は Offers AX のサービスページ をご覧ください。AI に渡す権限や記録の決め方を、既存の業務の流れとあわせて相談したい場合は、無料相談を申し込む からお申し込みいただけます。
自社の AI を点検するときは、使っている AI の棚卸しから始める
点検は、社内で動いている AI の一覧を作り、それぞれが何を読み、何を出し、何をできるかを書き出すところから始めます。
- 社内の AI を棚卸しする: 情報システム部門が把握しているものに加え、部署が独自に契約した AI サービスや、個人が業務で使っている AI も洗い出す。会社が把握していない AI の扱いは シャドー AI の用語ページで整理している
- AI ごとに、読むもの・出すもの・できる操作を1行ずつ書く: 読む社内資料と社外の文書、回答の使い道、呼び出せる道具とその権限を並べる
- 5つの守る対象のうち、重いところから対策を決める: 社内文書を検索して答えるチャットボットなら入力・データ・出力、メール送信や社内システムの更新ができる AI エージェントなら外部連携から見る
- 機械で止める仕組みと、試して確かめる手順を分ける: 入力と出力を検査して止める仕組みは AI ガードレール の用語ページで説明している。実際に攻撃する側の視点で試すときは、AI レッドチーミングの考え方が使える
- 見直す時期を決める: 総務省のガイドラインは、見直しの時期の例として、基盤モデルに変更があったときと、LLM が新たな学習をしたときを挙げている
入力した情報が社外に出ていく経路と、その防ぎ方は、生成 AI の情報漏洩 の記事で詳しく比べています。AI を社外のツールやデータにつなぐときの注意点は、MCP の企業でのセキュリティ の記事が参考になるはずです。
点検の結果は、AI を使う業務ごとのリスクの台帳として残しておくと、全社の規程づくりにそのまま使えます。全社の管理の仕組みへの落とし込み方は、AI ガバナンス の用語ページと AI のリスク管理 の記事にまとめています。
似た語との違いは、守る範囲と役割にある
AI セキュリティと似た語の違いは、どこまでを守る範囲に含めるかと、全体の中でどの役割を担うかにあります。
| 語 | 指すもの | AI セキュリティとの関係 |
|---|---|---|
| AI セーフティ | AI の活用に伴う社会的なリスクを下げるための、安全性・公平性・プライバシー保護・セキュリティ確保・透明性が保たれた状態 | AI セキュリティより広い。総務省のガイドラインは、安全基準などを AI に学習させて不正な指示に従いにくくする対策について、AI セーフティのための対策が AI セキュリティの確保にもつながるとしている。攻撃への備えとしては、より高度で重層的な対策が要る場合があるとも書いている |
| AI を使ったセキュリティ | セキュリティの監視や対応の業務に AI を組み込むこと | 守る対象は自社の情報システム全体で、AI は守る道具の側 |
| AI ガバナンス | AI の利用を組織として管理する方針・体制・規程 | AI セキュリティは、その中で技術的な守りを受け持つ部分 |
| AI ガードレール | AI への入力と、AI の出力・操作を検査して止める仕組み | 入力と出力を検証する対策の方法の1つ |
| AI レッドチーミング | 攻撃する側の視点で AI を試し、弱点を探す取り組み | 対策が有効かを確かめる方法 |
| プロンプトインジェクション | AI への入力や AI が読む文書に指示を紛れ込ませ、不正な出力をさせる攻撃 | AI セキュリティが防ぐ脅威の1つで、総務省のガイドラインが主な対象に置く |
AI セーフティの定義は、総務省のガイドラインが AI セーフティ・インスティテュート(AISI)の評価観点ガイドから引いているものです。社内の規程で AI セキュリティと AI セーフティを並べて書くときは、セキュリティ確保が AI セーフティを構成する要素の1つだと押さえておくと、担当の重なりを整理できます。
AI セキュリティと一緒に使われる用語
- 基盤モデル: 大量のデータで事前に学習し、さまざまな用途に転用できる AI のモデル。導入するモデルの出どころを確かめる対象になる。詳しくは 基盤モデル の用語ページで説明している
- データマスキング: 個人情報などの見せたくない値を、伏せ字や別の値に置き換える処理。AI に渡す情報の区分と組み合わせて使う。詳しくは データマスキング の用語ページで説明している
- ゼロデータリテンション: AI サービスの提供者が、送られた入力と出力を保存しない取り扱い。利用してよいサービスを選ぶときの確認項目になる。詳しくは ゼロデータリテンション の用語ページで説明している
- LLM ゲートウェイ: 複数の LLM の呼び出しを1か所に集めて管理する仕組み。利用量の上限や記録を1か所で扱える。詳しくは LLM ゲートウェイ の用語ページで説明している
- ハルシネーション: AI がもっともらしい誤りを作ること。攻撃が無くても起きる誤りで、出力の検証の対象になる。詳しくは ハルシネーション の用語ページで説明している
AI エージェントを業務に入れるときの設計と運用は、AI エージェントのカテゴリ の記事で、作り方から運用まで順に読めます。