AI エージェントを社内システムにつなぐときの安全性は、モデルの性能よりも、どの操作を許すかという権限の設計で大きく変わります。権限は「読む・書く・実行する・外へ送る」の4つに分け、任せる業務ごとに必要な最小限だけを渡すのが基本です。
そのうえで、元に戻せない操作と金額が動く操作には人の承認を挟み、エージェントが誰の代わりに何をしたかを記録に残すことも必要です。この3つを導入前に表で決めておけば、誤作動や外部の文章に紛れ込んだ指示で想定外の動きが起きても、被害は渡した権限の範囲にとどまります。
AI エージェントを社内システムにつなぐときの安全性は、モデルの性能よりも、どの操作を許すかという権限の設計で大きく変わります。権限は「読む・書く・実行する・外へ送る」の4つに分け、任せる業務ごとに必要な最小限だけを渡すのが基本です。
そのうえで、元に戻せない操作と金額が動く操作には人の承認を挟み、エージェントが誰の代わりに何をしたかを記録に残すことも必要です。この3つを導入前に表で決めておけば、誤作動や外部の文章に紛れ込んだ指示で想定外の動きが起きても、被害は渡した権限の範囲にとどまります。
編集部
Offers AX 編集部株式会社overflow が運営する Offers AX の編集部です。全社の AI 導入(AX)を支援する現場の知見をもとに記事を制作しています。
この執筆者の詳細・記事一覧 →AI エージェントが起こす事故の大きさは、エージェントに渡した機能と権限の広さでおおむね決まります。AI エージェントは質問に答えるだけでなく、他のシステムを操作して作業を進めるため、誤ったときに実行できてしまう操作の範囲がそのまま被害の範囲になるからです。
アプリケーションのセキュリティに取り組む非営利団体 OWASP は、LLM(大規模言語モデル)を使うアプリケーションの主要なリスクの1つに「Excessive Agency(過剰な代理権)」を挙げています。LLM の出力が想定外だったり、誤っていたり、操作されていたりしたときに、損害につながる操作を実行できてしまう弱さのことです。
原因は3つに整理されています。必要のない機能まで使えること(過剰な機能)、つないだ先のシステムで必要以上の権限を持つこと(過剰な権限)、影響の大きい操作を人や別の仕組みが確かめずに実行できること(過剰な自律性)です(OWASP「Top 10 for LLM Applications 2025」LLM06:2025 Excessive Agency)。
想定外の出力が生まれるきっかけとして、OWASP は誤った出力(ハルシネーション)と、外部の文章に紛れ込んだ指示でモデルを動かす攻撃を挙げています。後者の仕組みはプロンプトインジェクションの用語解説に譲ります。どちらが原因でも、被害の大きさを左右するのは権限の設計です。
国のガイドラインも同じリスクを書き加えました。総務省と経済産業省は AI 事業者ガイドラインの更新で、AI エージェントが自律的な動作の中で「人間の意図しない商品の注文やファイル削除等の動作を行う可能性」と、外部システムと連携する過程で攻撃を受け、内部データが意図せず外部へ送信される可能性を追記しています(総務省・経済産業省「AI事業者ガイドラインの令和7年度更新内容」2026年3月12日公表)。
企業の受け止めを示す数字として、IPA が毎年選ぶ「情報セキュリティ10大脅威」の組織編があり、2026年は「AIの利用をめぐるサイバーリスク」が初めて選ばれて3位でした。順位は、研究者や企業の実務担当者など約250名で構成する選考会の投票で決まるものです(IPA「情報セキュリティ10大脅威 2026」2026年1月29日公表)。
注文・削除・外部送信のどれも、エージェントにその操作の権限が無ければ起きません。モデルの誤りをゼロにはできないので、誤ったときに何ができてしまうかを先に絞るほうが確実です。AI エージェントに関する他の記事は AI エージェントのカテゴリ から読めます。
権限を「読む」「書く」「実行する」「外へ送る」の4つに分けると、操作ごとの危険の種類と、誤ったときに元に戻せるかどうかが見分けやすくなります。業務システムの権限設定は「閲覧者」「編集者」「管理者」のような役割の単位になっていることが多く、そのままでは1つの役割に書き込みと外部送信が混ざります。業務で使う操作を4つに振り分け直してから、役割の設定に写すのが順序です。
| 区分 | 操作の例 | 誤ったときに起きること | 元に戻せるか | 既定の扱い |
|---|---|---|---|---|
| 読む | 社内文書の検索、顧客台帳の参照、メールの閲覧 | 見せてはいけない情報が回答や下書きに混ざる | 一度出た情報は戻らない | 業務に要る範囲だけ許可 |
| 書く | 下書きの作成、台帳の項目の更新、社内チケットの起票 | データの誤った書き換え | 変更履歴があれば戻せる | 下書きと、自分が作った項目に限る |
| 実行する | 申請の承認・確定、ファイルの削除、発注や支払の処理 | 手続きが進む、データが消える | 戻せないものが多い | 人の承認を挟む |
| 外へ送る | 社外へのメール送信、外部サービスへのデータ送信、Web への公開 | 情報の流出、誤った連絡 | 戻せない | 人の承認を挟むか、送り先を固定する |
「読む」も無害ではない点に注意が必要です。NIST(米国国立標準技術研究所)は AI エージェントの認可を検討する文書で、エージェントが新しいツールやデータに触れて情報を集めたとき、集めた結果の機密度をどう判断するか、依頼した利用者にその結果を見る権限があるかを論点に挙げています(NIST NCCoE「Accelerating the Adoption of Software and AI Agent Identity and Authorization」概念文書の草案・2026年2月公表)。
1件ずつなら見てよい情報でも、まとめると見せてはいけない資料になることがあります。「読む」の範囲も、システム単位ではなく業務ごとに絞ってください。
日本の AI セーフティ・インスティテュート(AISI)が2026年7月に改訂した評価観点ガイドも、AI エージェント特有の評価項目を加えました。ファイルへの書き込み・削除や権限の昇格など「あらかじめ定義した高リスクなタスク」を観測・制御できるか、漏洩してはならない情報が外部へ流出していないか、という項目です(AIセーフティ・インスティテュート「AIセーフティに関する評価観点ガイド(第1.20版)概要」2026年7月7日公表)。4つの区分のうち「実行する」と「外へ送る」を重く扱う考え方と重なります。
権限はエージェント全体にまとめて与えず、任せる業務ごとに4つの区分で必要なものだけを表にして渡します。土台は情報セキュリティの「最小権限の原則」です。NIST の定義では、各主体に、機能を果たすのに必要な最小限のシステム資源と認可だけを与えるよう設計する原則です(NIST「SP 800-53 Rev. 5」用語集の定義)。
AI 事業者ガイドラインの更新でも、AI 提供者が留意する事項として「ユーザーやシステムに付与する権限を業務遂行に必要な最小限に設定する」ことが加わりました。あわせて、ホワイトリスト方式(=使ってよいものを列挙し、それ以外は使わせない方式)で連携ツール・システムを制限することも追記されています(総務省・経済産業省「AI事業者ガイドラインの令和7年度更新内容」2026年3月12日公表)。
表にすると次のような形です。業務は説明のための例で、実際の区分は社内規程と扱うデータで変わります。
| 任せる業務(例) | 読む | 書く | 実行する | 外へ送る |
|---|---|---|---|---|
| 社内の問い合わせの一次回答 | 社内規程と FAQ | 回答の下書き、社内チャットへの返信 | なし | なし |
| 経費精算の一次確認 | 申請内容、経費規程、領収書の画像 | 確認結果のコメント | なし(差し戻しと承認は担当者) | なし |
| 見込み客へのメールの準備 | 顧客管理システムの該当顧客の記録 | メールの下書き、活動履歴の記録 | なし | 送信は担当者の承認後 |
| 面接の日程調整 | 面接官の空き時間、候補者の希望日 | 日程候補の下書き | カレンダーへの予定登録(承認後) | 候補者への連絡は担当者の承認後 |
抜けを防ぐには、次の順で表を作るのが近道です。
設定の仕方にも注意点があります。OWASP は、任意のコマンドを実行する機能や任意の URL を開く機能のような汎用の道具を渡さず、用途を絞った道具を用意することを勧めています。エージェントは依頼した利用者の権限の範囲で、必要最小限のスコープ(=許可の範囲)で動かすことも対策の1つです。
もう1つ大事なのが、許可するかどうかの判定を LLM に任せず、つないだ先のシステムの側で行うことです。プロンプトに「削除はしないこと」と書いても、誤った出力や紛れ込んだ指示で守られない場合があります。削除の権限そのものを渡さないほうが確実です。
作り方(SaaS の設定・ノーコード・個別開発)によって、どこまで細かく権限を絞れるかは変わります。作り方の選び方は業務に入る AI エージェントの作り方と発注の仕方を参照してください。
「実行する」と「外へ送る」のうち、元に戻せない操作と金額が動く操作は、エージェントに案を作らせ、実行の前に人が承認する形にします。影響の大きい操作に利用者の承認を求めることは、OWASP の対策の一覧にもある方法です。
ガイドラインの更新は、AI 提供者に「人間の判断を介在させる仕組みの構築」を求め、判断が必要となる事項を重要度に応じて整理し、適切に対象を選定することが重要だとしました。AI 利用者向けにも、出力によって重大な影響または被害が生じ得る場合は、人間の判断を介在させる仕組みに基づいて判断するよう追記されています(総務省・経済産業省「AI事業者ガイドラインの令和7年度更新内容」2026年3月12日公表)。
承認を挟むかどうかは、操作の性質で決めるのが判断のぶれにくい方法です。
| 操作の性質 | 例 | 扱い |
|---|---|---|
| 社外に出る | 社外へのメール送信、Web への公開、外部サービスへのデータ送信 | 承認を挟む |
| 元に戻せない | ファイルやレコードの削除、契約や申請の確定 | 承認を挟む |
| 金額が動く | 発注、支払、返金、見積もり金額の確定 | 承認を挟み、1件あたりの金額の上限も設定する |
| 権限が変わる | アカウントの作成、他の人やエージェントへの権限の付与 | エージェントには渡さない |
| 人の処遇に関わる | 採用の合否、評価、懲戒の記録の確定 | AI は下書きまでにし、判断は人が行う |
| 社内で戻せる | 下書き、社内チケットの起票、自分が作った項目の更新 | 承認なしで実行させる候補 |
承認を形だけにしない工夫も要ります。承認画面には「何を・誰に・いくらで・どの資料をもとに」を並べ、承認者が元の資料を開かずに判断できるようにしましょう。
承認の依頼が多すぎると、中身を見ずに押す運用になりがちです。最初は承認を広めに挟み、差し戻しの記録を見ながら、差し戻しが出ない種類の操作から承認を外していくと、承認の手間と安全を両立しやすくなります。承認の仕組みそのものは、エージェントが自分で押せない場所(つないだ先のシステムのワークフロー)に置くのが安全です。
Offers AX は、課題調査とユースケースの選定から AI エージェントの設計・構築、社内への引き継ぎまでを、考える人と作る人を分けずに進めます。構築は原則としてお客様の環境(GCP・Azure・AWS)で行い、当社の環境に顧客データを抱えない方針です。お客様の環境に置く AI の処理基盤には認証と監査ログを含め、契約が終わっても作ったものはお客様の環境に残ります。
クラウドの LLM を使いにくい機微な人事案件では、貸与 PC の中で処理を完結させ、端末内の暗号化・アクセス制御・監査ログまで設計に含めた構成をとっています。AI の出力は下書き・参考情報の位置づけで、事実認定・合否・処遇は人が判断する前提です。社内で運用を続けられるよう、引き継ぎのドキュメントと運用体制の設計も支援の範囲に含みます。
自社の業務で権限の表をどう作るかから相談したい場合は、Offers AX のサービスページで進め方をご覧ください。任せたい業務が決まっているなら、無料相談を申し込むから日程を決められます。
エージェントの操作は、どのエージェントが、誰の依頼で、何を読んで、何をしたかを後から追える形で記録するのが基本です。NIST の検討文書は、利用者の ID とエージェントを結び付けて委任を管理し、自動化された操作の責任の所在を保つことを検討の重点に挙げています。エージェントの操作をそのエージェント自身の ID と結び付けて記録すること、操作と意図を改ざんできない形で残すこと、操作を人の承認に結び付けることも論点です。
人の共有アカウントでエージェントを動かすと、記録の上では人の操作かエージェントの操作かを区別できません。権限の表を作る手順でエージェント専用のアカウントを作るとしたのは、このためです。記録する項目は次のとおりです。
| 記録する項目 | 中身 | 何に使うか |
|---|---|---|
| エージェント | どのエージェントが、どの設定で動いたか | 設定を変えた前後の比較 |
| 依頼した人 | 誰の依頼で、誰の代わりに動いたか | 責任の所在の確認 |
| 読んだもの | 参照した文書・メール・Web ページ | 紛れ込んだ指示の出どころの特定 |
| 操作 | 対象のシステム、操作の種類、変更前後の値 | 元に戻す作業 |
| 承認 | 承認した人、日時、差し戻しの理由 | 任せる範囲を広げるかの判断 |
ガイドラインの更新も、AI 利用者に対し、操作履歴や入力・出力の記録などのログの管理体制を利用前に整えるよう求めています。利用状況や異常な操作を把握するためにログを定期的にレビューし、異常な操作を検知したら即時に報告する体制を整えることも加わりました(総務省・経済産業省「AI事業者ガイドラインの令和7年度更新内容」2026年3月12日公表)。
記録に残すのは実際の操作です。同じ更新は、LLM が結果とその根拠を出力しても、AI 内部の決定ロジックを説明しているわけではなく、もっともらしい組み合わせを出しているにすぎない点に注意するよう明記しました。エージェントが書いた「理由」は参考として残し、監査に使うのは操作と入力の記録です。
記録の置き場所も、先に決めておくべき項目です。社外のサービスにだけログが溜まると、監査のたびに提供元へ出力を依頼する手間がかかります。社内の環境に置き、保存期間と閲覧できる人を決めておけば、情報システム部門や監査の担当者がそのまま確かめられます。
権限の設計で被害の範囲は絞れても、それだけでは防げないことが残るのも事実です。導入後に起きやすいのは次の3つです。
1つ目は、許された範囲の中での誤りです。読んでよい資料を読み違えた下書きは、権限では止まりません。承認者が下書きを元の資料と見比べる運用と、差し戻しの理由を記録する仕組みで拾います。
2つ目は、権限の足し続けです。運用中に「これもできたほうが便利」と権限を追加していくと、最初に作った表の意味が薄れます。追加するときは表を更新し、なぜ要るかを1行残すことにしておきましょう。
3つ目は、認証情報の管理です。NIST の検討文書も、エージェントの鍵の発行・更新・失効をどう扱うかを認証の論点に挙げています。エージェント専用のアカウントの鍵を誰が発行し、使わなくなったときに誰が止めるかを、導入の時点で決めておきます。
見直しは一度きりにしないことが前提です。AISI の評価観点ガイドも、AI セーフティの評価は一度だけでなく、開発・提供・利用の各時期に合理的な範囲で繰り返し実施するものとしています。月に1度、記録から「使われていない権限」「差し戻しが多い操作」「異常として報告された操作」の3つを拾い、表を直す運用が現実的です。
社内の AI の利用ルール全体は生成AIの社内ガイドラインとガバナンスの作り方、情報の持ち出しの防ぎ方は生成AIの情報漏洩を防ぐ順番で扱っています。
AI エージェントに何を任せるかを決めたら、次は何を許すかを表にします。4つの区分で最小限を渡し、戻せない操作と金額が動く操作に承認を挟み、操作を記録に残す。この3点を導入前に決めておけば、情報システム部門や監査部門との確認も、表を前にして操作の単位で進められます。
AI を全社の成果につなげる Offers AX
コンサルティング・AI エージェント開発・内製化支援の3本柱で、実装まで支援します。無料相談を受け付けています。
無料で相談する財務に AI を入れるなら、予算と実績の差異の洗い出しと説明の下書きから始め、資金繰りの見通しの材料づくり、銀行や投資家への説明資料の文案へと広げます。資金調達の方針、見通しに使う前提の選択、開示する数字の確定は人に残し、未公表の数字を入れてよい範囲と記録の残し方を先に決めます。
Offers AX 編集部
新規事業の仕事に生成AIを入れるなら、市場と顧客の調べものから始め、顧客インタビューの準備と記録、事業計画の下書き、検証の記録へ広げます。どの顧客の課題を選ぶか、続けるか撤退するか、いくら投じるかは人が決め、市場規模は原本で確かめ、インタビューの記録は入力する範囲を決めてから AI に渡します。
Offers AX 編集部
小売に生成AIを入れるときは、店舗運営・商品情報・接客と問い合わせ・販売データの4領域に分け、マニュアルの問い合わせや商品説明文の下書きから任せます。発注量の最終決定、価格の設定、クレームの例外対応は人に残し、表示と個人情報の確かめ方は本部が決めるのが基本です。
Offers AX 編集部
建設業で生成AIを入れるときは、現場の写真や図面を入力してよい範囲を先に決め、日報や打合せ記録の下書き、図面と仕様書の照合から始めます。安全の判断・設計の確定・施工の最終責任は人に残し、建築士や技術者の職務を AI に代行させないことが前提です。
Offers AX 編集部
物流に生成AIを入れるときは、需要予測や配車の最適化といった従来型の AI と計画を分け、問い合わせの一次対応・伝票の読み取りと照合・日報の整理から始めます。配車の最終決定、遅延時の荷主への説明、安全に関わる判断は人に残すのが基本です。
Offers AX 編集部
マーケティングに生成AIを入れるなら、市場や顧客の調べものと施策の企画から始め、制作、効果の分析へ広げ、配信や予算を動かす自動化は最後に加えます。訴求の決定・表現の最終確認・予算の配分は人に残し、公開前に事実と数字、景品表示法とステマ規制、著作物との類似、顧客データの扱いを確かめます。
Offers AX 編集部