AI ガードレールとは、AI への入力と AI の出力・操作を機械で検査し、禁止した話題や個人情報、許可していない操作を止める仕組みのことです。社内ルールを人に守ってもらう AI ガバナンスに対し、ガードレールはルールの一部をシステムに組み込み、毎回自動で守らせます。
AI ガードレールは入力・出力・操作の3か所に置く
AI ガードレールを置く場所は、AI に入る文章、AI が返す回答、AI エージェントが実行しようとする操作の3か所です。
この語を表題に掲げた NeMo Guardrails の論文は、ガードレールを「LLM(大規模言語モデル)の出力を制御する特定の方法」と定め、有害とされる話題に触れない、決められた対話の流れに従う、特定の言葉遣いを守る、といった制御を例に挙げています(Rebedea ほか「NeMo Guardrails: A Toolkit for Controllable and Safe LLM Applications with Programmable Rails」EMNLP 2023・2023年12月)。
同じ論文は、こうした制限を利用者自身が定めるもので、土台の LLM から独立し、人が読んで意味を確かめられるものとしています。使うモデルを替えても、会社として決めた制限はそのまま持ち越せるということです。
3か所で検査する中身を並べると、次の表になります。
| 置き場所 | 検査するもの | 止める例 |
|---|---|---|
| 入力 | 利用者の質問、AI に読ませる文書・メール・Web ページ | 業務と関係のない話題、顧客の個人情報の貼り付け、文書に紛れ込ませた指示 |
| 出力 | AI が返す回答・下書き | 差別的・攻撃的な表現、個人情報、参照した資料に無い内容 |
| 操作 | AI エージェントが呼び出すツール・送り先・金額 | 許可していないツールの呼び出し、一覧に無い宛先への送信、上限を超える金額の処理 |
検査の方法は大きく2つあります。国内の AI セーフティ・インスティテュート(AISI)は、AI エージェントが外部とやり取りする情報に有害な情報が含まれていることを検知できるか、検知したときにブロックできるかを評価項目に挙げ、検知の方法として辞書による文字列の一致と、監視用の AI エージェントを使う方法を示しています(AISI「AIセーフティに関する評価観点ガイド」第1.20版・2026年7月7日公表)。
文字列の一致や決まった書式の照合(例: マイナンバーやカード番号の桁の並び)は、判定がぶれず、なぜ止めたかを説明しやすい方法です。その代わり、言い換えられた表現は見逃しがちです。判定用の AI に文脈を読ませる方法は言い換えにも対応できますが、判定そのものが確率的で、同じ文章でも結果が揺れることがあります。止めたい中身ごとにどちらで検査するかを決めておくのが、運用を安定させる近道です。
検査を厳しくすれば、その分だけ正当な質問まで止めてしまう件も増えます。ガードレールの設計は、止め損ねる件と誤って止める件のどちらをどこまで許すかを、業務ごとに決める作業でもあります。
AI ガバナンスとの違いは、人が守るルールか、機械が止める制限か
AI ガバナンスは AI の使い方を決める方針・体制・手続きの全体で、AI ガードレールはその決めごとの一部をシステムに組み込んで自動で守らせる仕組みです。たとえば「顧客の個人情報を社外の AI に入力しない」という社内ルールはガバナンスの側にあり、入力欄で個人情報を検出して送信前に止める設定がガードレールの側にあります。
| 項目 | AI ガードレール | AI ガバナンス(社内ルール) |
|---|---|---|
| 何か | AI の入力・出力・操作に置く機械の制限 | AI の利用方針・責任体制・手続きの全体 |
| 守らせ方 | システムが毎回自動で検査し、止める | 利用者・承認者・監査担当が守り、確かめる |
| 主に決める部門 | 情報システム・開発の担当 | 経営・AI 推進室・法務・人事 |
| 変え方 | 設定の変更。日々の運用で直せる | 規程の改定。社内の承認を経て変える |
| 届かない範囲 | 設定していない言い回し、判定の誤り | 守られない利用、会社が把握していない利用 |
2つは、片方だけでは足りない関係です。ガードレールだけを置いても、何を止めるべきかという判断の根拠が社内に無ければ、設定は担当者の勘で決まります。反対に、ルールだけを配っても、毎回の入力を人が見張り続けることはできず、守られたかどうかも確かめようがない状態です。社内ルールの作り方は AI ガバナンスの記事 で整理しています。
もう一つ紛らわしいのが、AI モデルを作る時点での安全調整です。NeMo Guardrails の論文は、モデルの調整(アラインメント)は学習の時点で LLM に埋め込まれる制限であり、自分たちの仕組みは利用者が実行時に定める制限だと区別しています(Rebedea ほか「NeMo Guardrails」EMNLP 2023・2023年12月)。
モデルが最初から持つ安全調整は、どの会社が使っても同じ制限です。自社の顧客情報の扱い、自社で禁じる話題、自社のエージェントに任せる操作の範囲は、使う企業が自分で定めるしかありません。
AI エージェントでは、実行してよい操作の範囲が中心になる
AI エージェントに置くガードレールで最も重いのは、出力の言葉遣いよりも、実行してよい操作の範囲です。回答の文面が不適切でも人が読んで直せますが、送信・支払い・削除といった操作は実行した時点で取り消せない場合があるためです。
OWASP は、LLM の想定外の出力や操作された出力に応じて、損害を生む操作が実行されてしまう弱点を「過剰な権限委譲(Excessive Agency)」と呼び、原因を過剰な機能・過剰な権限・過剰な自律性の3つに分けています。対策として挙げているのは、エージェントが呼び出せる機能を必要最小限にすること、その機能が他のシステムに対して持つ権限も必要最小限にすること、影響の大きい操作は実行前に人が承認すること、操作を許すかどうかを LLM に判断させず、呼び出される側のシステムで認可を実装することです(OWASP「LLM06:2025 Excessive Agency」2026年10月確認)。
最後の点は、ガードレールをどこに作るかを決めるうえで大切です。「この宛先には送らないこと」とプロンプトに書くだけでは、モデルが従う保証はありません。送り先の一覧や金額の上限は、AI の外にあるシステムの設定として持たせ、AI がどう判断しても一覧に無い操作は実行できない作りにしておきます。
国内では AISI の評価観点ガイドが、2026年7月の改訂で AI エージェントの普及を踏まえて評価観点を更新・追加しました。そのうち「観測と制御」の観点は、予防的な対策として、利用目的に必要なツールだけに利用権限が付いているか、外部に有害な要求や漏らしてはならない情報を送らないようになっているかを確かめ、そのうえで、異常な動作が観測されたときに人が介入・停止できるかを評価項目に挙げています(AISI「AIセーフティに関する評価観点ガイド」第1.20版・2026年7月7日公表)。
同じガイドがプライバシー保護の観点で挙げるのは、AI エージェントが必要な情報以外にアクセスできないよう設定されているか、個人情報を含む情報へのアクセスを検知してログに残せるか、といった項目です。止める仕組みと、何が起きたかを後から辿れる記録は、組みで用意するのが前提になります。
企業が AI ガードレールを導入するときに決めること
導入の前に決めるのは、何を止めるか、止めたときにどうするか、誰が設定を持って試験するかの3つです。どれもツールを選ぶ前に業務の設計として決められ、決めた内容がそのままツールの設定項目になります。
| 決めること | 中身 | 主に担う部門の例 |
|---|---|---|
| 何を止めるか | 業務ごとに、扱わない話題、検出する個人情報・機密情報の種類、エージェントに許す操作・送り先・金額の上限を一覧にする | AI 推進室と各業務の責任者 |
| 止めたときにどうするか | 利用者に返す文言、人への引き継ぎ先、止めた記録の残し方を決める。止めた件を誰がいつ見直すかも決める | 各業務の責任者と情報システム |
| 誰が設定を持ち、どう試験するか | 設定を変えられる担当者、変更の承認の手順、導入前の試験の中身(止めるべき入力と、止めてはいけない入力の両方)を決める | 情報システム |
1つ目は、部署ごとに中身が違う項目です。人事の問い合わせ対応なら社員の評価や健康の情報、営業の文面作成なら取引条件や他社の情報というように、止めたい中身は業務で違うため、全社で1つの禁止リストを作るより、業務ごとに作ってから共通部分をまとめるほうが漏れを減らせます。
3つ目の試験では、止めるべき入力が止まるかだけでなく、通常の業務の質問が止まらないかも同じ重さで確かめます。誤って止める件が多いと、利用者は会社が用意した AI を避け、会社が把握していない AI に流れるからです。
Offers AX は、業務固有の文脈を組み込んだ AI エージェントを設計・構築するとき、数週間で動くプロトタイプを作って実業務で検証し、本実装へ進めます。要件定義書ではなく動くもので合意するため、エージェントに読ませる情報、任せる操作、人が承認する操作を、上の表の決めごととして実際の画面で確かめられる点が特徴です。AI の処理基盤はお客様の環境に置き、認証と監査ログを設計に含めるので、止めた操作と実行した操作を後から辿れる状態で運用を始められます。引き継ぎの資料と社内の運用体制まで設計するため、導入後に禁止リストや承認の手順を社内で直していけるのも利点です。
支援の内容は Offers AX のサービスページ にまとめています。業務ごとに何を止めるかの整理から始めたい場合は、無料相談を申し込むからご連絡ください。
導入した後も、試験と見直しを繰り返す
AI ガードレールは一度設定して終わりではなく、試験と見直しを繰り返して保つものです。AISI のガイドも、AI セーフティの評価は一度だけでなく繰り返し実施するものとし、開発・提供・利用のそれぞれの時期に、合理的な範囲で適切なタイミングに行うよう求めています(AISI「AIセーフティに関する評価観点ガイド」第1.20版・2026年7月7日公表)。
見直しの材料になるのは、止めた件の記録です。止めた件のうち本来は止めなくてよかったもの、止めずに出てしまった不適切な出力や操作を、それぞれ件数で追うと、設定を厳しくするか緩めるかを判断できます。読ませる情報源を増やしたとき、エージェントに新しい操作を許したとき、使うモデルを替えたときは、試験をやり直す目安です。
攻撃する側は、ガードレールをすり抜ける言い回しを探し続けます。外部の文章に指示を紛れ込ませる攻撃の手口と備えは、プロンプトインジェクション で詳しく扱っています。
関連する用語
AI ガードレールと合わせて押さえておきたい用語は、次の6つです。
| 用語 | AI ガードレールとの関係 |
|---|---|
| AI ガバナンス | 何を止めるべきかの根拠になる、社内の方針・体制・手続き |
| AI エージェント | 操作まで行うため、許す操作の範囲を決めるガードレールが欠かせない |
| エージェンティック AI | 自ら計画して動く AI。任せる範囲が広いほど、操作の制限と人の承認の置き場所が重くなる |
| プロンプトインジェクション | ガードレールが入力の側で検知したい代表的な攻撃 |
| シャドー AI | 会社が把握していない AI の利用。ガードレールの設定が届かない |
| データガバナンス | どのデータを AI に読ませてよいかを決める枠組み。個人情報の検出の対象を決める土台になる |
AI エージェントの作り方と発注の進め方は AI エージェント開発の記事 で、関連する記事は AI エージェントのカテゴリ でまとめて読めます。