メディア
AI エージェント

AI エージェントの運用の決め方|担当・監視する項目・止める条件・直す手順を本番の前にそろえる

公開
執筆者: Offers AX 編集部・編集部

AI エージェントを本番で動かし続けるには、担当・監視する項目・止める条件・直す手順の4つを、動かし始める前に決めておく必要があります。監視するのは失敗の数・誤りの報告・費用・権限の使用の4つで、誤りが続いたとき、費用が上限を超えたとき、外部サービスの仕様が変わったときに止めるのが基本です。

止める判断を速くするには、止めた後に人が引き継ぐ業務の範囲と、再開を決める人も先に書いておきます。止めると決めてから引き継ぎ先を探していると、その間に処理の途中の案件が積み上がるためです。

O
執筆者

編集部

Offers AX 編集部

株式会社overflow が運営する Offers AX の編集部です。全社の AI 導入(AX)を支援する現場の知見をもとに記事を制作しています。

この執筆者の詳細・記事一覧 →

AI の保守の体制まで整えた会社は、まだ1割に満たない

国内企業で、AI の保守の体制づくりに手を付けている会社は少数です。AI 利活用に伴う将来的な課題への対応を聞いた項目では、「AIモデルの継続的学習やメンテナンス体制の構築」について「対応中・対応済み」の企業は6.8%で、「対応を検討中」が32.8%、「検討していない」が60.4%でした(独立行政法人情報処理推進機構「DX動向2026」n=1,773・2026年7月30日公開)。

AI を導入・試験利用・検討している企業のうち、AI や生成 AI に固有のリスクマネジメントを実施している企業も14.2%にとどまります(n=1,190)。

運用の現場で挙がる課題は、出力の扱いに集まっています。AI 導入・運用上の課題として「誤った回答を信じて業務に利用してしまう」を挙げた企業は28.9%、「出力結果を検証せずに受け入れてしまう」は17.9%、「現場や運用の人的負担が増加する」は12.0%でした(n=1,770)。

この調査は AI 全般についての設問で、AI エージェントに限った数字ではありません。それでも、自分で操作を実行する AI エージェントでは、確かめずに受け入れた出力がそのまま送信や登録になります。運用の決めごとが無いまま動かすと、対話型の AI よりも影響が大きくなるという前提で準備したほうが安全です。

AI エージェントは自分で操作を実行するため、止める仕組みまでを運用に含める

AI エージェントの運用が対話型の AI より重くなるのは、出力が人の目を経ずに操作として実行されるからです。総務省と経済産業省が2026年3月31日に公表した「AI事業者ガイドライン(第1.2版)」は、AI エージェントを「特定の目標を達成するために、環境を感知し自律的に行動する AI システム」と定義しています。

同じ年度の更新で加わったリスクの1つが、AI エージェントが「自律的な動作の中で人間の意図しない商品の注文やファイル削除等の動作を行う可能性がある」ことです。AI エージェントのように複雑な構成を持つ AI システムは、「通常の AI システムに比べメンテナンスやトラブルシューティングの難易度が上がる場合がある」とも書かれています(総務省・経済産業省「AI事業者ガイドラインの令和7年度更新内容」2026年3月12日)。

外部のシステムと自律的につながる点も、運用の負担を増やす要因です。同じ資料は、脆弱性を突いた攻撃などでエージェントの挙動が不正に操作され、内部のデータが意図せず外部へ送られて機密情報が漏れる可能性にも触れています。

そのため AI エージェントの運用では、出力の品質を見るだけでなく、何をどの権限で実行したかを記録し、想定外の動きが出たときに止める仕組みまでを決めておくのが前提です。AI エージェントの仕組みそのものは AI エージェントの用語解説 に、外部からの不正な指示への備えは AI エージェントのセキュリティの記事 にまとめています。

担当は4つの役割に分け、止める決定と再開の決定を持つ人を分ける

運用の担当を決める最初の作業は、業務の持ち主・運用担当・技術担当・引き継ぎ先の4つの役割に名前を書き込むことです。1人が複数の役割を兼ねてもかまいません。ただ、止める決定と再開する決定を誰が持つかは、分けて書いておくのが原則です。

役割 担う人の例 持つ判断 日々の仕事
業務の持ち主 エージェントが受け持つ業務の部署の責任者 再開の決定、任せる範囲の変更 月に1度、監視の数字を見て止める条件を見直す
運用担当 業務の部署の担当者か、AI の推進部門の担当者 止める条件に達したときの停止 監視の数字と誤りの報告を毎日見る
技術担当 社内の開発・情報システム部門か、開発を頼んだ会社 原因の切り分けと直し方 修正と再テスト、外部サービスの変更の通知を受ける
引き継ぎ先 停止中に手作業で業務を回す担当者 停止中の案件の処理 手作業の手順書を最新に保つ

止める決定は運用担当に任せ、業務の持ち主の承認を待たずに止めてよいことにしておきます。止めたエージェントは後から再開できますが、動かし続けている間に実行された送信や登録は取り消しにくいからです。再開は逆に、原因と修正の中身を確かめたうえで業務の持ち主が決めます。

権限の付与と取り消しを誰が行うかも、この表に足してください。エージェントに渡した API の鍵や業務システムのアカウントを無効にできる人が運用担当と別の部署にいるなら、夜間や休日に連絡が届く経路まで決めておくと、止めると決めてから実際に止まるまでの時間が縮まります。

作る段階で業務の持ち主を決めておく進め方は AI エージェント開発の記事 で、部署をまたいで担当を支える推進の体制は AI CoE の記事 で扱っています。

監視する項目は、失敗の数・誤りの報告・費用・権限の使用の4つに絞る

監視する項目を4つに絞るのは、増やしすぎると毎日見ること自体が負担になり、やがて誰も見なくなるためです。それぞれの数え方と見る頻度は、次の表のように決めます。

項目 数えるもの 取り出す元 見る頻度の目安
失敗の数 処理が途中で止まった件数、エラーの件数、人に回した件数 エージェントの実行記録、クラウドの監視機能 毎日
誤りの報告 利用者や業務の担当者から届いた誤りの件数と中身、差し戻した件数 報告の受付窓口、業務システムの修正記録 毎日。取り消せない操作の誤りは届いた時点で見る
費用 使ったトークンの数、請求額、1件あたりの費用 AI の提供者の利用状況の画面、クラウドの請求 毎週。上限の手前で通知を受ける
権限の使用 呼び出したツールや API、書き込み・送信・削除の件数、許可していない操作の試み 操作履歴、クラウドの API 呼び出しの記録 毎日

失敗の数と費用は、クラウドの監視機能で数えられることが多い項目です。たとえば Amazon Bedrock では、受け付けた要求の数、利用者側と AWS 側それぞれのエラーの数、流量の制限で絞られた要求の数、入力と出力のトークン数を、Amazon CloudWatch の指標として数えられます(Amazon Web Services「Monitor bedrock-runtime inference using CloudWatch metrics」2026年11月3日時点)。

費用は、合計額より1件あたりの費用で見るほうが変化に気づきやすくなります。処理件数が同じなのに費用だけが増えているなら、エージェントが同じ操作を繰り返している、入力が想定より長くなっている、といった動きの変化を疑えるからです。

誤りの報告と権限の使用は、仕組みで自動に数えにくい項目です。誤りは、業務の担当者が気づいたときに1か所へ報告できる窓口を決めておかないと、件数として残りません。権限の使用を数える前提は、エージェントが何を呼び出し、何を書き込み、何を送ったかを記録する作りです。

国の指針も、AI を使う側が利用前に整える事項として、ログ(操作履歴、入力・出力の記録等)の管理体制の整備を挙げています。AI エージェントのように自律性を持って動く AI については、システムの利用状況や異常な操作を把握するためにログを定期的に確認すること、異常な操作に気づいたら即時に報告する体制を整えることが追記されました(総務省・経済産業省「AI事業者ガイドラインの令和7年度更新内容」2026年3月12日)。

止める条件は、誤りが続く・費用が上限を超える・外部サービスの仕様が変わる、の3つを表にする

止める条件の基本は3つです。それぞれの基準・止め方・再開を決める人を1枚の表にし、権限の想定外の使用は件数を待たずに止める条件として足しておきます。

止める条件 基準の決め方の例 止め方 再開を決める人
誤りが続く 同じ種類の誤りが決めた件数続いた。取り消せない操作で誤りが1件出た 該当する処理だけを止め、人の承認を経てから実行する形に戻す 業務の持ち主
費用が上限を超える 月の上限の手前(例えば上限の9割)で通知し、上限で止める AI の提供者やクラウドの上限の機能で自動に止める 業務の持ち主。上限そのものを変えるなら予算の責任者
外部サービスの仕様が変わる 使っているモデルや API の終了・変更の通知が届いた。連携先の画面や項目が変わった 終了日より前に置き換え先を試し、切り替えた後に誤りが増えたら止める 技術担当が試した結果をもとに業務の持ち主
権限の想定外の使用 許可していないツールの呼び出しや、想定外の宛先への送信があった すぐに止め、API の鍵やアカウントを無効にする 業務の持ち主と情報システム部門

誤りが続くときの基準は、件数だけでなく、誤った操作を取り消せるかどうかで分けます。下書きや分類の誤りなら数件続いてから止めても間に合いますが、送信や支払いのように取り消しにくい操作は、1件目で止めて人の承認を経る形に戻すのが安全です。Anthropic も、エージェントを制御し続けるために、繰り返しの回数の上限のような止める条件を組み込むことが一般的だとしています(Anthropic「Building effective agents」2024年12月19日)。

見落としやすいのが、人が監視して止めるだけでは間に合わない場面です。国の指針は、AI エージェントの自律性が高まるにつれて、人間による監視だけでは高速な AI 同士のやり取りに対応しにくくなる場合を想定しています(総務省・経済産業省「AI事業者ガイドラインの令和7年度更新内容」2026年3月12日)。繰り返しの回数や費用の上限で、人を待たずに自動で止まる仕組みも持たせておいてください。

費用の上限は、AI の提供者やクラウドの機能を使えば自動で止める設定が可能です。Anthropic の API では組織とワークスペースごとに利用額の上限を決められ、上限に達すると、上限を上げるか期間が切り替わるまで要求がエラーになります(Anthropic「Rate limits」2026年11月3日時点)。AWS Budgets では、費用が決めた基準を超えたときに権限を制限するポリシーを適用するなどの動作を、自動で行うか人の承認の後に行うかを選べます(Amazon Web Services「Configuring budget actions」2026年11月3日時点)。

上限で自動に止まると、エージェントが受け持っていた業務も同時に止まる点には注意が必要です。上限の金額を決めるときは、手前で通知を受ける基準と、止まったときに引き継ぐ担当も一緒に決めてください。

外部サービスの仕様変更は、通知が届く時期を知っていれば止める前に備えられる条件です。Anthropic は、一般に公開したモデルの提供を終える少なくとも60日前に利用中の顧客へ通知するとしており、終了日を過ぎたモデルへの要求は失敗します(Anthropic「Model deprecations」2026年11月3日時点)。OpenAI も、提供終了の時点でそのモデルやエンドポイントは使えなくなると説明しています(OpenAI「Deprecations」2026年11月3日時点)。

注意したいのは、通知のメールを個人の宛先で受けている場合です。担当が異動すると見落とすため、共有の宛先で受け取り、技術担当が終了日までに置き換え先を試す予定を立てる流れにしておくと安心です。

止めた後に人が引き継ぐ範囲は、止める前に業務ごとに書いておく

止めた後に人が引き継ぐ範囲は、どの処理を手作業に戻すか、誰が行うか、処理の途中だった案件をどう扱うかを中心に、本番の前に業務ごとに書いておきます。

決めておくこと 中身
手作業に戻す処理 エージェントが受け持っていた処理のうち、止めている間も止められない処理(期日のある返信や支払いなど)
引き継ぐ担当と処理できる量 手作業で1日に処理できる件数と、超えた分の優先順位
途中の案件の扱い 止めた時点で、どの案件がどこまで進んだか(送ったか、登録したか)を操作履歴から洗い出す方法
関係者への知らせ方 利用者や取引先に影響が出るときの連絡の文面と宛先
手作業の手順書 エージェントを入れる前の手順を残し、業務が変わったら更新する担当

止めた後に困りやすいのは、処理の途中だった案件です。エージェントがメールの下書きを作った後に止まったのか、送った後に止まったのかが分からなければ、二重に送るか、送り漏らすかのどちらかが起きます。案件ごとの進み具合を操作履歴から確かめられるよう、記録する項目は作る段階で決めておきます。

もう1つ確かめたいのが、手作業で処理できる量です。エージェントに任せた後に業務の割り振りを変えていれば、止めている間に処理できる件数は導入前より少なくなっているかもしれません。止める期間の目安と、それを超えたときに後回しにする業務は、業務の持ち主が決めておいてください。

国の指針は、出力によって重大な影響や被害が生じ得る場合に、人間の判断を介在させる仕組みに基づいて判断することを、AI を使う側の留意事項に加えました。AI を提供する側に向けた記述も同じ向きで、判断が必要な事項を重要度に応じて整理し、適切に対象を選ぶことが重要だという内容です(総務省・経済産業省「AI事業者ガイドラインの令和7年度更新内容」2026年3月12日)。

止めた後に人が判断する範囲は、平常時に人が判断する範囲と同じ表で持つのがよい方法です。平常時と停止時で、判断する人がずれないためです。どの手順を AI に任せ、どの判断を人に残すかを手順ごとに仕分ける方法は、AI 業務改革の記事 で扱っています。

Offers AX は、動くプロトタイプで実業務を検証してから本実装に進め、内製化まで支援する

Offers AX の AI エージェント開発では、業務に特化したエージェントを設計し、数週間で動くプロトタイプを作って実業務で検証し、効果を確かめてから本実装に進みます。内製化支援の中身は、引き継ぎドキュメントの整備と社内の運用体制の設計です。

役割の表・止める条件・止めた後の引き継ぎは、前の節までの表をもとに自社で決めておくものです。プロトタイプで実業務を検証する期間に監視の4項目を記録しておけば、止める条件の基準を仮の値ではなく実際の数字から決められます。

支援の範囲と進め方は Offers AX のサービスページ にまとめています。どの業務のエージェントから運用の決めごとを作るかが固まっていない時点でも相談できるので、無料相談を申し込む からご連絡ください。

仕組みは GCP・Azure・AWS のお客様の環境に構築し、当社の環境に顧客データを抱えない設計です。契約が終わった後も、監視の記録と仕組みはお客様の環境に残ります。進め方は、戦略立案と実装を業務の現場に近い距離で一体で進める FDE 型で(FDE の定義は Offers FDE の解説)、効果が出ない場合に中止を選べることを最初から契約の前提に含めています。

直す手順は、記録の保全・原因の切り分け・再テスト・再開の判断の順に進める

止めた後に直す手順は、記録の保全から始めて、原因の切り分け、修正と再テスト、再開の判断、止める条件の見直しの順に進めるのが基本です。順番を決めておけば、直す前に記録が上書きされる、試さずに再開する、といった失敗を防げます。

順番 やること 担う役割
1 止めた時点の操作履歴、入力と出力の記録、設定を保存する 運用担当
2 原因を、入力のデータ・指示文・モデルや外部サービスの変更・連携先のシステム・権限の設定に分けて調べる 技術担当
3 修正し、誤りが出た事例を含む確認用の事例で再テストする 技術担当
4 修正の中身と再テストの結果を見て、再開と、再開後に監視を強める期間を決める 業務の持ち主
5 止めた理由・原因・直したことを記録し、止める条件の基準を見直す 運用担当と業務の持ち主

原因を調べるときに注意したいのは、エージェント自身が出した理由の説明を、そのまま原因と考えないことです。国の指針は、大規模言語モデルに結果と根拠を出力させても、それは内部の決定ロジックの説明ではなく、結果と根拠のもっともらしい組み合わせを出しているにすぎない点に注意するよう追記しました(総務省・経済産業省「AI事業者ガイドラインの令和7年度更新内容」2026年3月12日)。原因は、操作履歴と入力・出力の記録から確かめるのが確実です。

修正の範囲にも注意が要ります。同じ資料は、AI のアップデートが連携する他の AI に影響を及ぼしうることも考慮するよう求めています。1つのエージェントの指示文やモデルを変えると、その出力を受け取る別のエージェントや業務システムの動きも変わるため、再テストは連携先まで含めてください。

Anthropic も、本番から切り離した試験用の環境(サンドボックス)での十分なテストと、適切なガードレールを勧めています(Anthropic「Building effective agents」2024年12月19日)。ガードレールの考え方については AI ガードレールの用語解説 を参照してください。

外部の AI サービスの不具合が原因なら、提供者への報告も手順の1つです。国の指針も、AI を使う側の留意事項として、AI の提供者へのインシデント情報のフィードバックを挙げています。

最初の1か月は、監視の数字を集めて止める条件の基準を見直す

本番で動かし始めた最初の1か月は、決めた基準が実際の動きに合っているかを確かめる期間として扱います。止める条件の件数や金額は、動かす前には仮の値でしか決められないからです。

時期 やること できあがるもの
本番の前 役割の表・監視する4項目・止める条件・引き継ぎの範囲を1枚にまとめる 運用の決めごとの1枚
1〜2週目 監視の数字を毎日記録し、誤りの報告を種類ごとに分ける 失敗・誤り・費用・権限の使用の記録
3週目 止める条件の基準を、記録した数字に合わせて直す 見直した止める条件
4週目 業務の持ち主が、任せる範囲を広げるか、狭めるか、そのままにするかを決める 次の1か月の運用の決めごと

任せる範囲を広げるかどうかは、誤りの件数に加えて、人に回した件数と1件あたりの費用で判断します。止めた回数が多いこと自体は失敗ではなく、止める条件が働いたという記録です。その記録があれば、どの処理を人に戻し、どの処理を任せ続けるかを数字で決められます。

成果の測り方は AI の ROI の測り方の記事 に、AI エージェントに関するほかの記事は AI エージェントのカテゴリ にまとめています。

AI を全社の成果につなげる Offers AX

コンサルティング・AI エージェント開発・内製化支援の3本柱で、実装まで支援します。無料相談を受け付けています。

無料で相談する

Offers AX のサービスを見る

記事一覧へ