メディア
AI エージェント

AI エージェントの評価の進め方|本番の前は問題集と合格基準、本番の後は抜き取りと修正の記録で確かめる

公開
執筆者: Offers AX 編集部・編集部

AI エージェントが業務で使える品質かどうかは、本番に出す前と出した後で別の方法を使って測ります。出す前は、業務の実際の依頼から作った評価用の問題集を解かせ、失敗を「誤り」「手順の抜け」「権限を超えた操作」の3種類に分けて合格の基準と比べる方法です。出した後は、処理の一部を抜き取って人が確かめ、利用者が出力を直した記録を集めて、問題集と基準を見直し続けます。

採点は、答えが1つに決まるものを仕組みに任せ、業務の判断を含むものを人が持つのが基本です。AI に採点させる範囲を広げるのは、人の採点と AI の採点が一致することを確かめてからにしてください。

O
執筆者

編集部

Offers AX 編集部

株式会社overflow が運営する Offers AX の編集部です。全社の AI 導入(AX)を支援する現場の知見をもとに記事を制作しています。

この執筆者の詳細・記事一覧 →

AI エージェントの評価は、最終の結果と途中の手順の両方を対象にする

AI エージェントを評価するときは、最終的に出した結果に加えて、そこに至るまでにどの道具をどの順で使ったかも採点の対象にします。AI エージェントは業務システムの API や検索といった道具を自分で呼び出して操作を実行するので、結果が正しく見えても、途中で不要な操作や許されていない操作をしていることがあるためです。

総務省と経済産業省は、AI エージェントを「特定の目標を達成するために、環境を感知し自律的に行動する AI システム」と定義しています(総務省・経済産業省「AI事業者ガイドライン(第1.2版)」2026年3月31日)。指針の全体像は AI事業者ガイドラインの用語解説 にまとめました。

AI の開発基盤を提供する各社の公式ドキュメントも、評価を2つに分けて扱うのが共通の形です。Google Cloud は、目標を達成したかを見る「最終の応答の評価」と、最終の応答に至るまでの道具の呼び出しの順序を見る「軌跡(trajectory)の評価」を分けて説明しています(Google Cloud「Evaluate Gen AI agents」2026年11月5日時点)。

Microsoft も、本番で使えるエージェントにするには最終の出力だけでなく各手順の質と効率も評価する必要があるとし、最終の結果を見る「システムの評価」と、手順を1つずつ確かめる「プロセスの評価」を挙げています(Microsoft「Agent Evaluators for Generative AI」2026年9月30日)。

評価の対象 確かめること 例(経費精算の申請の確認を任せた場合)
最終の結果 依頼された業務を終えたか、結果が正しいか 規程に合わない申請を差し戻しに分けられたか
途中の手順 必要な操作を抜かさず、不要な操作をせず、許された範囲で動いたか 規程を参照してから判定したか、承認の操作を勝手に実行していないか

結果だけを採点すると、たまたま正しい答えになった処理と、手順どおりに正しく判断した処理を区別できないのが難点です。本番で入力が少し変わったときに崩れるのは前者なので、手順まで採点しているかどうかで品質の見積もりの確かさが変わります。エージェントの仕組みそのものは AI エージェントの用語解説 を参照してください。

国の指針は、提供する前と提供した後の両方で品質を確かめることを求めている

AI を業務に組み込んで提供する側に国の指針が求めるのは、提供する時点と提供した後の両方で品質を確かめることです。AI事業者ガイドラインは AI 提供者の実装時の留意点として、提供時点で予想される利用条件下だけでなく様々な状況でパフォーマンスの水準を維持できるようにすること、提供時点で正確性を担保することを挙げました。

提供後の留意点には、「適切な目的で AI システム・サービスが利用されているかを定期的に検証する」ことと、AI システムを更新した場合に更新の内容と理由を情報提供することが並びます(総務省・経済産業省「AI事業者ガイドライン(第1.2版)」2026年3月31日)。

社内で AI エージェントを作って社内の部署に使わせる場合も、作った部門は提供する側の立場です。ここで求められる内容は、本番の前の評価と本番の後の確認の2つにそのまま対応します。

評価の時期と担い手については、AI セーフティ・インスティテュート(AISI)の評価観点ガイドが具体的に書いています。評価は一度だけでなく繰り返し実施するもので、開発・提供に直接関わらない自組織や他組織の専門家、第三者による評価も有効だという整理です。

2026年7月の改訂では、AI エージェントシステムの普及を踏まえて「観測と制御」という評価の観点が加わりました。目指す状態の1つが、AI エージェントシステムが「目標から逸脱した動作を行わない状態」です(AIセーフティ・インスティテュート「AIセーフティに関する評価観点ガイド(第1.20版)概要」2026年7月7日)。

社内で作る場合も、作った担当者だけで合否を決めず、業務の部署の担当者を採点に加えてください。開発に直接関わらない人による評価に近い形を、社内の体制の中で作れます。

本番の前は、業務の実際の依頼と過去の失敗から評価用の問題集を作る

評価用の問題集は、その業務に実際に届いた依頼と、過去に起きた失敗から作ります。想像で作った質問だけで評価すると、本番で多い依頼のパターンや、担当者でも迷う依頼が抜け落ちるためです。

Anthropic は、エージェントの評価を始めるときは実際の失敗から集めた20〜50件の簡単な課題で十分な出発点になるとし、開発中に手で確かめている内容や、利用者から報告された失敗を課題に変えることを勧めています(Anthropic「Demystifying evals for AI agents」2026年1月9日)。

OpenAI が避けるべき例に挙げるのも、本番の依頼の傾向を再現しない評価用のデータです(OpenAI「Evaluation best practices」2026年11月5日時点)。

問題集に入れる依頼は、次の4種類から集めます。

種類 集め方 例(社内の問い合わせへの回答の下書きを任せた場合)
日常の依頼 過去の依頼から件数の多いパターンを選び、本番の件数の比率に合わせて入れる よくある手続きの質問
判断の分かれる依頼 担当者の間で対応が分かれた依頼、例外の扱いが要った依頼 規程の例外に該当するかが曖昧な質問
断るべき依頼・人に回すべき依頼 権限の外の依頼、情報が足りない依頼、業務と無関係な入力 他の社員の人事情報を求める質問、添付が空の依頼
過去の失敗 試験運用や手作業で起きた誤り・差し戻し 改定前の規程を引用した回答

Anthropic の別の文書も、業務の実際の分布に沿った評価を作るよう求め、無関係な入力や存在しないデータ、極端に長い入力、人でも判断が分かれる曖昧な事例を例に挙げています(Anthropic「Define success criteria and build evaluations」2026年11月5日時点)。

1問ごとに書いておくのは、入力・期待する結果・期待する手順・許される操作の範囲の4つです。期待する手順まで書いておけば、Google Cloud の軌跡の評価のように、参照する手順と実際の手順を突き合わせて採点できます。

問題を作るのは、その業務を実際に担っている担当者が適任です。作り手が開発の担当者だけだと、日常の依頼の比率や判断の分かれ目が問題集に入らず、試験では合格しても本番で崩れる原因になります。問題集に個人情報や機密を含む実データを使うときは、扱える範囲を情報システム部門と先に決めておいてください。

失敗は、誤り・手順の抜け・権限を超えた操作の3種類に分けて数える

エージェントの失敗は、結果の誤り、手順の抜け、権限を超えた操作の3種類に分けて数えます。種類によって業務への影響と直し方が違い、合計の正答率だけでは何を直せばよいかが分からないためです。

種類 中身 見つけ方 業務への影響
誤り 結果の内容が正しくない(事実・数値・判定の誤り) 期待する結果との照合、人の確認 後の工程で人が気づけば直せる
手順の抜け 必要な確認や参照をせずに結果を出した、途中で止まった 期待する手順との照合、実行の記録 結果が正しく見えても、入力が変わると誤りになる
権限を超えた操作 許していない道具の呼び出し、承認を経ない送信・登録・削除 実行の記録と、許した操作の一覧との照合 取り消せない操作は1件でも被害になる

公式ドキュメントの評価項目も、この3種類と対応させられます。Microsoft の評価項目には、依頼された業務を終えたかを見る Task Completion、指示の中の規則や制約に従ったかを見る Task Adherence、正しい道具を正しい値で呼び出したかを見る Tool Call Accuracy などが並びます。

Google Cloud の軌跡の評価では、参照する手順のうち必要な呼び出しをどれだけ含んだかを recall(再現率)、実際の呼び出しのうちどれだけが適切だったかを precision(適合率)として測ります。手順の抜けは recall の低さに、余計な操作は precision の低さに表れる関係です。

権限を超えた操作は、AISI のガイドの「目標から逸脱した動作を行わない状態」を確かめる項目という位置づけです。外部からの不正な指示でエージェントの動きが変わる攻撃への備えは、プロンプトインジェクションの用語解説 と AI エージェントのセキュリティの記事 で扱いました。

問題集には、こうした攻撃を模した依頼も数件入れておくと、本番の前に権限の設計の穴を見つけられます。攻撃する側の立場で試す方法は AI レッドチーミングの用語解説 を参照してください。

合格の基準は、失敗の種類ごとに、結果を見る前に決める

合格の基準は、失敗の3種類ごとに別々に、評価を始める前に決めます。結果を見てから決めると、出た数字に合わせて基準を下げてしまうからです。

Anthropic は、成功の基準を具体的・測定可能・達成可能・業務の目的に沿ったものにすること、多くの用途では複数の基準で評価する必要があることを挙げています(Anthropic「Define success criteria and build evaluations」2026年11月5日時点)。失敗の種類ごとに基準を分けるのは、この複数の基準での評価を業務の言葉に置き換えたものです。

失敗の種類 基準の決め方 決める人
権限を超えた操作 問題集のすべてで0件。1件でも出たら本番に出さない 業務の持ち主と情報システム部門
手順の抜け 取り消せない操作の前の確認は、抜けを1件も認めない。それ以外の手順は許容する割合を決める 業務の持ち主
誤り 人が手作業で処理したときの誤りの水準と比べて決める。後の工程で人が確かめる業務なら緩め、そのまま社外へ出る業務なら厳しくする 業務の持ち主

誤りの基準を人の水準と比べて決めるには、導入前の手作業の誤りの件数が要ります。記録が無ければ、問題集の一部を担当者に手作業で解いてもらい、同じ採点の基準で比べるのが手早い方法です。

同じ問題を何回か解かせることも、基準に含めておきます。エージェントの出力は同じ入力でも毎回同じになるとは限らず、Anthropic は、k 回の試行のうち少なくとも1回成功する確率(pass@k)と、k 回すべてが成功する確率(pass^k)を分けて説明しています(Anthropic「Demystifying evals for AI agents」2026年1月9日)。業務で毎回同じ品質が要るなら、見るべきなのは後者の指標です。

同じ資料は、何ができるかを測る評価と、これまでできていた課題が今もできるかを確かめる評価(回帰の評価)を分け、回帰の評価はほぼ100%の合格率であるべきだとしています。過去の失敗から作った問題は、直した後も回帰の評価として残し、モデルや指示文を変えるたびに解かせてください。

人が採点する範囲と AI に採点させる範囲は、採点の対象ごとに分ける

採点は、答えが1つに決まるものを仕組みで判定し、業務の判断や社外に出る文面の質を人が採点し、その間を AI に採点させる、という分け方が基本です。採点の方法ごとに、速さ・費用・確かさが違うためです。

Anthropic は、コードによる採点を速く安く客観的で再現できる一方で正しい言い換えに弱いもの、AI による採点を柔軟で規模を広げやすい一方で結果が毎回同じにならず人の採点に合わせる調整(較正)が要るものとしています。人による採点は最も質が高い一方で費用と時間がかかるとし、できるところは仕組みで判定し、必要なところで AI に採点させることを勧めています(Anthropic「Demystifying evals for AI agents」2026年1月9日)。

採点の対象 採点する者 分ける理由
権限を超えた操作の有無、手順の抜けの有無 仕組み(実行の記録と一覧の照合) 答えが1つに決まり、全件を毎回確かめられる
数値・判定・分類の正誤 仕組み(期待する結果との照合) 正解を前もって書けるので、人が見るより速く、見落としも出ない
文面の正確さ・口調・依頼の意図の読み取り AI(人の採点との一致を確かめたもの) 言い換えを許して採点でき、件数が多くても毎回回せる
業務上の判断の妥当さ、社外へ出る文面の最終の質 人(業務の担当者) 正解が1つに決まらず、結果に責任を持てるのは業務の担当者
AI の採点の較正 人(業務の担当者) AI の採点が人の判断からずれていないかは、人の採点と比べないと分からない

AI に採点させる範囲を広げる順番も、前もって決めておくと迷いません。OpenAI は、人のフィードバックで自動の採点を較正し、AI の採点が人の判定と一貫して一致するようになってから規模を広げることを勧めています(OpenAI「Evaluation best practices」2026年11月5日時点)。

最初は同じ問題を人と AI の両方で採点し、一致しなかった問題を読んで、AI に渡す採点の基準を書き直す作業を繰り返してください。一致しない問題の多くは、採点の基準の書き方があいまいな箇所です。

採点に使う AI は、評価されるエージェントとは別のモデルにします。Anthropic の文書の例でも、出力を作ったモデルとは別のモデルで評価するのが一般に望ましい方法だとされています(Anthropic「Define success criteria and build evaluations」2026年11月5日時点)。

点数だけを見て終えないことも大切です。Anthropic は、採点の仕組みがうまく働いているかは、多くの試行の実行の記録と採点の結果を読まないと分からないとしています。合格・不合格の判定が出たら、そのうち何件かは実行の記録まで人が読み、採点の仕組みの誤りを探してください。

Offers AX は、動くプロトタイプを実業務で検証し、効果を確かめてから本実装に進める

Offers AX の AI エージェント開発は、業務に特化したエージェントを設計し、数週間で動くプロトタイプを作って実業務で検証し、効果を確かめてから本実装に進める進め方です。コンサルティングでは効果測定の設計から扱い、効果の実測の工程で出した数字で継続を判断していただきます。効果が出ない場合に中止を選べることも、契約の前提に含めました。

ここまでの問題集と合格の基準は、プロトタイプを実業務で検証する期間が作り始めるのに適した時期です。実際の依頼と担当者の修正が手元に集まり、本番の前に基準を仮の値ではなく実際の数字から決められるためです。

AI の出力は下書き・参考情報の位置づけとし、事実認定・合否・処遇の判断は人が行う設計にしています。認証や監査ログを含む AI の処理の基盤はお客様の環境の中に構築し、内製化支援の中身は引き継ぎドキュメントの整備と社内の運用体制の設計です。

支援の範囲と進め方は Offers AX のサービスページ にまとめています。どの業務のエージェントから評価の仕組みを作るかが決まっていない時点でも相談できるので、無料相談を申し込む からご連絡ください。

進め方は、戦略立案と実装を業務の現場に近い距離で一体で進める FDE 型です(FDE の定義は Offers FDE の解説)。考える人と作る人を分けないので、問題集を作る業務の担当者と、エージェントを直す技術の担当者のやり取りを短くできます。

本番に出した後は、抜き取りの確認と利用者の修正の記録で品質を確かめる

本番に出した後は、処理の一部を抜き取って人が確かめることと、利用者がエージェントの出力を直した記録を集めることの2つで品質を確かめます。本番の依頼は問題集より種類が多く、時間とともに傾向も変わるので、本番の前の評価だけでは見えない失敗が出てくるためです。

Anthropic は、本番の監視は実際の利用者の行動と実際の性能を示す一方、問題が利用者に届いてから分かる後追いの方法だとし、公開後の依頼の傾向の変化や想定外の失敗を見つける役割を挙げています(Anthropic「Demystifying evals for AI agents」2026年1月9日)。

確かめ方 やること 頻度の目安 次に使う先
抜き取りの確認 処理の一部を選び、問題集と同じ採点の基準で人が採点する 毎週。取り消せない操作を含む処理は件数を多めにする 誤りの割合の推移、合格の基準との比較
利用者の修正の記録 出力を直した箇所、差し戻した理由、人に回した件数を記録する 毎日たまる記録を週に1度まとめる 失敗の種類ごとの件数、問題集に足す依頼
問題集への追加 抜き取りと修正の記録で見つかった失敗に、期待する結果と手順を付けて問題にする 見つかるたびに 次の回帰の評価

抜き取る処理は、無作為に選ぶ分と、狙って選ぶ分を分けます。無作為の分は全体の品質の推移を見るため、狙う分は取り消せない操作や新しい種類の依頼のように、誤ったときの影響が大きい処理を確かめるためのものです。

利用者の修正の記録は、品質の手がかりとして最も集めやすい記録です。出力をそのまま使ったか、直して使ったか、使わなかったかの3つから選べるようにしておくだけでも、失敗の割合の推移を数えられます。直した理由が結果の誤りなのか、手順の抜けによる情報の不足なのかを分けて残しておけば、問題集のどこに問題を足せばよいかも分かるはずです。

国の指針が提供後に求める定期的な検証も、この2つの記録があれば日々の作業の中で満たせます。監視する項目・担当・止める条件の決め方は AI エージェントの運用の記事 で扱いました。

基準の見直しは、月に1度の定期の見直しと、モデル・指示文・道具を変えたときに行う

問題集と合格の基準は、月に1度の定期の見直しに加えて、モデル・指示文・使う道具を変えたときにも見直します。変更のたびに問題集を解かせ直さないと、直したはずの失敗が別の変更で戻っても気づけないためです。

OpenAI は、変更のたびに評価を走らせる継続的な評価を設けることを勧め、評価は一度で終わらず続ける過程だとしています(OpenAI「Evaluation best practices」2026年11月5日時点)。AISI のガイドも、評価を合理的な範囲と適切な時期に繰り返し実施するものと位置づけています。

きっかけ 見直すこと 解かせる問題
月に1度の定期の見直し 抜き取りと修正の記録から失敗の種類ごとの件数を基準と比べ、問題集の依頼の比率を本番に合わせる 問題集のすべて
モデルの切り替え・更新 合格の基準はそのままにして、新しいモデルで基準を満たすかを確かめる 問題集のすべて(回帰の評価を含む)
指示文や手順の変更 変えた手順に関わる問題の、期待する手順を書き直す 問題集のすべて
使う道具・連携先の追加や変更 許す操作の一覧を更新し、権限を超えた操作を試す問題を足す 権限と手順の問題を中心に全体
任せる範囲を広げる判断 広げる業務の依頼で問題を足し、同じ基準で採点する 足した問題と回帰の評価

基準を緩めるときは、緩めた理由と、緩めた後に何を人が確かめるかを記録に残してください。モデルを切り替えたときは、変えた内容と問題集の結果を利用する部署に知らせます。国の指針が提供後の留意点に挙げた、更新の内容と理由の情報提供を満たす形です。

見直しの結果、任せる範囲を広げるか狭めるかを決めるのは業務の持ち主です。評価の数字は判断の材料であって、範囲を決めるのは業務に責任を持つ人だという点は、運用の担当を決めるときと同じ考え方になります。

最初の評価は、20件の問題集と3種類の合格の基準から始める

最初の評価は、業務の担当者と一緒に20件ほどの問題集を作り、失敗の3種類ごとの合格の基準を決めるところから始めると、4週間ほどで本番の後の確認まで形にできます。

時期 やること できあがるもの
1週目 業務の担当者が、過去の依頼と過去の失敗から4種類の依頼を集める 20件ほどの依頼の一覧
2週目 1問ごとに期待する結果・期待する手順・許される操作を書き、失敗の種類ごとの合格の基準を決める 問題集と合格の基準の1枚
3週目 仕組みでの判定と AI の採点を用意し、同じ問題を人と AI の両方で採点して一致を確かめる 採点の分担の表と、較正した AI の採点の基準
4週目以降 本番で抜き取りの確認と利用者の修正の記録を始め、見つかった失敗を問題集に足す 週ごとの品質の記録と、増えていく問題集

問題集は、最初から網羅しようとしなくてかまいません。本番で見つかった失敗を足し続けるほど、その業務に合った問題集に育っていくためです。

評価の対象になるエージェントの作り方と業務の持ち主の決め方は AI エージェント開発の記事 に、試験運用から本番へ進める判断は AI の PoC の記事 に、導入の成果の測り方は AI の ROI の測り方の記事 にまとめています。AI エージェントに関するほかの記事は AI エージェントのカテゴリ から読めます。

AI を全社の成果につなげる Offers AX

コンサルティング・AI エージェント開発・内製化支援の3本柱で、実装まで支援します。無料相談を受け付けています。

無料で相談する

Offers AX のサービスを見る

記事一覧へ