AI セーフティ・インスティテュート(AISI)とは、AI の安全性を評価する方法や基準を調べて検討し、その成果を企業や開発者が参照できる資料として公表している日本の機関のことです。2024年2月14日に情報処理推進機構(IPA)に事務局を置いて発足し、評価の観点やレッドチーミングの手法をまとめたガイドを公開しています。

AISI は IPA に事務局を置き、関係府省庁と連携して評価の方法を検討する

AISI は単独の役所ではなく、IPA に事務局を置き、内閣府をはじめとする関係府省庁と研究機関が協力して動く体制です。

設立時に IPA が示した当面の業務は、安全性評価に関する調査と基準の検討、安全性評価の実施手法の検討、英米の AI セーフティ・インスティテュートなど他国の関係機関との国際連携、の3つでした。設立時の所長は村上明子氏(非常勤)、事務局長は平本健二氏でした(IPA「AIセーフティ・インスティテュートを設立しました」2024年2月14日)。

同じ日の内閣府の発表は、AI の安全性への国際的な関心の高まりを受け、米国や英国と同じように日本でも設立したと説明しています。協力する関係省庁として内閣府・内閣官房・警察庁・デジタル庁・総務省・外務省・文部科学省・経済産業省・防衛省を、関係機関として情報通信研究機構・理化学研究所・国立情報学研究所・産業技術総合研究所を挙げていました(内閣府 科学技術・イノベーション推進事務局「AIセーフティ・インスティテュートの設立について」2024年2月14日)。

英語名は Japan AI Safety Institute です。2026年3月31日付の英語の年次報告書は、表紙で自らを J-AISI と略しています(AISI「National Status Report on AI Safety in Japan 2025」2026年3月31日)。他国にも AISI と略す機関があるため、海外の資料を読むときは J-AISI の表記で区別すると取り違えを防げます。

体制の拡充も政府の方針になりました。2025年12月19日の第3回人工知能戦略本部で、内閣総理大臣は AISI の抜本的な強化を挙げ、英国並みの200人体制を目指して全省庁と産学から人材を集めるよう指示しています(首相官邸「人工知能戦略本部」2025年12月19日)。AI に関する国の法律と計画の全体像は、AI 推進法 と AI 規制の全体像 で整理しています。

企業の点検で参考にできる AISI の資料

AISI が公表する資料のうち、企業が自社の AI を点検するときにそのまま使いやすいのは、評価の観点を示したガイドと、試し方を示したガイドの2つです。

次の表は、成果物一覧に載る資料から、企業の実務で使う場面がはっきりしているものを選んだものです。

資料名 最新の公表日 企業での使いどころ
AIセーフティに関する評価観点ガイド(第1.20版) 2026年7月7日 自社の AI システムで何を確かめるかを決める。点検表の項目の出発点にする
AIセーフティに関するレッドチーミング手法ガイド(第1.10版) 2025年3月31日 攻撃する側の視点で AI を試すときの手順と、報告書の形を決める
データ品質マネジメントガイドブック(Version 1.02。英語版が正式版で、日本語版は参考訳) 2026年5月14日 AI に読ませる・学習させるデータの品質と出どころの管理を見直す
Chief AI Officer ガイド 2026年3月17日 AI の責任者(CAIO)を置くときの役割と、社内の運用の決め方を整える
ヘルスケア領域におけるAIセーフティ評価観点ガイド 2026年4月2日 医療・健康の分野で AI を使うときの評価観点を確かめる
AIロボティクスに関するセーフティ評価観点ガイド 2026年7月23日 ロボットなど物理的な装置を AI が動かすときの評価観点を確かめる
米国 NIST AI RMF の日本語翻訳版 2024年7月4日 米国の AI リスク管理の枠組みを日本語で読み、社内の規程と突き合わせる

表の公表日は、AISI の成果物一覧と各資料のページで確かめたものです(AISI「成果物」2026年11月6日確認)。

レッドチーミング手法ガイドの第1.10版は、2024年9月の初版を、具体的な実施例で理解できるよう改訂したものです。RAG(社内文書などを検索して回答に使う仕組み)を組み込んだ AI システムに実際にレッドチーミングを行い、手順と成果物を文書にまとめています(AISI「AIセーフティに関するレッドチーミング手法ガイド第1.10版の公開」2025年3月31日)。レッドチーミングという取り組みそのものは、用語集の AI レッドチーミング で扱う内容です。

CAIO を置くかどうかを検討している会社は、用語集の CAIO もあわせて読むと、役割の範囲を決めやすくなります。

評価観点ガイドは、6つの重要要素と11の観点で AI システムを見る

評価観点ガイドは、AI の安全性を6つの重要要素に分け、そこから評価の観点を導いています。

ガイドがいう AI セーフティ評価とは、AI システムが AI セーフティの観点で適切かどうかを見定めることです。対象は大規模言語モデル(LLM)を構成要素とする AI システムで、自律的に計画・判断し、外部のシステムと連携する AI エージェントのシステムも含みます。想定する読者は AI を開発・提供する事業者で、なかでも開発・提供の管理者と事業執行の責任者です(AISI「AIセーフティに関する評価観点ガイド(第1.20版)概要」2026年7月7日)。

6つの重要要素は、人間中心・安全性・公平性・プライバシー保護・セキュリティ確保・透明性です。これらは AI 事業者ガイドライン の共通の指針から選ばれています。

評価の観点は次の11です。

番号 評価の観点 目指す状態の要約
1 有害情報の出力制御 テロや犯罪に関わる情報、攻撃的な表現などの出力を制御できる
2 偽誤情報の出力・誘導の防止 出力の前に事実を確かめる仕組みがあり、利用者の意思決定を誘導しない
3 公平性と包摂性 出力に偏りが含まれず、人にとって理解しやすい
4 ハイリスク利用・目的外利用への対処 想定した用途から外れた使い方で害が出ない
5 プライバシー保護 扱うデータの重要さに応じてプライバシーが守られている
6 セキュリティ確保 不正な操作で機密情報が漏れたり、意図しない変更や停止が起きたりしない
7 説明可能性 出力の根拠を、技術的に合理的な範囲で確かめられる
8 ロバスト性 敵対的な入力や文字化け、誤入力に対しても安定した出力を返す
9 データ品質 学習に使うデータを適切な状態に保ち、来歴を管理している
10 検証可能性 学習から開発・提供・利用までの各時点で検証ができる
11 観測と制御(AI エージェントに固有) 自律的な挙動が目標から外れず、外部の環境とのやり取りで望ましくない操作をしない

2026年7月の改訂で加わったのが11番目で、自律的な挙動と外部環境との相互作用の2つを見ます。外部と連携し自律的に動く AI エージェントでは、リスクと影響が従来の観点に収まらないため、連携先を含めたシステム全体の観測と制御を新しい観点として加えた、というのが改訂の説明です。

評価をする人と時期についても考え方が示されています。主な実施者は AI を開発・提供する側の管理者で、客観性を持たせるために、開発に直接関わらない社内外の専門家や第三者による評価も有効としています。評価は一度で終えず、開発・提供・利用の各時点で、合理的な範囲と適切なタイミングで繰り返す前提です。

AI エージェントを業務に入れる会社にとっては、11番目の観点が点検の中心になるでしょう。評価の進め方は AI エージェントの評価、守り方は AI エージェントのセキュリティ の記事で詳しく扱っています。

自社の AI を点検するときは、評価観点ガイドで項目を決め、手法ガイドで試す

AISI の資料を自社の点検に使うときは、評価観点ガイドで確かめる項目を決め、レッドチーミング手法ガイドで試し方を決める順に進めると、担当を割り振りやすくなります。

  1. 社内で動いている AI を一覧にする: 部署が独自に契約した AI サービスや、個人が業務で使っている AI も含めて洗い出す。把握されていない AI の扱いは シャドー AI を参照
  2. AI ごとに、評価観点ガイドの11の観点のどれを見るかを決める: 社内規程に答えるだけのチャットボットなら有害情報・偽誤情報・プライバシーが中心になり、メール送信や社内システムの更新ができる AI エージェントなら観測と制御とセキュリティから見る
  3. 観点ごとに担当と時期を決める: 開発の担当が設計で確かめるもの、業務部門が利用時に確かめるもの、第三者に頼むものに分け、リリース前だけでなく運用中にも繰り返す時期を決めておく
  4. 影響の大きい AI はレッドチーミング手法ガイドに沿って試す: 想定するリスクの筋書きと攻撃の筋書きを作り、結果を報告書にまとめる。手法ガイドの別添には報告書の例が付いている
  5. 点検に使ったガイドの名前と公表日を記録する: 評価観点ガイドは2024年9月の公表のあと、2025年3月と2026年7月に改訂されている。改訂のたびに、増えた観点や項目だけを見直す

点検の結果を全社のルールに落とし込む方法は、AI ガバナンス と AI のリスク管理 の記事が参考になります。

株式会社overflow の Offers AX は、コンサルティング・AI エージェント開発・内製化支援の3つを、業務の現場に近い距離で戦略立案と実装を一体で進める FDE 型で支援するサービスです。AI の処理基盤は認証や監査ログを含めてお客様の既存環境(GCP・Azure・AWS)に構築し、当社の環境には顧客データを持ちません。数週間で動くプロトタイプを作り、実際の業務で確かめてから本実装へ進む流れです。

支援の進め方は Offers AX のサービスページ をご覧ください。AI エージェントを作る時点から評価観点ガイドの観点を確かめる項目として組み込みたい場合や、社内の AI の棚卸しを既存の業務とあわせて進めたい場合は、無料相談を申し込む からお申し込みいただけます。

他国の同種の機関とは、国際ネットワークで連携している

日本の AISI は、2024年11月に発足した各国の AI 安全性の機関の国際ネットワークに、最初から加わっています。

このネットワークは2024年11月21日にサンフランシスコで発足し、参加したのはオーストラリア・カナダ・欧州委員会・フランス・日本・ケニア・韓国・シンガポール・英国・米国の機関でした。協力して取り組む分野として、研究・試験・指針・各国の参加の拡大の4つを挙げています(International Network of AI Safety Institutes「Mission Statement」2024年11月21日)。

他国の機関の中には、発足後に名前が変わったものもあるので注意が必要です。英国の AI Safety Institute は AI Security Institute に名前を改めており、担当大臣は議会への書簡で、2025年2月14日のミュンヘン安全保障会議でこの改称を発表したと説明しています(英国 科学・イノベーション・技術省 Peter Kyle 大臣の議会委員会あて書簡 2025年2月24日)。

海外の評価結果や資料を社内の検討に使うときは、どの国のどの機関の、いつの資料かを確かめてから引くのが安全です。

似た語との違いは、機関か、指針か、手法か

AISI は資料を作って公表する機関であり、指針や枠組み、手法そのものとは区別して使います。

語 指すもの AISI との関係
AI 事業者ガイドライン AI の開発者・提供者・利用者が取り組む事項をまとめた政府の指針 評価観点ガイドの6つの重要要素は、この指針の共通の指針から選ばれている
NIST AI RMF 米国の NIST が公表した、AI のリスクを管理するための任意の枠組み AISI が日本語訳と、AI 事業者ガイドラインとの対応表を公開している
AI レッドチーミング 攻撃する側の視点で AI を試し、弱点を探す取り組み AISI がその手法のガイドを公表している
広島 AI プロセス 日本が主導した、高度な AI に関する国際的なルールづくりの枠組み 評価観点ガイドは、日本がこのプロセスを主導してきたことを背景に挙げている
AI 推進法 AI の研究開発と活用の推進について定めた日本の法律 法律に基づく政府の取り組みの中で、AISI の強化が方針として示されている

AI 事業者ガイドラインと NIST AI RMF との対応表は2024年4月30日と9月18日に、NIST AI RMF の日本語訳は2024年7月4日に公表されました(AISI「成果物」2026年11月6日確認)。社内の規程を作るときは、指針で方針を決め、AISI のガイドで確かめる項目と試し方を決める、という組み合わせが使いやすいでしょう。

AI セーフティ・インスティテュートと一緒に使われる用語

  • AI ガバナンス: AI を安全に使い続けるための社内の決まりと体制。詳しくは AI ガバナンス
  • AI ガードレール: AI への入力と出力・操作を検査して止める仕組み。詳しくは AI ガードレール
  • ハルシネーション: AI がもっともらしい誤りを作ること。評価観点の偽誤情報の防止と関わる。詳しくは ハルシネーション
  • プロンプトインジェクション: AI に読ませる文書や入力に指示を紛れ込ませ、AI の動きを変える攻撃。詳しくは プロンプトインジェクション
  • OWASP Top 10 for LLM Applications: LLM を組み込んだアプリのセキュリティ上のリスクを10項目にまとめた一覧。詳しくは OWASP LLM Top 10

全社で AI を進める体制や計画の立て方は、AX 戦略のカテゴリ の記事にまとめています。