ハルシネーションとは、生成 AI が事実と異なる内容や与えた資料と食い違う内容を、正しい答えのようにもっともらしく出力する現象のことです。モデルの仕組みから生じるため完全には防げず、企業が業務に入れるときは、誤りが混じっても被害が出ない業務の流れを先に作ることが対策の中心になります。
公的な文書での位置づけ
国内のガイドラインも海外の標準化機関も、ハルシネーションを生成 AI の代表的なリスクの一つとして扱っています。総務省と経済産業省の AI 事業者ガイドラインは、AI によるリスクの例に「ハルシネーション等による誤った出力」を挙げ、生成 AI が事実と異なることをもっともらしく回答する現象だという説明です。同じ箇所には、ハルシネーションをめぐって AI の開発者や提供者を相手取った訴訟も起きているという記述があります(総務省・経済産業省「AI事業者ガイドライン(第1.2版)別添」2026年3月31日)。
米国立標準技術研究所(NIST)の生成 AI 向けのリスク管理の文書は、この現象を「コンファビュレーション(作話)」と呼んでいます。生成 AI が誤った内容や偽の内容を自信をもって示す現象で、俗に「ハルシネーション」や「ファブリケーション」とも呼ばれる、という定義です。指示や入力した資料から外れた出力と、同じ会話の中で前に出した内容と矛盾する出力も、同じ現象に含めています(NIST「AI 600-1 Generative Artificial Intelligence Profile」2024年7月)。
同じ文書の注には、「幻覚」という言葉が AI を人のように見せてしまうという指摘も紹介されています。社内の説明資料では「AI の誤回答」「事実と異なる出力」と言い換えたほうが、受け手が中身を取り違えにくくなります。
業務で問題になるのは、誤りそのものより、誤りが自信のある文体で出てくる点です。NIST の文書は、利用者が回答の確信めいた調子から偽の内容を信じて行動してしまうことをリスクに挙げ、医療の場面で患者情報の要約が誤っていれば、医師の診断や治療の判断を誤らせうるという例を示しています。
起きやすい場面と理由
ハルシネーションが起きやすいのは、学習データにまれな事実を問われたとき、長い回答や専門性の高い領域、与えた資料を要約させたときです。資料を渡さずに根拠や出典だけを求めると、実在しない資料名や条文まで作られることがある点にも注意が必要です。
OpenAI の研究者らは、言語モデルがハルシネーションを起こし続けるのは、学習と評価の仕組みが「分からない」と認めるより推測して答えることを高く評価するためだと論じています。論文の冒頭に置かれたのは、公開されている高性能なモデルに著者の誕生日を「知っている場合だけ」答えるよう指示して3回尋ねたところ、3回とも異なる誤った日付が返った、という例です(OpenAI「Why Language Models Hallucinate」2025年9月4日)。
NIST の文書は、生成モデルが学習データの統計的な分布に近い出力を作るように設計されていることの自然な結果だとし、長い回答を求めるときや、文脈や専門知識を強く要する領域で特に起きやすいと整理しています。回答を正当化するための理屈や引用そのものが作話になり、人がさらに信じ込みやすくなる点も、同じ文書が挙げるリスクです。
これらを業務の場面に置き換えると、次の表になります。
| 起きやすい場面 | 業務での例 | 起きやすい理由 |
|---|---|---|
| 学習データにまれな固有名詞・日付・数字 | 取引先の担当者名、社内規程の条番号、製品の型番 | まれな事実は文章のパターンから推測できず、それでも答えを作ってしまう |
| 資料を渡さずに根拠・出典だけを求める | 実在しない資料名や条文を根拠に挙げた報告書 | 理屈や引用そのものも作話になりうる |
| 長い回答・専門性の高い領域 | 法務・労務の論点整理、長い会議の要約 | 出力が長く、確かめるのに要る専門知識が多いほど誤りが紛れ込む |
| 与えた資料の要約・転記 | 規程の要約に、原文に無い条件が入る | 入力から外れた出力も同じ現象に含まれる |
| 答えの無い問い・学習時点より後の出来事 | 公表前の数字、最近の制度改正 | 「分からない」と返すより推測で答える方向に学習・評価されてきた |
表の上の2行は、社内の固有名詞や規程を扱う業務ほど起きやすいことを示しています。社内の情報は公開の学習データにほとんど含まれないため、何も渡さずに尋ねれば、AI はもっともらしい名前や番号を作って答えがちです。
似た語との違い
ハルシネーションは攻撃や偏りが無くてもモデル自身の性質から起きる誤りで、プロンプトインジェクションや AI バイアス、自動化バイアスとは原因も対策も違います。
| 語 | 何が起きるか | ハルシネーションとの違い |
|---|---|---|
| プロンプトインジェクション | 読ませた文章に紛れた指示で、AI が意図しない動作をする | 第三者の攻撃が原因。ハルシネーションは攻撃が無くても起きる |
| AI バイアス | 学習データの偏りで、判断や推奨が特定の属性に偏る | 事実の誤りより、判断の偏りが問題になる |
| 自動化バイアス | 人が AI の判断を過度に信頼し、自分での確認を怠る | 人の側の問題で、ハルシネーションの被害を大きくする |
| AI ガードレール | 入力と出力を検査し、決めた範囲から外れた応答を止める仕組み | 現象の名前ではなく、対策の一つ |
AI 事業者ガイドラインでも、ハルシネーションとバイアスのある出力は別々のリスクの項目です。さらに、人が最終判断をする場面でも AI の判断を過度に信頼し、自らの判断や確認を怠ってしまう自動化バイアスへの注意を促しています(総務省・経済産業省「AI事業者ガイドライン(第1.2版)別添」2026年3月31日)。
確認する人が AI の出力を信じ切っていれば、人の確認を置いても誤りはそのまま業務に入るので、ハルシネーションへの備えは、AI の側の工夫と、確かめる人の側の決めごとの両方が揃って初めて機能します。
企業が業務で講じる対策
対策は、参照する資料を渡す、出典を示させる、「分からない」と答えてよいと伝える、人の確認を置く、用途を限る、の5つです。どれも誤りを減らすもので、無くすものではありません。
Anthropic が Claude の利用者向けの文書で示す方法は、不確かなときに「分からない」と答えることを明示して許す、長い文書では先に原文の該当箇所をそのまま抜き出させてから作業させる、主張ごとに裏付けとなる引用を示させて見つからない主張は取り下げさせる、渡した資料だけを使い一般知識を使わないよう指示する、などです。そのうえで、これらの方法でも誤りは無くならないため、重要な情報、とくに影響の大きい判断に使う情報は必ず確かめるよう求めています(Anthropic「Reduce hallucinations」2026年11月確認)。
AI 事業者ガイドラインが、外部の情報を検索して回答に使う仕組み(RAG)の利点として挙げるのは、ハルシネーションの抑制と、回答に参照元を示せることによる根拠の透明性の向上です。AI の利用者向けには、出力によって重大な影響や被害が生じ得る場合に人の判断を介在させること、入力と出力の記録を含むログの管理体制を整えることを、具体的な手法として示しています。
5つの対策を、社内で決めることに置き換えると次のとおりです。
| 対策 | 社内で決めること | 減らせる誤り |
|---|---|---|
| 参照する資料を渡す | AI に読ませる規程・マニュアル・データの範囲と、最新に保つ担当 | 社内の固有名詞・規程の誤り |
| 出典を示させる | 回答に資料名と該当箇所を添える形式。添えられない主張は出さない | 実在しない根拠・作られた引用 |
| 「分からない」を許す | 資料に無い問いへの返し方(担当部署の案内など) | 推測で埋めた回答 |
| 人の確認を置く | 確認する業務・確認する人・確認した記録の残し方 | 社外へ出る誤り、判断の誤り |
| 用途を限る | AI に任せない業務の一覧(事実認定・金額の確定・人の処遇など) | 誤りが被害に直結する業務での事故 |
最初の3つは AI への指示と仕組みで、残りの2つは業務の決めごとです。前者はモデルや製品を替えると成果が変わりうるので、後者を先に決めておくと、ツールを入れ替えても守りの水準を保てます。
誤りが出ても被害が出ない業務に置き換える
完全には防げない以上、企業が先に決めるのは誤りの率より、誤りが出たときに誰が気づき、どこで止まるかです。AI の出力を使う業務を、影響の大きさで3つに分けると決めやすくなります。
1つ目は社内の下書きや要約で、人が読み直してから使う前提にすれば、誤りは読み直しの時点で止まります。2つ目は社外へ出る文書や数字で、出典の資料と照らし合わせる工程を必ず挟む対象です。3つ目は事実の認定や金額の確定、人の評価のような判断と、発注や削除のような操作で、AI に決めさせず、人が決めるための材料づくりまでにとどめる領域です。
AI エージェントを使う場合は、3つ目の操作の扱いがとくに重要です。AI 事業者ガイドラインは、AI エージェントが自律的に動く中で、人の意図しない商品の注文やファイルの削除をする可能性を挙げています(総務省・経済産業省「AI事業者ガイドライン(第1.2版)別添」2026年3月31日)。誤った判断をもとに動いても被害が出ないよう、エージェントに渡す権限を読む・下書きを作るまでに絞り、送る・払う・消すの前には人の承認を置く設計が基本です。
Offers AX は、AI の出力を下書き・参考情報として扱い、事実認定・合否・処遇は人が判断する前提で業務を設計します。初回から動くものを出して数週間で試すので、どの出力に誤りが出やすく、どこで人が確かめれば止まるかを、規程の文面より先に動くもので確かめられるのが、この進め方の利点です。AI の処理基盤は原則としてお客様の環境に置き、認証と監査ログも設計に含めます。
支援の内容は Offers AX のサービスページ にまとめています。AI に任せる業務と人が確かめる工程の切り分けから始めたい場合は、無料相談を申し込むからご連絡ください。
導入した後に見直すこと
導入した後は、見つかった誤りを記録して、渡す資料と確認の工程を直し続けます。誤りの記録が無いと、同じ種類の誤りが別の部署で繰り返されても気づけません。
記録に残すのは、どの業務で、どの問いに、どんな誤りが出て、誰がどの時点で気づいたかの4点です。社内の規程や資料が更新されたときは、AI に読ませている資料も同じ日に差し替える担当を決めておくと、古い資料をもとにした誤りを防げます。
AI エージェントの出力の質を継続して測る方法は AI エージェントの評価の記事 で、誤りが社外に出てしまったときの初動は AI インシデント対応の記事 で扱っています。
関連する用語
ハルシネーションと合わせて押さえておきたい用語は、次の5つです。
| 用語 | ハルシネーションとの関係 |
|---|---|
| AI ガードレール | 出力を検査して、決めた範囲から外れた応答を止める仕組み。誤りを減らす対策の一つ |
| 責任ある AI | 正確さや説明責任を含めて AI を使う考え方。誤りへの備えはその一部 |
| AI 事業者ガイドライン | ハルシネーションを AI のリスクの例に挙げる国内の指針 |
| AI エージェント | 誤った判断のまま操作まで進むと、被害が文章の誤りより大きくなる |
| AI レッドチーミング | 攻撃者の視点で AI を試す手法。誤った出力を引き出す試験も含めて計画できる |
AI のリスク全体の整理は AI リスク管理の記事 で、関連する記事は AI エージェントのカテゴリ でまとめて読めます。