メディア
AI エージェント

全社共通の生成AI基盤を持つか、部門ごとに入れるか|6つの観点の比較と、共通基盤に持たせる5つの機能

公開
執筆者: Offers AX 編集部・編集部

全社で使う生成AIの基盤は、全社で共通にするか部門に任せるかの二択で決めるものではありません。認証とアクセス権、利用の記録、費用の配分は最初から全社で共通にし、業務に合わせた画面やプロンプト、使うサービスの選び方は部門に任せる。この分け方から始めるのが、守りと現場の速さを両立しやすい形です。

部門ごとに個別のサービスを入れると、始めるのは速い一方で、アカウントと利用の記録が契約の数だけ分かれ、誰がどの情報を入力したかを後から全社で集められなくなります。反対に、すべてを共通基盤でそろえてから始めようとすると、基盤ができるまで現場の試行が止まり、社員が個人のアカウントで使い始める原因にもなりかねません。

どちらから始めるかは、扱うデータ、同じ用途を持つ部門の数、すでにある契約、基盤を運用する担当の4つを順に確かめて決めます。

O
執筆者

編集部

Offers AX 編集部

株式会社overflow が運営する Offers AX の編集部です。全社の AI 導入(AX)を支援する現場の知見をもとに記事を制作しています。

この執筆者の詳細・記事一覧 →

全社共通の生成AI基盤と部門ごとの導入は、6つの観点で違いが出る

全社共通の基盤と部門ごとの導入で差が大きいのは、権限と認証、利用の記録、情報の管理の3つです。導入の速さと現場の自由度では、部門ごとの導入に分があります。6つの観点で比べると、次の表のとおりです。

観点 全社共通の生成AI基盤 部門ごとに個別のサービス
費用の出方 基盤の構築と運用に先に費用がかかる。使った量を部門に配分する仕組みが要る 部門の予算で契約するため、始める費用は小さい。似た契約と開発が部門の数だけ重なりやすい
権限と認証 会社の ID で入り、退職や異動のときに一か所で止められる サービスごとにアカウントを管理し、退職者の停止も部門ごとに行う
利用の記録 同じ形式で一か所に残り、部門・アプリ別に集計できる サービスごとに残る項目と保存期間が違い、全社で集計するには突き合わせが要る
情報の管理 入力してよい情報の区分と、つないでよい社内データを全社の基準で決められる 部門の判断と、各サービスの設定に任せることになる
導入の速さ 基盤ができるまで始められない 契約すればその日から使える
現場の自由度 使えるモデルと機能は、基盤が対応した範囲に限られる 部門が業務に合うサービスを選べる

表の2〜4行目(権限と認証・利用の記録・情報の管理)は、後から直すほど手間が増える項目です。費用は契約を整理すれば後から寄せられる一方、部門ごとに別の形式で残った記録や、サービスごとに作られたアカウントは、さかのぼってそろえられません。

似た仕組みを組織ごとに作る重複の費用は、国の取り組みでも課題とされている点です。デジタル庁は、職員向けの生成AIの利用環境「源内」の一部をオープンソースとして公開した2026年4月24日のお知らせ「ガバメントAI「源内」をOSS(オープンソースソフトウェア)として公開しました」で、公開の狙いを「地方公共団体や政府機関における類似のAI基盤の重複開発を防ぎ、社会全体の開発コスト削減に貢献します」と書いています。

企業の例では、日立製作所が2024年8月29日に自社サイトで公開した「【第1回】「生成AI共通基盤」の日立グループ全社展開へ」で、グループで使う共通基盤を作った背景として、生成AIアプリケーションの開発環境への投資と、その環境を構築・運用する人材の獲得が高いハードルになることを挙げています。同じ記事では、各プロジェクトに専用の環境を用意しつつカスタマイズ開発も自由にし、プロジェクトで作ったナレッジやツールを共通基盤にためてグループ内で使い回す形も説明されており、上の表の2つの列を組み合わせた例です。

部門ごとに入れた後で困るのは、記録と権限を後からそろえられないこと

部門ごとの導入で後から困るのは、費用よりも、利用の記録と権限の管理を全社でそろえ直す手間です。どちらも、サービスを入れた時点の設定で決まってしまうためです。

利用の記録は、国の指針も求めています。AI の判断にかかわる検証可能性を確保するため、合理的な範囲で利用時の入出力などのログを記録・保存し、事故の原因究明や再発防止策の検討での重要性などを踏まえて、記録の方法・頻度・保存期間を検討する、という項目です(総務省・経済産業省「AI事業者ガイドライン(第1.2版)」2026年3月31日)。

ところが、記録は契約しただけでは残りません。Amazon Bedrock では、モデルの呼び出しの記録が既定で無効になっており、有効にすると、呼び出した利用者やロールの識別子、入力と出力の本文、トークン数が1件ずつ残る仕組みです(AWS「Amazon Bedrock User Guide」2026年11月17日確認)。部門ごとにクラウドのアカウントや契約を持つと、この設定を有効にしたか、何日残すかが部門ごとの判断になります。

権限の問題は、社内のデータを生成AIにつないだときに表に出ます。社内の文書を読んで答える仕組みは、利用者がもともと閲覧できる範囲のデータだけを返すように作るのが基本です。Microsoft Copilot も、利用者が少なくとも閲覧の権限を持つ組織のデータだけを表示する仕組みで、正しい人が正しい内容に触れられるよう、既存の権限の仕組みを使うことが重要だとされています(Microsoft「Data, Privacy, and Security for Microsoft Copilot」2026年7月9日更新)。

裏を返せば、元の文書の共有設定が広すぎると、生成AIもその広すぎる範囲のまま答えを返すということです。部門ごとに別の仕組みで社内データをつなぐと、権限の確かめ方も部門の数だけ分かれます。社内の文書を読ませる前に決めておく項目は、社内 AI チャットボットを作る前に決めることで整理しています。

すでに部門ごとの契約があるなら、最初の作業は、契約の一覧に「会社の ID で入れるか」「記録が残る設定か、何日残すか」「退職者の利用をどう止めるか」の3列を足して埋めることです。空欄が残った契約が、共通基盤へ寄せる最初の候補です。入力した情報が社外へ出る経路ごとの対策は、生成AIの情報漏洩を防ぐ順番にまとめています。

共通の環境を持つと、全体の使われ方を同じ物差しで測れる

共通の環境を持つ利点は、守りだけでなく、全体の使われ方を同じ物差しで測れる点です。公表された例に、デジタル庁の利用実績があります。

デジタル庁が2025年8月29日に公表した「デジタル庁職員による生成AIの利用実績」によると、同庁が2025年5月から内製で構築した生成AIの利用環境「源内」は、全職員が業務で使え、ポータルからシングルサインオン(SSO)で入れる環境です。チャットや要約といった汎用の機能に加え、国会答弁の検索や法制度の調査を支援する行政実務向けのアプリも、同じ環境で提供しています。

同じ資料によると、2025年5月から7月までの3か月間に、職員約1,200人のうち約950人(約8割)が源内を使い、利用回数はのべ6万5,000回以上、使った職員1人あたり平均70回でした。

同じ記録からは、使い方の偏りも見えています。3か月で100回以上使った職員が150人以上いたのに対し、5回未満にとどまった職員は170人で、課長級の職員の半数は利用の実績がゼロでした。

この偏りは、全職員が同じ環境を使い、同じ形式で記録が残っていたから分かったものです。部門ごとに別のサービスを契約していると、契約ごとの記録を集めて形式をそろえるまで、役職別の利用の差は見えないままです。利用の少ない層に使い方を届ける研修や、よく使われる機能をアプリにして配るといった次の手は、この記録があって初めて選べます。

源内は2026年度に、全府省庁の約18万人の政府職員を対象とする大規模実証へ広げると発表されました(デジタル庁「全府省庁の約18万人の政府職員を対象としたガバメントAI(源内)の大規模実証を開始します」2026年3月6日)。1つの組織で共通の環境と記録の取り方を固め、それから対象を広げる順番は、企業が本社の1部門から共通基盤を始めるときにも使える進め方です。

生成AI基盤に持たせる機能は、認証から費用の配分までの5つ

共通基盤に持たせるのは、認証とアクセス権、利用ログ、社内データへの接続、モデルの切り替え、費用の配分の5つです。どれも、部門ごとに作ると後から全社でそろえ直す手間が大きい機能を選んでいます。

機能 基盤が受け持つこと 社内で決めること
認証とアクセス権 会社の ID で入り、部門や役職ごとに使えるモデル・アプリ・データを分ける 退職・異動のときに誰が止めるか。部門ごとに使ってよいモデルの一覧
利用ログ 誰が、いつ、どのモデルに何を入力し、何が返ったかと、トークン数を残す 本文まで残すか件数だけにするか。何日残し、誰が読めるか
社内データへの接続 文書やシステムをつなぎ、利用者が元の権限で見られる範囲だけを返す つないでよいデータの区分と、接続を審査する担当
モデルの切り替え アプリの側を書き換えずに、使うモデルを替えたり足したりできる 新しいモデルを足すときの確認の手順と担当
費用の配分 部門やアプリの単位で使用量と費用を集計し、上限を決める 配分の単位(部門かアプリか)と、上限に達したときに止めるか知らせるか

どの機能も、主なクラウド事業者が公式のドキュメントで説明している機能で組めます。製品は比べず、機能の例だけを挙げると次のとおりです。

モデルの切り替えでは、Amazon Bedrock の Converse API が、メッセージ形式に対応した Bedrock のモデルに共通の API を用意し、一度書いたコードを別のモデルでも使えるようにしています。同じサービスでは、利用者が作るアプリケーション推論プロファイルにタグを付け、モデルの使用量と費用を追うこともできます(AWS「Amazon Bedrock User Guide」2026年11月17日確認)。

費用の配分は、Google Cloud の Vertex AI でも、生成AIの API の呼び出しにラベルを付けておき、請求のレポートでラベルごとに費用を絞り込んだりまとめたりできる仕組みです(Google Cloud「Vertex AI」公式ドキュメント・2026年11月17日確認)。

Azure API Management には、LLM のトークンの消費量を、利用者 ID やサブスクリプション ID などの単位を付けて監視の仕組み(Application Insights)へ送る設定があり、部門やアプリごとの使用量を数える材料になります(Microsoft「Azure API Management policy reference - llm-emit-token-metric」2026年9月15日更新)。

認証・利用ログ・費用の配分の3つは、生成AIへの呼び出しを1か所に集める中継の位置にまとめて置ける機能です。その仕組みはLLM ゲートウェイの用語ページで説明しています。

社内データへの接続を AI エージェントに広げ、社内のシステムを読み書きさせるときは、接続先ごとに権限と記録を決めるのが前提です。決める項目はMCP を社内システムにつなぐ前に決めることにまとめています。

Offers AX は、お客様の環境に AI の処理基盤を作り、業務で試しながら共通にする範囲を決める

Offers AX(株式会社overflow の AI 導入支援)が、AI エージェントと、それを動かす認証・監査ログを含む AI の処理基盤を構築する場所は、原則としてお客様の既存の環境です。GCP・Azure・AWS のいずれにも対応し、理由はデータ主権・監査のしやすさ・特定の事業者に縛られないことの3点。当社の環境には顧客のデータを抱えず、契約が終わっても、作った資産はお客様の環境に残ります。

進め方は、業務の現場に近い距離で戦略と実装を一体で進める FDE(Forward Deployed Engineer)型です。要件定義書より先に数週間で動くプロトタイプを作り、実際の業務で検証してから本実装に進むため、共通基盤に持たせる範囲も、比較表だけで決めず、最初の業務で認証や記録の設定を試してから決められます。

着手の前には、業務ルール・システム基盤・法務と統制など6つの領域の整い具合を LV0〜LV4 の5つの水準で診断し、平均ではなく最も整っていない領域を見て、着手の順番を決めます。引き継ぎは最初から設計に含め、ドキュメントの整備と社内の運用体制の設計まで支援するため、基盤を運用する担当を社内に置く準備も並行して進められる形です。

Offers AX の支援内容を見る/無料相談を申し込む

どちらから始めるかは、4つの問いを順に確かめて決める

共通基盤から始めるか、部門ごとの導入から始めるかを決める手がかりは、次の4つの問いです。上から順に確かめてください。

  1. 扱うデータに、個人データや顧客から預かった機密が入るか: 入るなら、どの部門の利用でも、認証と利用ログは最初から共通にする。記録の有無と保存期間を部門の設定に任せると、何を入力したかを会社として後から確かめられない
  2. 同じ用途を持つ部門が2つ以上あるか: 文書の作成・要約・社内の問い合わせ対応のように、複数の部門で同じ用途が出ているなら、共通基盤で1つにまとめる。似た契約と開発が部門の数だけ重なるのを防げる
  3. 部門ですでに契約しているサービスがあるか: あるなら止めずに、「記録と権限」の節で挙げた3列(会社の ID・記録の設定と日数・退職者の停止)を満たすかを確かめる。満たすものは共通の管理に寄せ、満たさないものは契約の更新の時期に共通基盤へ移す
  4. 基盤を運用する担当を置けるか: 置けるなら5つの機能をそろえる。置けないなら、会社の ID・利用ログ・費用の集計の3つだけを共通にし、残りは法人向けのサービスの機能に任せる

部門ごとの導入から始めてよいのは、利用者が1つの部門に限られ、扱うのが公開情報と社内限定の情報だけで、試行の期間を決めて終える場合です。その場合も、利用する部門が増えたら移す、扱うデータの区分が変わったら移す、といった共通基盤へ移す条件を、始める前に決めておくのが安全です。

会社が管理できる条件で生成AIを使うときに確かめる項目は、エンタープライズ AIの用語ページで7つに分けて説明しています。基盤を自社の設備に置くか、クラウドの閉域や法人向けサービスで作るかは別の判断で、生成AIをオンプレミス・閉域・クラウドのどこで動かすかで5つの基準を示しています。

共通にするのは守りの機能までにし、使い方は部門に残す

共通基盤で全社をそろえるのは守りの機能までにとどめ、プロンプトや業務のアプリ、使い方は部門に残すのが、現場で使われる基盤にする近道です。

基盤の側で使えるモデルや機能を絞りすぎると、業務に合わないと感じた社員が個人のアカウントで別のサービスを使い始める、という逆の結果を招きかねません。会社が把握も許可もしていない利用(シャドー AI)は共通基盤を経由しないので、記録にも残らないのが厄介な点です。

部門に残すのは、業務ごとのプロンプトとその持ち主・更新の決め方、部門の業務に合わせた画面やアプリ、どの業務に使うかの選定の3つです。プロンプトの置き場と持ち主の決め方は、プロンプト管理の進め方で扱っています。

部門に任せた工夫を全社の資産に変える方法の参考になるのが、前に挙げた日立製作所の例です。部門が作ったプロンプトやアプリを共通基盤にためて、ほかの部門が使い回せるようにしておけば、部門ごとの工夫が重複の開発ではなく共有の材料になります。

守りの側では、共通基盤が止まったときの備えが要ります。全社の生成AIの呼び出しが1か所に集まるため、基盤が止まると全部門の利用が同時に止まるからです。障害のときの連絡先と、代わりのモデルや接続先へ切り替える手順は、本番で使い始める前に決めておきます。

共通基盤で守らせる内容と、入力してよい情報の区分や使ってよいサービスの一覧を定めた社内の規程は、1対1で対応させるのが基本です。規程を改めるたびに、基盤のどの設定を見直すかがすぐ分かるためです。規程の作り方は、生成AIの社内ガイドラインとガバナンスの作り方にまとめています。

共通基盤を入れた後は、月に1度記録を見て共通にする範囲を見直す

共通基盤は作って終わりではなく、利用ログと費用の集計を月に1度見て、共通にする範囲と部門に任せる範囲を見直します。見る項目の例は次の4つです。

  1. 部門別・役職別の利用者数と利用回数。デジタル庁の例のように、使われていない層を見つける
  2. 部門・アプリ別の費用と、上限に達した回数
  3. 基盤で入力を検査している場合は、止めた件数と、止めた入力の種類
  4. 部門から出たモデルや機能の追加の要望と、対応の状況

見直しの結果は、次の手に結び付けるのが目的です。利用の少ない部門には使い方の共有や研修を、要望の多い機能には基盤への追加を、費用が想定を超えた部門には上限と用途の見直しを、というように決めていけば、共通基盤が使われ続ける状態を保てます。

月に1度の見直しを誰が受け持つかは、AI 推進の体制の置き方次第です。体制の作り方はAI 推進の体制の作り方に、効果の測り方はAI 導入の効果測定と ROIにまとめています。AI エージェントを業務に入れるときの設計と運用は、AI エージェントのカテゴリの記事で順に読めます。

AI を全社の成果につなげる Offers AX

コンサルティング・AI エージェント開発・内製化支援の3本柱で、実装まで支援します。無料相談を受け付けています。

無料で相談する

Offers AX のサービスを見る

記事一覧へ