マルチモーダル AI とは、文章・画像・音声・動画など複数の種類の情報を、1つのモデルでまとめて受け取り、出力できる AI のことです。紙の書類の画像を読んで要点を文章で返す、会議の録音から決定事項を抜き出すといった使い方ができ、文章だけを扱う AI よりも業務で渡せる材料が広がります。

マルチモーダルの「モーダル」は、情報の種類を指す

マルチモーダルの「モーダル」は、文章・画像・音声・動画といった情報の種類(モダリティ)のことで、複数の種類を扱えるものがマルチモーダルです。文章だけ、画像だけのように1種類の情報を扱う AI は、対比してシングルモーダルと呼ばれます。

総務省の情報通信白書は、生成 AI を、ユーザー側の調整やスキルなしに自然な言語で指示を出すだけで活用でき、テキスト、画像、映像等の多様な形式(マルチモーダル)のアウトプットを取得できるものと説明しています(総務省「令和6年版 情報通信白書」2024年7月5日公表)。

白書が書いたのは出力の側です。入力の側についても、主要な提供元が、モデルが複数の種類の情報を受け取れることを公式に発表しています。

  • Google は Gemini を、最初から異なる種類の情報で事前学習した、ネイティブにマルチモーダルなモデルとして設計し、文章・コード・音声・画像・動画を横断して扱えると説明しています(Google「Introducing Gemini: our largest and most capable AI model」2023年12月6日公開)
  • Anthropic は Claude 3 のモデル群が、写真・チャート・グラフ・技術的な図面といった幅広い視覚情報を処理できると発表しました(Anthropic「Introducing the next generation of Claude」2024年3月4日公開)

どのモデルがどの形式を受け取れるかは、提供元の更新で変わるものです。導入するときは、使うサービスの最新の公式資料で入力と出力の形式を確かめてください。マルチモーダル AI がどんな土台の上に作られているかは、基盤モデルの用語ページで扱っています。

文章だけを扱う AI との違いは、渡せる材料と確かめる手間に出る

文章だけを扱う AI との違いは、AI に渡せる材料の幅と、出力を人が確かめるときの手間の2つに表れます。

観点 文章だけを扱う AI マルチモーダル AI
入力できるもの 文章(メールの本文、文字起こし済みの記録、コピーした文書) 文章に加え、書類の画像・写真・図表・録音・動画・画面の画像
できる業務の例 メールの下書き、文書の要約、問い合わせの分類 紙の申請書の読み取り、図表入りの資料の要約、会議の録音からの議事メモ作成、業務画面の確認
渡す前の準備 画像や音声は、人か別のツールが文字に起こしてから渡す 画像や音声をそのまま渡せるので、文字起こしなどの準備を減らせる
注意点 文字に起こした時点で抜け落ちた情報(表の配置、話し手の区別、図の矢印)は AI に届かない 写り込みや録音の雑談など、渡すつもりの無い情報まで AI に届く。読み違いは元の画像や録音と照らして確かめる

表は編集部の整理です。

渡せる材料が広がる一方で、AI が読んだ中身を人が確かめる作業は残ります。文字で渡した場合は渡した文章と出力を見比べれば済みますが、画像や録音を渡した場合は、元の画像を開き、録音を聞き直して確かめることになるからです。

一度に扱える情報の量にも上限があります。長い録音や枚数の多い書類は、分けて渡すか、要る部分を選んで渡すのが基本です。上限の考え方はコンテキストウィンドウの用語ページで説明しています。

企業の業務で試しやすいのは、書類の読み取り・会議の音声・画面の確認の3つ

企業で最初に試しやすいのは、これまで人が目と耳で読み取って文字に書き写していた作業です。書類の画像、会議の録音、業務システムの画面の3つは、どの部署にもある材料と言えます。

紙や画像の書類を読み取る

紙の申請書や請求書、手書きのメモをスキャンした画像、図表を含む PDF の資料を AI に渡し、決まった項目を抜き出して表にそろえたり、要点をまとめたりする使い方です。

この用途は提供元も想定しているものです。Anthropic は Claude 3 の発表で、企業の顧客の中にはナレッジベースの最大50%を PDF・フローチャート・プレゼンテーションのスライドのような形式で持つところがあると述べ、視覚情報を扱えることの意味をそこに置きました(Anthropic「Introducing the next generation of Claude」2024年3月4日公開)。

抜き出した金額・日付・氏名は、元の画像と照らしてから使います。生成 AI がもっともらしい誤りを出す現象はハルシネーションと呼ばれ、画像の読み取りでも起こりうるためです。社内に溜まった文書や画像を活用の対象として整理する考え方は、非構造化データの用語ページにまとめています。

会議の音声を整理する

会議や商談の録音を渡し、決定事項・担当者・期限を抜き出す使い方です。文字起こしと要約を別々のツールで行っていた作業を、1つの流れにまとめられます。

話し手の取り違えや、社内の略語・固有名詞の聞き取り誤りは残るので、議事メモとして配る前に出席者が確かめる工程を入れておくのが前提です。商談の録画から議事録を作る仕組みを自社で組み、何を AI に任せて何を人に残したかは、商談の議事録 AI を自社で組んだ記録で紹介しています。

画面を確認する

業務システムの画面の画像を渡し、エラー表示の意味を尋ねる、入力漏れを確かめる、手順書の画面と実際の画面の違いを見つける、といった使い方です。問い合わせを受ける側が、文章での説明より早く状況をつかめる場面もあるでしょう。

画面を見て操作まで行う AI も公開済みです。Anthropic は、Claude に人と同じように画面を見て、カーソルを動かし、ボタンを押し、文字を入力させる機能をパブリックベータとして公開しました。ただし同社は公開の時点で、この機能はまだ実験的で、扱いにくく誤りやすいことがあると説明しています(Anthropic「Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku」2024年10月22日公開)。

画面を操作させる使い方は、AI が自ら手順を進める AI エージェントの領域です。業務に入る AI エージェントの作り方と運用は、AI エージェントのカテゴリの記事で順に読めます。

企業の進め方は、扱う情報の種類と業務を1つに絞って試すこと

マルチモーダル AI を業務に入れるときは、扱う情報の種類と対象の業務を1つに絞り、確かめ方まで決めてから試すと手戻りが小さく済みます。画像も音声も一度に広げると、どこで読み違いが起きたのかを切り分けにくくなるからです。

  1. 業務を1つ選び、AI に渡す材料の種類(書類の画像・録音・画面)と、出力をどこで使うかを決める
  2. 材料に含まれうる個人情報や機密を洗い出し、渡す前に伏せる処理と、使ってよいサービスの条件を情報システム部門・法務と決める(考え方は次の節)
  3. 実際の書類や録音を少量選び、AI の出力と人が作った正解を並べて、読み違いの傾向を確かめる
  4. 人が確かめる工程(どこを誰が見るか)を業務の手順に書き込み、確かめた結果を次の改善に回す
  5. 対応する形式や出力は提供元の更新で変わるため、利用規約と更新の知らせを受け取る担当を決める

3と4が抜けると、読み違いに気づくのが業務で問題が起きた後になります。正解と並べる材料は、実際の業務で起きる難しい例(かすれた印字、複数人が同時に話す録音)を含めて選んでおくのが要点です。

株式会社overflow の Offers AX は、コンサルティング・AI エージェント開発・内製化支援の3つを、業務の現場に近い距離で戦略立案と実装を一体で進める FDE 型で提供しています。課題調査とユースケースの選定から入り、数週間で動くプロトタイプを作って実業務で検証してから、本実装に進む進め方です。AI の処理基盤は GCP・Azure・AWS のいずれにも対応してお客様の環境に構築し、当社の環境に顧客データを抱えません。契約が終わっても、成果物はお客様の環境に残ります。AI の出力は下書きや参考情報として扱い、事実認定や合否・処遇の判断は人に残す設計です。Offers AX のサービス内容を見る。

どの書類や録音から AI に渡すか、渡す前に伏せる情報をどう決めるかを整理したい場合は、無料相談を申し込むからご相談ください。

画像と音声には、個人情報や機密が文章より混ざりやすい

画像や音声は、渡す人が中身を1つずつ選んで書き出すわけではないため、個人情報や機密が文章より混ざりやすい点に注意が要ります。

個人情報保護委員会のガイドラインは、個人情報に該当する事例として、防犯カメラに記録された情報等本人が判別できる映像情報と、本人の氏名が含まれる等の理由により特定の個人を識別できる音声録音情報を挙げています(個人情報保護委員会「個人情報の保護に関する法律についてのガイドライン(通則編)」2026年11月14日確認)。

業務の材料では、たとえば次のような写り込みが起こりがちです。

  • 書類の画像に、申請者の氏名・住所・印影や、別の書類の一部が写る
  • 会議の録音に、議題と関係の無い人事の話や取引先の名前が入る
  • 画面の画像に、隣のウィンドウや通知、別の顧客の情報が写る

個人情報保護委員会は、個人情報取扱事業者が生成 AI サービスに個人情報を含むプロンプトを入力する場合、特定された利用目的を達成するために必要な範囲内であることを十分に確認するよう求めています。あらかじめ本人の同意を得ずに個人データを入力し、それが応答結果の出力以外の目的で取り扱われる場合は法の規定に違反する可能性があるとして、サービスを提供する事業者が機械学習に利用しないこと等を十分に確認するよう促しました(個人情報保護委員会「生成AIサービスの利用に関する注意喚起等」2023年6月2日公表)。

画像や音声を渡す前に写り込みを切り取る・伏せる処理については、データマスキングの用語ページを参照してください。社内で入力してよい情報の区分を決める手順は、生成AIに個人情報を入れてよいかの記事で入力区分・サービスの条件・本人への通知・記録の4項目に分けて整理しました。画像や音声も同じ区分に含め、文章の入力ルールだけで済ませないことが大切です。

入力が学習に使われる、ログや共有リンクから漏れるといった情報漏えいの経路と対策は、生成AIの情報漏洩を防ぐ順番で4つの経路に分けて扱っています。

マルチモーダル AI と一緒に使われる用語

マルチモーダル AI の土台になる大規模なモデルの定義は基盤モデル、モデルが一度に扱える情報の量の定義はコンテキストウィンドウの用語ページです。文書・録音・画像のように表の形に整理されていないデータは非構造化データと呼ばれ、マルチモーダル AI が読む材料の多くがこれに該当します。

マルチモーダル AI を使い、画面や書類を読みながら目標に向けて業務を進める仕組みはAI エージェント、複数の AI エージェントに役割を分けて連携させる構成はマルチエージェントのページで説明しています。