メディア
AI エージェント

顧客の声(VOC)の分析に AI を使う前に決めること|分類の基準・精度の確かめ方・人が判断する範囲

公開
執筆者: Offers AX 編集部・編集部

顧客の声(VOC)の分析に AI を使う前に決めるのは、分類の基準を誰が決めるか、AI の分類が正しいかをどう確かめるか、どの情報を AI に読ませないかの3つです。アンケートの自由記述、問い合わせの履歴、口コミの分析を、集める・分類する・集計する・施策に結びつけるの4つの工程に分けると、AI に任せられるのは大量の文章を基準に沿って振り分け、数え、要約する作業だと分かります。

分類の基準、どの声から手を付けるかの優先順位、施策を実行するかどうかは、人に残す判断です。AI の分類は、人が読んで付けた正解と一部を突き合わせて確かめてから集計に使い、氏名や病歴のような情報は AI に渡す前に伏せておきます。

O
執筆者

編集部

Offers AX 編集部

株式会社overflow が運営する Offers AX の編集部です。全社の AI 導入(AX)を支援する現場の知見をもとに記事を制作しています。

この執筆者の詳細・記事一覧 →

顧客の声の分析は4つの工程に分け、AI に任せる作業と人に残す判断を決める

顧客の声の分析は、集める・分類する・集計する・施策に結びつけるの4つの工程に分け、工程ごとに AI に任せる作業と人に残す判断を決めてから作ります。人に残すのは、間違えたときに会社の方針や顧客への対応が変わってしまう判断です。

工程 AI に任せる作業 人に残す判断
集める 出どころごとに形式をそろえる、重複を除く、氏名や連絡先を伏せる処理の補助 どの出どころの声を対象にするか、対象の期間、AI に読ませない項目
分類する 基準に沿ってテーマと感情を付ける、基準に無い声を「その他」に回す、基準の候補を出す 分類の基準(テーマの一覧・定義・例)、正解を付ける声の選び方、合格の基準
集計する テーマ・出どころ・期間ごとに件数を数える、テーマごとに元の声を抜き出す 何と何を比べるか、件数が少なくても必ず報告する声
施策に結びつける テーマごとの要約、過去の施策の記録との照合、施策案の下書き 優先順位、施策を実行するかどうか、担当部署と期限、実施後に何を見るか

自由記述や問い合わせの本文のように、表の行と列に収まらない文章は非構造化データと呼ばれ、件数が増えるほど人が読んで分ける負担が重くなります。

東京海上日動あんしん生命保険が2025年3月26日に公表した資料によると、同社はコールセンターや会社ホームページ、営業店などに寄せられる年間18,000件の「お客様の声」を、社員が毎日読んで手作業で分類していました。課題として挙げているのは、手作業による作業時間の増加、人の判断に伴う分類のばらつき、重要なキーワードの抜き出しなどです。

手作業の分類にも人によるばらつきがあったという点は見落とせません。AI に任せるかどうかにかかわらず、分類の基準を文章にして残しておかないと、誰が分けても同じ結果になる状態は作れないということです。

集める工程では、出どころごとの偏りを確かめてから対象を決める

集める工程で最初に決めるのは、どの出どころの声を分析の対象にするかです。出どころによって声を寄せる人と書かれる中身が違い、1つの出どころだけを読むと結論が偏ります。

企業に届く声が顧客の声のすべてではないことは、公的な調査にも表れています。2022年度の調査では、回答前の1年間に消費者被害・トラブルを経験したと答え、その内容を具体的に答えた人のうち、「相談又は申出をした」人は43.7%、「誰にも相談又は申出をしていない」人は40.8%でした。相談又は申出をした相手は「家族、知人、同僚等の身近な人」が42.7%で最も多く、「商品やサービスの提供元であるメーカー等の事業者」は35.7%でした(消費者庁「消費者白書」2023年・消費者意識基本調査)。

問い合わせの履歴だけを読むと、連絡してきた人の不満は分かっても、何も言わずに離れた人の理由は見えません。出どころごとの特徴を並べると次のとおりです。

出どころ 声を寄せる人 読むときの注意
アンケートの自由記述 回答を頼まれて応じた人 設問の書き方に答えが引っ張られる。回答しなかった人の声は入らない
問い合わせの履歴 困って自分から連絡した人 手続きの不明点や不具合の話が多くなる。担当者の記録は要約で、本人の言葉と違うことがある
口コミ・レビュー 自分から書くと決めた人 自社の外のサイトは、利用規約で取得や二次利用の条件を確かめる
営業・店舗の記録 担当者が話を聞いた相手 担当者が選んで書いた声で、書かれなかった声は残らない

集めるときは、出どころ・受け付けた日・商品やサービスの区分を声ごとに残し、集計で出どころ別に分けて見られるようにしてください。問い合わせの窓口そのものに AI を入れて顧客に答えさせるときに決めることは、カスタマーサポートに生成AIを入れる前に決めることにまとめています。

分類の基準は人が決め、AI には定義と例をそろえて渡す

分類の基準は人が決め、AI にはテーマごとの定義と、含む例・含まない例をそろえて渡します。基準があいまいなまま任せると、似た声が日によって別のテーマに振り分けられ、集計の数字を前の期間と比べられなくなるためです。

基準はテーマと感情の2つの軸で作ります。テーマは「何についての声か」(配送の遅れ、料金の分かりにくさ、操作の迷いなど)で、感情は肯定・否定・どちらでもないの3つ程度にとどめるのが扱いやすいでしょう。これとは別に、けがや健康被害、法令違反の疑い、個人情報の漏えいの疑いを含む声には「要対応」の印を付け、件数にかかわらず担当者がすぐに読む流れを作っておきます。

テーマの一覧は、一部の声を人が読んで仮の一覧を作り、そこから定義を書き起こす順が確実です。AI にテーマの候補を出させて叩き台にしてもかまいませんが、件数の多少にかかわらず見逃せない要対応のテーマは、人が一覧に加えてください。基準の1行に書く項目は次のとおりです。

項目 書くこと 例
テーマ名 短く、ほかのテーマと重ならない名前 配送の遅れ
定義 何を含むかを1〜2文で 約束した日に届かない、届く日が分からないという声
含む例 実際の声から2〜3件 予定日を過ぎても届かず、問い合わせても日付が分からなかったという声
含まない例 紛らわしい声と、その行き先 届いた商品が壊れていたという声は「商品の破損」へ
複数のテーマ 1件に複数のテーマを付けるか 遅れたうえに壊れていたという声は両方に付ける

例をそろえて渡す理由は、研究の結果からも読み取れます。研究助手向けに作った分類の手引きをそのまま ChatGPT に渡し、ツイートとニュース記事の計6,183件を例なしで分類させた研究では、研究助手の分類と一致した割合が、クラウドワーカー(ネット上で作業を請け負う人)より平均で約25ポイント高い結果でした。

ただし、投稿が主題に関係するかしないかの2択でも、一致した割合はデータによって59%から83%まで開いています。59%だったデータでは、特定の利用者のアカウント停止に関する投稿の誤りが目立ち、指示に例が足りなかったことが理由に挙げられています(F. Gilardi, M. Alizadeh, M. Kubli「ChatGPT outperforms crowd workers for text-annotation tasks」PNAS・2023年)。

同じ研究で、同じ文を2回分類させたときに答えがそろった割合は、温度の設定を0.2にした場合で平均97%でした。AI が毎回同じ答えを返すことと、その答えが正しいことは、別々に確かめる必要があります。

AI の分類が正しいかは、人が読んだ一部と突き合わせて確かめる

AI の分類は、全体から無作為に選んだ一部に人が正解を付け、AI の結果と突き合わせて確かめてから集計に使います。全件を人が読み直すのでは AI を使う意味が薄れ、まったく確かめなければ誤った分類の数字がそのまま会議の資料に載るためです。

確かめ方は次の5つの手順です。

  1. 期間と出どころが偏らないように、確かめる声を無作為に選ぶ。件数の少ないテーマは、正解の付いた声がそろうように足して選ぶ
  2. 2人が別々に基準を見ながら分類し、食い違った声を話し合って正解を決める。食い違いの多いテーマは定義を書き直す
  3. 正解と AI の結果を比べ、全体の一致だけでなく、テーマごとの一致と、要対応の見落としの件数を見る
  4. 合格の基準を決める。要対応の見落としは0件を条件にし、テーマごとの一致は数字の使い道に合わせて決める
  5. 基準を直したとき、使う AI のモデルを変えたとき、新しい商品やサービスを出したときは、同じ手順をやり直す

全体の一致だけで判断しないのは、件数の多いテーマが合っていれば、件数の少ないテーマを取り違えていても全体の数字は高く出るからです。

人どうしの分類の一致を測る指標について、内容分析の研究では、単純な一致率は計算しやすい一方でほとんどの重要な点に欠点があるとされ、偶然に起こる食い違いと比べて測るクリッペンドルフのαを標準の指標にするよう提案されています(A. F. Hayes, K. Krippendorff「Answering the Call for a Standard Reliability Measure for Coding Data」Communication Methods and Measures・2007年)。

この研究が扱うのは人どうしの分類ですが、人が付けた正解と AI の結果を突き合わせるときにも同じ指標を使うのが、この記事の提案です。社内の確認では、まずテーマごとの一致した割合を並べ、経営会議の資料のように数字が判断に使われる用途ではαも計算しておくと、基準を直す前と後を同じ物差しで比べられます。

一度合格しても、声の中身は商品やサービスの変化とともに変わるものです。毎月決まった数の声を抜き出して人が分類し、一致が下がっていないかを見る運用にしておくと、モデルドリフトと呼ばれる精度の低下に早く気づけます。問題集の作り方と、本番の後に抜き取りで品質を確かめる方法は、AI エージェントの評価の進め方で順を追って書いています。

試すときは、1つの出どころの声に絞って動くものを作り、基準を直してから広げる

最初の試行は、1つの出どころの一定期間の声に絞り、分類から集計までを動く形で作って、基準を直してから対象を広げます。会議で一覧を固め切ってから作り始めるより、自社の声で分類と確認を何度か繰り返すほうが、定義のあいまいさや足りないテーマを早く見つけられるからです。

先の東京海上日動あんしん生命保険も、約2か月の実証実験を2回行い、1回目の実証実験を経たモデルを2025年3月31日から本格的に導入すると公表しました。同社は今後、「お客様の声」を契約データなどと組み合わせ、顧客の属性や商品の種類ごとに詳しく分析する予定も示しています。声をほかのデータと組み合わせる分析に進むときは、後で触れる利用目的の確認も計画に入れておきましょう。

試行を本番につなげるために前もって決めることは、AI の PoC で止まらない進め方で整理しているので、あわせて読んでみてください。

Offers AX は人事業務に特化した AI エージェント開発・伴走支援で、コンサルティング・AI エージェント開発・内製化支援の3つを通じて、業務固有の文脈を織り込んだ AI エージェントを企業の業務に組み込みます。扱う人事の領域のうち組織開発ではサーベイの自由記述の分析を業務の例に挙げており、この記事で書いた分類の基準づくりや人の正解との突き合わせは、従業員の声を分けるときにも同じ手順で使える考え方です。戦略を考える人と作る人を分けない FDE 型の支援で、初回から動くものを出して数週間で試し、実際の業務で確かめてから本実装に進みます。

効果の実測の工程で出た数字をもとに続けるかを判断し、効果が出なければ中止を選べることが契約の前提です。構築は企業の既存の環境(GCP・Azure・AWS のいずれにも対応)で行い、Offers AX 側の環境には顧客のデータを持たないため、個人情報を含むデータも自社の環境に置いたまま試せます。AI の出力は下書きや参考情報として扱って判断は人が行う設計にし、作ったものを社内で運用し続けられるよう、引き継ぎまでを最初から設計に含めるのが Offers AX の進め方です。

複数の出どころのデータを突き合わせる作業の自動化では、JT の人事部と進めた健康管理の業務で3系統のデータの突き合わせを自動化し、15時間ほどかかっていた作業が数十分で終わるようになった例が、人事部を AX の起点に選んだ経緯とあわせて Forbes JAPAN の記事に載っています。

Offers AX のサービス内容を見る

サーベイの自由記述の分類をはじめ、人事業務に AI エージェントを組み込む進め方を試作から本実装まで相談したいときは、無料相談を申し込むからご相談ください。

集計の数字は、AI の要約ではなく分類の結果から数える

集計の数字は、AI に「何割くらいか」を書かせず、分類の結果を表計算やプログラムで数えて出します。生成 AI の要約には、元の声に無い内容がもっともらしく混ざることがあるためです(ハルシネーション)。

報告に載せる表は、テーマ・出どころ・期間で分け、件数と全体に占める割合を並べます。前の期間と比べるときは、その間に分類の基準を直していないかを確かめてください。基準を直した日と中身を記録しておけば、件数の増減が声の変化によるものか、基準の変更によるものかを分けて読めます。

AI に書かせたテーマごとの要約には、元の声の識別番号を必ず添えます。会議で要約の根拠を問われたときに元の文をすぐ開けることが、要約を判断の材料として使ってもらう前提です。件数が少なくても要対応の印が付いた声は、割合の表とは別に一覧で報告しましょう。

どの声から手を付けるか、施策を実行するかは人が決める

どの声から手を付けるか、施策を実行するかどうかは、件数の多さだけでは決まらないため人が決めます。件数の多い不満でも直す費用に見合わないことがあり、件数が少なくても安全や法令に関わる声は後回しにできないからです。

優先順位を話し合うときは、次の4つを並べて見ます。

  • 件数と増え方: 前の期間からどれだけ増えたか、特定の商品や時期に偏っていないか
  • 影響の重さ: けがや健康被害、法令、解約、金銭に関わるか
  • 直すための費用と期間: 説明の書き換えで済むか、商品や仕組みの変更が要るか
  • 担当部署: どの部署が持ち、誰が実行を決めるか

AI はこの4項目の材料をそろえる役に向いています。テーマごとの件数の推移、関連する過去の施策の記録、施策案の下書きまでを AI に任せ、施策を実行するかどうかの判断は担当部署と決裁者が行ってください。

施策を実行したら、次の期間にそのテーマの件数と中身が変わったかを見ます。件数が減らないときは、施策が足りないのか、分類の基準が実態とずれているのかを、元の声を読んで分けて考えてください。施策の結果を同じ分類で確かめるところまでを1つの流れにしておけば、顧客の声の分析が会議の報告で止まらずに済みます。

個人情報を含む声は、利用目的を確かめ、AI に渡す前に伏せる

顧客の声には氏名や連絡先、注文や契約の番号が入り、本人の病気や体調まで書かれることもあるため、利用目的に分析が含まれているかを確かめ、AI に渡す前に伏せる項目を決めておきます。

声を購買履歴や契約のデータと組み合わせて顧客ごとの傾向を分析するなら、まず利用目的を確かめます。本人から得た情報から本人に関する行動・関心等の情報を分析する場合、事業者は、どのような取扱いが行われているかを本人が予測・想定できる程度に利用目的を特定しなければなりません(個人情報保護委員会「個人情報の保護に関する法律についてのガイドライン(通則編)」3-1-1)。

自社のプライバシーポリシーに書いた利用目的と、声の分析で行いたいことを並べて照らし合わせ、足りなければ分析を広げる前に法務と相談してください。

本人の病歴が含まれる個人情報は、要配慮個人情報として取扱いに特に配慮が求められます(個人情報保護法第2条第3項)。問い合わせやアンケートの自由記述には、顧客が自分の通院や持病を書いてくることがあるため、要配慮個人情報が含まれうる前提で、AI に渡す前に伏せるか、その声を分析の対象から外すかを決めておきましょう。

伏せる処理は、氏名・電話番号・メールアドレス・住所・注文番号のように形の決まった項目から始め、データマスキングとして仕組みに組み込みます。自由記述の中に紛れた氏名や体調の話は形が決まっていないため、伏せた後の文を一部抜き出して人が読み、伏せ漏れがないかを確かめてください。

外部の生成 AI サービスに声を渡すなら、入力したデータをサービスの側で学習に使わない設定と契約になっているかの確認も必要です。本人の同意を得ずに入力した個人データが応答結果の出力以外の目的で扱われると、事業者は個人情報保護法の規定に違反する可能性があり、サービスの提供者が機械学習に使わないことなどを十分に確認するよう求められています(個人情報保護委員会「生成AIサービスの利用に関する注意喚起等」2023年6月2日公表)。

入力してよい情報の区分や、サービスを選ぶときに確かめる項目は、生成AIに個人情報を入れてよいかで、社内で決める4つの項目として整理しています。

作り始める前に決める7つの項目

ここまでの内容を、作り始める前に社内で決めておく項目にまとめると次の7つです。

  • 分析の対象にする出どころと期間、声ごとに残す項目(出どころ・受け付けた日・商品やサービスの区分)
  • テーマの一覧と、定義・含む例・含まない例、感情の区分、要対応の印を付ける条件
  • 正解を付ける声の選び方と分類する2人、合格の基準
  • 確かめ直す時期(毎月の抜き取り、基準やモデルを変えたとき、新しい商品やサービスを出したとき)
  • 集計の表の形と、基準を直した日と中身の記録
  • 優先順位を話し合う場と、施策を実行するかを決める人
  • 利用目的の確認、AI に渡す前に伏せる項目、使う生成 AI サービスの条件

この7つが決まっていれば、どの製品で作るかは後から選べます。顧客の声の分析のほかに AI エージェントを業務に入れる例は、AI エージェントのカテゴリの記事から探せます。

AI を全社の成果につなげる Offers AX

コンサルティング・AI エージェント開発・内製化支援の3本柱で、実装まで支援します。無料相談を受け付けています。

無料で相談する

Offers AX のサービスを見る

記事一覧へ