コールセンター部門を持つ企業の経営に携わる方の中には、業務効率化や生産性向上を目的として、テキストマイニングに着目している方も多いのではないでしょうか。この記事では、テキストマイニングの概要や活用のポイント、分析手法、活用例などを幅広く紹介しているので、ぜひ参考にしてください。
テキストマイニングとは？
テキストマイニングとは、情報抽出技術のひとつであり、テキストから有益な情報を抜き出して活用するための手法です。情報を迅速に把握することなどに役立ち、コールセンターをはじめ大量のテキストデータを扱う企業・部門から注目を集めています。技術の詳細については以下に解説します。
“大量のテキストデータを分析する”プロセス
テキストマイニングは、自然言語処理によって解析する技術であり、英語のText（文章）とMining（採掘）の組み合わせに由来しています。自然言語処理とは人間が使用する言葉（テキスト）をシステムによって処理し情報を抽出する技術であり、これを活用することで文章から必要な情報を抽出できます。ビジネス用途としては、例えば顧客の潜在的なニーズや顧客満足度を把握する目的としての利用が想定されます。
コールセンターでは、顧客から寄せられた声をテキストマイニングの手法で分析し、品質改善などに役立てられます。分析する際は、主にテキストマイニングツールを利用します。それによって、使われている単語や顧客の感情、行動傾向などが分析でき、顧客満足度の向上や品質改善につなげることが可能です。
近年はビッグデータを活用するデータドリブン経営が注目されています。大量のデータから情報を抜き出して活用できるテキストマイニングは、そのアプローチ方法のひとつとして有効です。
データマイニングとの違い
テキストマイニングと似た言葉にデータマイニングがあります。これは全てのデータを抽出対象として、何らかの有益な情報や知見を発掘する手法です。一方、テキストマイニングはデータマイニングの一種であり、テキストデータのみを対象とします。
データマイニングでは、数値をはじめ画像や動画、音声などあらゆるデータを収集・加工・分析し、意味のある情報を得ることを目的に行います。分析に利用されるのは、統計処理やAIといった技術です。ビジネス用途としては、顧客の購買履歴や属性情報を分析して、購買予測や消費者行動のパターン発見などに役立てられます。そのほかにも、在庫管理や生産計画の最適化など幅広い活用事例が想定されます。
一方のテキストマイニングは、これまでのデータマイニングでは分析が難しかったテキストデータを、自然言語処理を駆使して分析する手法です。そのため、例えばSNSでのアンケートや記述式のアンケートなどから有益な情報を抽出できます。集まったユーザーの意見からどこが良かったのか、どこが不評だったのか、といった傾向を効率的に把握できるようになります。このようにテキストマイニングで抽出した情報を、サービスの品質やマーケティングなどに役立てることが可能です。
分析対象となるデータソース
データは大きく「構造化・定量データ」と「非構造化・定性データ」の2種類に分けられます。構造化データとは、事前に定義した形に整理できるデータのことです。ExcelやCSVでよく見られる行・列がある表形式、リレーショナルデータベースのデータなどが該当します。定量データは人数、売上、KPI、割合などの数値で表せるデータを指します。
非構造化データには動画や画像、音声などが該当します。構造化データとは異なり規則性がないため、決まった形式に定義できないという特徴があります。また、定性データは数値化できない質的な情報です。
テキストデータは通常、非構造化データ・定性データに当たります。テキストマイニングによってテキストデータから感情や意見などの数値化できない情報を抽出すれば、顧客のニーズやサービス改善に役立つ知見を得られます。
分析対象は、顧客との電話記録、問い合わせフォームに寄せられた内容、メール、チャットボットでのやりとり、顧客アンケートの回答、SNS投稿、ブログ記事、レビューサイトのコメント、営業日誌、論文など、あらゆるテキストデータが該当します。コールセンターの音声通話も音声認識技術によってテキスト化して分析可能なデータとして扱えます。クレーム電話の音声は、背後にある不満や感情などを分析することも可能です。
テキストマイニングの目的
テキストマイニングをビジネスの現場において活用する目的として、主に「顧客ニーズの分析と把握」「ビッグデータの分析・将来予測」「属人化の防止」の3点が挙げられます。ここからは、何のためにテキストマイニングを活用すれば良いのかについて解説します。
顧客ニーズの分析と把握
テキストマイニングをビジネスに活用して得られる最大のメリットは、顧客の声を役立つデータに変換できる点です。これまでテキストデータは非構造化データ・定性データであるため、そのままでは集計や比較といった処理が難しく、扱いづらいものでした。テキストマイニングのビジネス活用では、例えばコールセンターへの問い合わせやアンケートといった「顧客の声」を分析して、需要予測や品質改善に活用できる形式へと生まれ変わらせることが可能です。
ビッグデータの分析と将来予測
テキストマイニングを活用してビッグデータを分析することで、精度の高い将来予測ができます。テキストマイニングにおける分析範囲は業務データに留まりません。例えば、SNSへの書き込みは情報の宝庫であり、消費者の忌憚ない意見やリアルな口コミが無数に散らばっています。このようなSNS上の膨大な言語情報をテキストマイニングで分析すれば、より高い精度での将来予測や市場予測へとつなげられます。
SNSに投稿されたユーザーの声を商品開発や市場予測のために分析する手法を「ソーシャルリスニング」と呼びます。多くの企業において顧客ニーズやトレンド調査などで利用されているほか、感染症の流行予測や選挙結果の将来予測などビジネス用途以外での活用も進んでいます。
属人化の防止
人口減少や少子高齢化も相まって、あらゆる産業で労働力不足が懸念されています。そのような状況の中、多くの企業が抱えている課題が「業務の属人化」です。終身雇用制度の崩壊や雇用形態の多様化によって人材の入れ替わりが激化し、同じ企業に長く勤める人材は減少傾向にあります。そのため、ベテランの持つ知識や技術といった暗黙知が継承されにくくなり、業務の属人化が起こってしまいます。
暗黙知を形式知へと変換できるテキストマイニングは、属人化を解決する手段として有効です。例えば、業務連絡や報告書、日報などに含まれる専門的な知識やスキル、ノウハウをテキストマイニングによって分析・言語化して、マニュアルへ落とし込むことで、組織全体で共有できるようになります。
テキストマイニングの種類
テキストマイニングの解析方法には「探索的データ解析」「文書分類」という2種類があります。それぞれの違いや特徴について解説します。
探索的データ解析
探索的データ解析は、未知の情報や明確な答えのない質問に答えを出す目的で使われる分析手法です。テキストを単語やフレーズに分割し、関連性や出現頻度、時系列の変化などの観点から分析を行い、未知のパターンや洞察、傾向などに導き出します。
この手法は、手がかりが全くない状態から、課題やパターンなどの取っ掛かりをつかむために利用されます。テキストマイニングといえば一般的に探索的データ解析を指すことが多いです。
文書分類
文書分類は、テキストデータを内容に基づいて分類する手法です。「教師あり」と「教師なし」の2種類に分かれます。
教師あり文書分類は、外部データを参照してテキストを分類する方法です。あらかじめ学習させた分類器を用いてテキストを分類します。学習が深くなるにつれて分類の精度が向上します。教師なし文書分類は、外部データを使わずにテキストを類似した特徴ごとにクラスタリングして分類する方法です。事前の学習は不要で、特徴に基づいてテキストが分類されます。
例えば、文書分類を用いて顧客レビューのデータを分析すると、肯定的な口コミと否定的な口コミに分類できます。このようにテキストデータを内容ごとに分類すれば、新たなパターンを見つけたり、傾向を発見したりすることが可能です。テキストデータを整理し、目的に合わせた有益な情報を引き出したいときに役立ちます。
テキストマイニングの主な手法
テキストマイニングの具体的な手法として、「センチメント分析」「共起分析」「対応分析」「主成分分析」が挙げられます。それぞれの手法について詳しく解説します。
センチメント分析
「センチメント分析」は、テキストマイニングの代表的な手法です。文章から消費者や顧客の感情を分析し、購入した商品や利用したサービスに対してどのような感想を持ったのかを予測します。「感情分析」とも呼ばれます。
センチメント分析は、特にWeb上のSNSやブログなどに書き込まれたテキストデータの分析に用いられます。基本的には「肯定的」「否定的」「中立的」の3段階で評価し、「おいしい」「おもしろい」といったキーワードを含む投稿文は「肯定的」、「まずい」「つまらない」などのキーワードを含む投稿は「否定的」、どちらとも判別がつかない投稿は「中立的」に分類します。ただし、「やばい」のように文脈や使用する世代によって異なる意味で使われることがある言葉に対しては、人間が解釈しなければなりません。必要に応じて辞書機能をチューニングし、分析精度を上げていく必要があります。
共起分析
「共起分析」とは、ある単語が別の単語と一緒に出現する頻度を調べる手法です。テキストデータから商品やサービスに対する感想を読み取りたいときに役立ちます。例えば「パン」に対する「香ばしい」や「ふわふわ」の組み合わせ、「リップ」に対する「かさつき」「ぷるぷる」の関連性、といった結びつきを分析して、消費者の感想や商品が持つ特性・魅力などを読み取れます。
共起分析によって単語同士の結びつきを捉えて、頻出する言葉や関連性のある単語を見つけ出し、分析を行います。言葉の組み合わせから意味や特性を把握する際に効果的な手法であり、商品・サービスの改善や戦略立案に役立つデータの獲得などに役立ちます。
また、共起分析では結果を図に表した「共起ネットワーク」もよく利用されます。単語同士のつながりを視覚的に理解しやすくなる点がメリットです。
対応分析
「対応分析」は、行と列で構成される「クロス集計表」や加工前の「ローデータ」の特徴を図示し、項目同士の関係を視覚的に把握できるようにする手法のことです。「コレスポンデンス分析」とも呼ばれます。
分類項目と集計項目の多いデータについて、それぞれの相関関係を容易に理解したいときによく用いられており、マーケティング調査の分野でも活用されています。例えば、アンケート結果の分析ではクロス集計表がよく用いられますが、比較したい項目が多いと結果の把握が困難です。そこでそれぞれの関係を散布図で表すと、項目ごとの関係性が可視化され、項目ごとの比較がしやすくなります。
対応分析によって、異なるデータ同士の類似点や相違点を視覚的に把握することが可能です。そのため、ブランドイメージ分析や競合他社と差別化できる点を知りたい場合に使用されます。
主成分分析
「主成分分析」は、ビッグデータを分析する際に使用される手法です。項目（変数）が多すぎるデータは、そのままでは理解が難しく、分析の妨げになることがあります。そこで、扱うデータの数をあえて少なくしたり、複数の変数を組み合わせた合成変数に変換したりして、分析を容易にします。
ビジネスにおいては、製品評価や顧客満足度、ブランドイメージの調査などに活用されることが多いです。また、複数の論文から必要な情報を抽出したり、SNSから有益な情報を抽出したりするケースにも利用できます。
主成分分析は、データに含まれる情報をできる限り損なわずに、全体の雰囲気を可視化したい場合に便利です。しかし、この手法では一部のデータを切り捨てなくてはならず、結果には全てのデータが忠実に反映されるわけではありません。切り捨てた部分に重要なデータが含まれていることもあるため、項目の取捨選択は慎重に行う必要があります。
テキストマイニングのやり方
テキストマイニングは基本的に以下の手順で行われます。
- データを収集する
- 収集したデータの前処理を行う
- 構造化データへ変換する
- データを分析・可視化する
それぞれの手順を詳しく解説します。
1. データを収集する
まず、分析対象となるデータを収集します。SNSやWebサイト、電子メール、アンケート、問い合わせ履歴などが対象です。どのデータを選ぶかはテキストマイニングの目的によって異なります。音声をテキスト化する体制が整っている場合は、通話内容などの音声ファイルも対象データに含まれます。
商品のレビューやユーザーの感想を分析するには、SNSの投稿やレビューサイトなどからデータを収集しましょう。顧客の声から抽出したい場合は、アンケートや問い合わせ履歴のデータが有用です。データ量が多いほど分析の質を高めるため、できるだけ多くのテキストデータを集めることが重要です。
ただし、単に大量のデータを収集するだけでは意味がありません。テキストマイニングの目的をしっかり定めた上で必要な情報を的確に収集すると、有益な分析結果が得やすくなります。
2. 収集したデータの前処理を行う
収集したデータは、分析しやすいように前処理を行う必要があります。文章を単語に分解して品詞や変化などを解析する「形態素解析」や、文章の構造を明らかにする「構文解析」などを実施します。
これらの解析は、英語に対しては品詞が明確であるため分析しやすいですが、日本語はあいまいさや複雑さを持たせられる言語であるため、高度な処理が必要です。例えば「これ」「あれ」といった指示語や二重否定などを含む文章、辛い（つらい・からい）などの複数の意味がある言葉には注意する必要があります。
また、前処理では誤字脱字の修正や不要な単語の消去など、高精度な分析をするための下地を整えることが求められます。手動での前処理作業は大変であるため、基本的には専用のテキストマイニングツールを使用するケースが多いです。
3. 構造化データへ変換する
非構造化データであるテキストデータを効果的に分析するためには、構造化データに変換しなければなりません。構造化データは、ExcelやCSVファイルなど、データが列と行の形式で整理されたものです。この形式に変換することで、データの管理と操作が容易になり、検索・集計・比較などを円滑に行えます。構造化データへの変換は、手動では手間がかかるため専用ツールを用いて行います。
この工程は、前処理と同様にテキストマイニングを実施する際の基本となる処理です。データを分析可能な形に整える重要なステップであり、効果的なテキストマイニングを実現するために欠かせません。
4. データを分析・可視化する
構造化されたデータをもとに、先述したセンチメント分析や共起分析などを実施します。また、分析結果はそのままの状態では把握しにくいため、図表にしてビジュアル化すると良いでしょう。共起ネットワークや散布図をはじめとする各種グラフに変換したり、ダッシュボードに表示したりすることで、データの傾向や関連性を視覚的に把握できるようになります。
テキストデータの分析結果をビジュアル化する代表的な手段として、ワードクラウドが挙げられます。単語を出現頻度に応じて大小をつて表示する手法で、分析したテキストデータの中でどの単語が最もよく出てくるのかが視覚的に把握できます。出現頻度の高い単語を可視化することで、重要な単語や関連性の高い単語を把握しやすくなる点がメリットです。
テキストマイニングを実行する3つの方法
データの収集から前処理、データ変換、分析・可視化に至るまでの一連の作業を実行する主な方法としては、テキストマイニング向け専用ツールの使用、Pythonでの実装、Excelの活用が挙げられます。それぞれの利点や特徴を解説します。
ツールの活用
テキストマイニングにおいては、専用ツールを用いる方法が最も一般的です。テキストマイニングにおける一連の工程を単一のツールで完結できます。テキストマイニングに特化しているため、より高度な分析が可能です。
ツールは基本的には有料です。製品によってカスタマイズ性や分析機能、得意分野などが異なるため、ニーズや予算に合わせて最適な製品を選ぶ必要があります。例えば、コールセンター利用の場合は音声のテキスト化機能がある製品を選ぶと良いでしょう。無料ツールもあるため、初めてテキストマイニングを試す際はそちらを利用する選択肢もあります。
専用ツールを活用する場合、プログラミングなどの専門知識が不要のため、分析結果を比較的容易に得やすいというメリットがあります。一方で、コストが高くなる傾向がある点はデメリットです。また、専用ツールといっても万能ではないため、言葉を正しく判別できないこともあります。その場合、人間による判断が必要です。
テキストマイニングの専用ツールについて詳しく知りたい場合は、以下の関連記事も参考にしてください。
関連内容はこちら
Pythonで実装
Pythonはプログラミング言語の一種であり、シンプルな文法によるコーディングで効率的にテキストマイニングのプログラムを実装できます。Pythonは使用人口が多いため、実例やトラブルシューティングを見つけやすいという点がメリットです。また、テキストマイニング向けのライブラリ（モジュール）が豊富にあるため、使いたい機能がある場合にすぐ利用できます。
Pythonでテキストマイニングを行う場合、外部ツールとしてオープンソースのライブラリである「MeCab」などを組み合わせる方法が一般的です。プログラミングの知識が必要ですが、自前で設計・実装できるためカスタマイズ性が向上します。
Excelを利用
表計算ソフトとして広く普及しているMicrosoft Excelを利用する方法もあります。使い慣れたツールでコストをかけずに簡単なテキストマイニングを行える点がメリットです。一方、関数や形態素解析などの専門知識が必要となるほか、実行まで手間がかかる欠点があります。また、扱えるデータの量も限られます。
Excelをテキストマイニングツールとして活用するには、COUNTIF関数やINDEX関数などを使用します。その他、形態素解析エンジンや集計用ソフトウェアを併用すれば、簡易的なテキストマイニングを実装できます。
【無料】Excelを用いたテキストマイニングの手順
Excelを使ってのテキストマイニングは、以下の手順で実施します。
- テキストデータを収集する
- 形態素解析を行う
- 関数を用いて集計する
- ワードクラウドで可視化する
以下に、各手順の詳細を解説します。
1. テキストデータを収集する
テキストデータの分析を始める準備段階として、目的を明確にし、分析の対象となるデータを選定します。その後、テキストデータを収集する作業を行いますが、Excelにはそのような機能がありません。通常のテキストマイニングと同様に、手作業で収集するか、他のツールを利用する必要があります。
2. 形態素解析を行う（文章を単語化する）
収集したテキストデータを分析しやすくするための前処理として、形態素解析を行います。Excelには解析するための機能がないため、外部のツールが必要です。オープンソースのライブラリとして提供されている「MeCab」や「Janome」などを活用する方法があります。
3. 関数を用いて集計する
形態素解析が完了したら、データの集計を行います。単語ごとに分割されたデータを使い、単語の出現頻度を数えます。Excelの関数を活用することで簡単な集計作業が可能です。主に以下の関数を使用します。
COUNTIF関数
指定範囲と検索条件を設定し、条件に一致するセルの数をカウントする関数です。特定の単語がどれだけ出現するかを数える際に使用します。関数の式は「=COUNTIF（指定範囲,検索条件）」です。
SUM関数
指定範囲のセルの値を合計する関数です。単語が出現する回数の合計を求める際に役立ちます。関数の式は「=SUM（引数）」です。COUNTIF関数と組み合わせることで、集計した単語の合計を求められます。
INDEX関数
指定した場所にあるセルの値を取得する関数です。特定の単語の位置を特定するときや、複雑な集計を行うケースで活用されます。関数の式は「=INDEX（範囲,行番号,列番号）」です。SUM関数と組み合わせて、指定したセルの場所からINDEX関数で指定した場所までの合計値を表示する、といった使用例が挙げられます。
これらの関数を利用して、単語の出現回数などを簡易的に集計することは可能です。ただし、大量のデータや複雑な条件での集計には向いていないため、その場合は専用ツールを利用しましょう。
4. ワードクラウドで可視化する
集計作業が終われば、ワードクラウドを作成してデータを可視化します。Excelではワードクラウドを作成できないため、無料ツールなどを利用する必要があります。無料ツールでも効果的なワードクラウドを作成することが可能です。
企業におけるテキストマイニングの活用事例
テキストマイニングはトレンド分析やアンケート解析、市場予測や需要予測など、幅広い領域で活用されています。ここでは、実際に企業はどのようにテキストマイニングを活用しているのか、その具体的な活用事例を紹介します。
トレンド分析
SNSや口コミなどからリアルな声を収集し、テキストマイニングでトレンド分析を行うことで、自社製品の品質改善や競合分析ができます。
顧客満足度を最大化するには、的確なトレンド予測と顧客ニーズに沿った製品開発が欠かせません。コールセンターに寄せられた問い合わせ内容やレビューサイトへの書き込みは、顧客の潜在的な要望が反映された有益な情報です。収集した顧客の声をテキストマイニングによって分析することで、現在のトレンドや経営課題などが把握でき、課題解決やマーケティング戦略の構築につなげられます。
アンケート結果の分析
アンケート調査の分析にもテキストマイニングを活用できます。従来の分析方法では、手書きのアンケートをExcelなどに手作業で集計し、報告書にまとめるやり方が主流でした。テキストマイニングを導入するとそれらの作業が自動化でき、より高度化することが可能です。
テキストマイニングにより収集されたアンケート結果を分析することで、顧客満足度を定量的に評価し、例えば「顧客は自社の商品・サービスに満足しているかどうか」「満足していない場合、どの部分を改善すべきか」といった情報を把握できます。
市場予測・需要予測
テキストマイニングによって、市場予測や需要予測も行えます。企業経営において、市場予測は重要な課題のひとつです。テキストマイニングによるビッグデータ解析を行えば、市場規模や今後の動向、変化し続けるマーケットに対してどのような経営戦略を打ち出すべきか、といったことを明確化できます。今後テキストマイニングの活用が本格化すれば、特許状況の分析や競合他社における投資傾向の予測などの大局的な市場予測も可能です。
情報通信技術の進歩とともに、テキストマイニングの適応範囲も日々拡大しており、新聞や雑誌、論文などのテキストデータを分析する研究も進められています。テキストマイニングにおける市場の予測精度と適応範囲は今後もさらに向上することが見込まれており、企業活動での活用も同時に拡大していくと予想されます。
テキストマイニングの効果を最大化させるポイント
テキストマイニングの効果を発揮するために押さえておきたいポイントとして、以下の3つが挙げられます。
- 目的をはっきりさせる
- 辞書を作成する
- 分析結果をもとにPDCAを回す
情報を抽出するだけでなく、改善活動に生かすことを念頭に置きましょう。以下に各ポイントについて詳しく解説します。
目的をはっきりさせる
テキストマイニングをマーケティングなどに活用する場合においては、まず目的を明確にすることが重要です。何に活用するかを明らかにすると、抽出するべき情報が決まります。目的があいまいなまま利用しても、抽出するべき情報を適切に設定できないため、有用な分析結果を得られません。
そもそもテキストマイニングは、数値化できないテキストデータを定量的に取り扱う技術です。そのため、目的をしっかり設定することで、どの文章データを収集・分析するかを決定でき、分析の効率化につながります。
また、分析結果を得た後にどのように活用するのかについても考えておくと、抽出したのはいいものの活用できずに終わるといった事態を防げます。なお、抽出した情報を解釈し、分析結果を活用するには、テキストマイニングやデータ解析の知識が必要であるため、データサイエンティストなどの人材が社内にいると、一層高い効果を得られます。
辞書を作成する
テキストマイニングでは、システムに搭載されている辞書が重要な役割を持っています。辞書に登録されている情報をもとにしてテキストデータの識別を行うため、辞書情報にはあらかじめ多くの言葉を登録しておかなければなりません。言葉の言い回しや過去形などにも配慮しなくてはならず、登録するべき単語は膨大にあります。
新しい用語や流行している言葉、業界特有の専門用語などを登録する必要があり、こまめな更新作業も発生します。そのため、テキストマイニングのシステムを導入する際は、辞書の更新が可能かどうか、登録や設定を簡単にできるかなどの仕様を確認しておくことが望ましいです。
分析結果をもとにPDCAを回す
テキストマイニングによって取り出した情報を分析したら、結果を確認して終わるのではなく、PDCAを回して改善につなげていく必要があります。PDCAを回すには、分析結果を理解して評価する必要がありますが、最も時間をかけたい作業は改善策の策定です。
分析結果が短時間で把握できるように出力されるツールであれば、情報の整理や報告資料を準備するために必要な時間の削減が可能です。それにより、具体的なアクションプランを考える作業に注力できます。そのため、システムを選ぶ際はレポーティングの出力形式や可視化機能にも注目しましょう。
[SMART_CONTENT]
まとめ
テキストマイニングは、収集したテキストデータから有益な情報を抜き出して活用する技術です。膨大な情報を迅速に分析・把握して、サービスの改善などに生かせます。テキストマイニングの手法としては主成分分析や共起分析などがあり、目的に合わせて選択することが重要です。
コールセンター業務で蓄積された音声データは、音声認識システムでテキストデータに変換することによって、テキストマイニングに活用できるようになります。分析結果は業務や商品・サービスの品質向上に反映できるため、テキストマイニングを業務に取り入れて積極的に活用してはいかがでしょうか。
