データ分析の対象には、数値化されたデータだけでなく、メールやSNSのような文章も含まれます。こうしたテキストデータの中から有用な情報を抽出するために役立つのがテキストマイニングです。本記事では、テキストマイニングの概要や活用のポイント、分析手法、活用例などを幅広く解説します。ぜひご参考にしてください。
テキストマイニングとは？
テキストマイニングとは、テキストデータを解析して有益な情報を抽出する技術、またはそのプロセスを指します。ここではまず、テキストマイニングの概要を解説します。
大量のテキストデータを分析するプロセス
そもそも「テキストマイニング」という名称は、英語のText（文章）とMining（採掘）に由来しています。この名称が示唆する通り、この技術は膨大なテキストデータを解析し、有益な情報を抽出することを目的にしたものです。例えばビジネス用途では、自社に寄せられた「お客様の声」を解析することによる、顧客の潜在的ニーズの把握などが挙げられます。
以下で解説する通り、テキストマイニングの解析方法には「探索的データ解析」と「文書分類」の2種類があります。
探索的データ解析
テキストを単語やフレーズに分割し、関連性や出現頻度、時系列の変化などの観点から分析を行い、未知のパターンや洞察、傾向などを導き出します。これによって、未知の情報や明確な答えのない質問への回答を得ることが可能です。一般に、テキストマイニングといえば、この探索的データ解析を指します。
文書分類
文書分類は、テキストデータをその内容に基づいて自動で分類する手法です。例えば、自社の製品に関する顧客のレビューを、肯定的な口コミと否定的な口コミに分けるなどの用途に活用できます。文書分類は、テキストデータを内容ごとに整理し、新たなパターンや傾向を発見する上で有用です。
データマイニングとの違い
データマイニングとは、数値をはじめ、画像や動画、音声など、あらゆるデータを収集・加工・分析し、そこから有益な情報を抽出する技術の総称です。これに対してテキストマイニングは、テキストデータに特化して解析を行うことに特徴があります。つまり、大枠で捉えると、「データマイニングの一種としてテキストマイニングがある」というのが両者の関係です。
分析対象となるデータの種類
テキストマイニングの分析対象となるのは、以下のように、あらゆる種類のテキストデータです。
- メール
- SNS
- テキスト化された顧客との電話記録
- 問い合わせフォームに寄せられた内容
- チャットボットでのやりとり
- 顧客アンケートの回答
- ブログ記事やレビューサイトのコメント
- 営業日誌
- 論文など
これらのテキストデータからは、感情や意見などの数値化できない情報も抽出可能です。これによって、顧客のニーズやサービス改善に役立つ知見を得られます。
テキストマイニングを実施するメリット
テキストマイニングの実施は、顧客ニーズの把握をはじめ、ビッグデータを分析したり、属人化の解消に取り組んだりする際に有用です。以下では、それぞれのシーンにおいてテキストマイニングがどのように役立つのか、そのメリットを解説します。
顧客ニーズの分析と把握
まず挙げられるのが、顧客の声を役立つデータに変換できる点です。従来の解析技術では、不定形のデータであるテキストそのままだと集計や比較などの機械的処理が難しく、扱いづらいものでした。しかしテキストマイニングならば、例えばコールセンターへの問い合わせやアンケートといった「顧客の声」を分析して、需要予測や品質改善に活用できる形式へと生まれ変わらせることが可能です。
ビッグデータの分析と将来予測
テキストマイニングを活用してビッグデータを分析することで、精度の高い将来予測ができます。例えば、SNSには、消費者の率直な声が無数に散らばっています。このようなSNS上の膨大な言語情報を分析すれば、より高い精度での将来予測や市場予測へつなげることが可能です。ビッグデータ分析は、顧客ニーズやトレンドの調査といったビジネス用途だけでなく、感染症の流行予測や選挙結果の将来予測など、さまざまな領域で活用が進んでいます。
属人化の防止
テキストマイニングを通じた情報共有には、業務の属人化を防止する効果もあります。例えば、業務連絡や報告書、日報などを分析すれば、そこに含まれる有用な情報やノウハウを抽出し、マニュアル化などを通して組織全体で共有できます。その結果、人材が頻繁に入れ替わる職場やベテランの引退が課題となっている職場でも、業務に役立つ知識やノウハウを効果的に蓄積し、組織知の発展や属人化の防止へつなげることが可能です。
企業におけるテキストマイニングの活用事例
テキストマイニングはトレンド分析をはじめ、アンケートの解析、市場の需要予測など多様なシーンで活用されています。以下では、それぞれの活用事例について解説します。
トレンド分析
SNSや口コミなどからリアルな声を収集し、トレンド分析を行うことで、自社製品の品質改善や競合製品のチェックができます。顧客満足度を最大化するには、顧客や消費者の声を正確に把握し、それを製品開発に活かすことが重要です。さまざまな情報ソースから収集した顧客の声を分析することで、現在のトレンドや潜在的なニーズを把握し、顧客に刺さる製品の開発やマーケティング戦略の構築につなげられます。
アンケート結果の分析
アンケート調査の分析も代表的な活用例です。従来の分析方法では、手書きのアンケートをExcelなどに手作業で集計し、報告書にまとめるやり方が主流でした。テキストマイニングを導入することで、それらの作業を自動化すると共に、より高度な分析ができます。例えば、顧客満足度を定量的に評価し、「顧客は自社の商品・サービスに満足しているか」「満足していない場合、どの部分を改善すべきか」といった情報を把握可能です。
市場予測・需要予測
テキストマイニングを活用してビッグデータ解析を行えば、市場規模や今後の動向、マーケットの変化、そしてそれらに対して講じるべき経営戦略などを明確にすることが可能です。今後テキストマイニングの活用が本格化すれば、特許状況の分析や競合他社における投資傾向の予測など、大局的な市場予測も見込めます。また、新聞や雑誌、論文などのテキストデータも分析可能になれば、分析の適用範囲と予測精度をさらに向上させられると期待できます。
テキストマイニングの手法
テキストマイニングの手法としては、「センチメント分析」「共起分析」「対応分析」「主成分分析」が挙げられます。各手法の特徴は以下の通りです。
センチメント分析
センチメント分析は、対象のテキストから消費者や顧客の感情を分析する手法です。SNSやブログなどに書かれたテキストデータを用いて、基本的には「肯定的」「否定的」「中立的」の3段階で評価します。例えば、「おいしい」「まずい」などのキーワードから、その投稿が肯定的か否定的か判別し、どちらとも判別できない投稿は中立に分けます。ただし、文脈や使用する世代によって意味が異なる言葉については、人間が解釈しなければいけません。分析精度を上げるためには、辞書機能をチューニングすることが重要です。
共起分析
「共起分析」とは、ある単語が別の単語と一緒に出現する頻度を調べる手法です。共起分析は、テキストデータから商品やサービスに対する感想を読み取りたいときに役立ちます。例えば、商品がパンならば、「香ばしい」や「ふわふわ」などの単語が登場する頻度を調べることで、消費者の感想や商品が持つ特性・魅力を読み取ることが可能です。これによって、商品・サービスの改善や戦略立案に役立つデータを獲得できます。
対応分析
対応分析は、クロス集計表やローデータの特徴を図示し、項目同士の関係を視覚的に把握する手法です。「コレスポンデンス分析」とも呼ばれ、分類項目や集計項目の多いデータの相関関係を理解するのに役立ちます。対応分析は、マーケティング調査で活用されることが多く、例えばアンケート結果を把握する際に、項目ごとの関係性を可視化したり、項目ごとの比較をしたりする際に便利です。ブランドイメージの分析や競合他社と差別化できるポイントを知りたい場合などにも活用できます。
主成分分析
主成分分析とは、ビッグデータを扱う際に多すぎる項目（変数）を少数の合成変数に変換し、データを簡素化する手法です。項目（変数）が多すぎるデータは、そのままでは理解が難しく、分析の妨げになることがあります。そこで主成分分析では、扱うデータの数をあえて少なくしたり、複数の変数を組み合わせた合成変数に変換したりして、分析を容易にします。主成分分析は、データ全体の雰囲気を可視化したい場合に便利です。他方で、一部のデータを切り捨てなければならないため、重要なデータを取りこぼさないように、項目の取捨選択を慎重に行う必要があります。
テキストマイニングのやり方
テキストマイニングは基本的に以下の手順で行われます。
データを収集する
収集したデータの前処理を行う
構造化データへ変換する
データを分析・可視化する
それぞれの手順を詳しく解説します。
1. データを収集する
まずは、分析対象となるデータを収集します。SNSやWebサイト、電子メール、アンケート、問い合わせ履歴などが対象です。どのデータを選ぶかはテキストマイニングの目的によって異なります。音声をテキスト化する体制が整っている場合は、通話内容などの音声ファイルも対象データに含めることが可能です。
商品のレビューやユーザーの感想を分析するにあたっては、SNSの投稿やレビューサイトなどからデータを収集しましょう。顧客の声から抽出したい場合は、アンケートや問い合わせ履歴のデータが有用です。分析の質を高めるためには、分析の目的に即して、必要な情報をできるだけ多く集めることが求められます。
2. 収集したデータの前処理を行う
収集したデータは、分析しやすいように前処理が必要です。そのため、文章を単語に分解して品詞や変化などを解析する「形態素解析」や、文章の構造を明らかにする「構文解析」などを実施します。日本語は英語などと比較して、曖昧な表現や複雑な表現が多いので、高度な分析をしなければなりません。
また、前処理では誤字脱字の修正や不要な単語の消去など、高精度な分析をする下地を整えることも求められます。手動での前処理作業は大変であるため、基本的には専用のツールを使用するケースが大半です。
3. 構造化データへ変換する
テキストデータを効果的に分析するためには、構造化データに変換する必要があります。構造化データとは、ExcelやCSVファイルなど、データが列と行の形式で整理されたものです。この形式に変換することで、データの管理と操作が容易になり、検索・集計・比較などを円滑に行えます。前段の前処理と同様、構造化データへの変換は手動だと手間がかかるため、専用ツールを用いるのが一般的です。
4. データを分析・可視化する
最後に、構造化されたデータに対して、先述したセンチメント分析や共起分析などを実施します。分析結果はそのままの状態では把握しにくいため、共起ネットワークや散布図などの図表やグラフへ変換したり、ダッシュボードに表示したりするのがおすすめです。
テキストデータの分析結果をビジュアル化する手段としては、単語の大きさを出現頻度に応じて変えて示すワードクラウドもよく使われます。データの傾向や関連性を把握するためには、これらの方法を使って視覚的にわかりやすい形へ分析結果を変換することが重要です。
テキストマイニングを実行する三つの手段
テキストマイニングを実行する手段としては、「専用ツールの使用」、「Python言語によるプログラムの実装」、「Excelの活用」の三つが挙げられます。それぞれの利点や特徴は以下の通りです。
1. 専用ツールを使用する
最も一般的な手段は専用ツールを用いる方法です。専用ツールならば、テキストマイニングに要する一連の工程をカバーしつつ、より高度な分析を実現できます。また、専用ツールの使用に際しては、プログラミングなどの専門知識が不要なので、分析結果を比較的容易に得やすいことも大きなメリットです。
カスタマイズ性や分析機能、得意分野などは製品ごとに異なるため、自社のニーズや予算を明確化したうえで、それに合った製品を選ぶようにしましょう。以下の関連記事でおすすめのツールを紹介しているので、関心のある方はぜひ参考にしてください。
2. Python言語でプログラムを実装する
自前でテキストマイニング用のプログラムを設計・構築する方法です。自前でプログラムを組むには一定のスキルが必要ですが、その分、自社のニーズに合わせて自由にカスタマイズできるという利点があります。
プログラミング言語の中でもPythonはシンプルな文法でコーディングできるのが特徴で、テキストマイニング向けのライブラリ（モジュール）を豊富に備えています。そのため、Pythonならばテキストマイニング用のプログラムも比較的簡単に作成可能です。Pythonは使用人口が多いので、実例やトラブルシューティングの方法を見つけやすいのも魅力です。
3. Excelを利用する
手軽な手段としては、Excelを利用することも挙げられます。COUNT IF関数やINDEX関数、あるいは形態素解析エンジンや集計用ソフトウェアなどを併用することで、Excelでも簡易的なテキストマイニングを実装できます。
この方法のメリットは、Excelという使い慣れたツールを使用できること、そしてコストを抑えられることです。ただし、Excelでテキストマイニングを行うには関数や形態素解析などの専門知識が必要で、実行までに多くの手間がかかります。扱えるデータの量も限られるので、あくまで簡易的な手段として捉えましょう。
テキストマイニングの効果を最大化させるポイント
テキストマイニングの効果を最大化するには、以下の三つを意識するのが重要です。
- 実施する目的を明確にする
- 分析結果をもとにPDCAを回す
- 辞書を更新する
各ポイントについて詳しく解説します。
実施する目的を明確にする
まずは、テキストマイニングで何を実現したいのか、目的を明確にすることが重要です。目的を明確化することで、どのようなテキストデータを収集・分析すべきかの特定が的確になり、分析の精度や効率を高められます。逆に目的が曖昧なままでは、抽出すべき情報を適切に設定できず、有用な分析結果を得られません。
分析結果をもとにPDCAを回し改善につなげる
テキストマイニングの実施後は、単に分析結果を確認するだけでなく、PDCAサイクルを回して改善につなげることが重要です。分析結果を理解し評価した上で、具体的な改善策を策定し、実行するように意識しましょう。レポーティング機能や可視化機能が充実したツールを使うことで、情報整理や報告の時間を短縮し、改善策の策定に集中できます。
辞書を更新する
テキストマイニングは、システムに搭載された辞書に登録されている単語を基にテキストデータの識別を行います。この辞書には言葉の言い回しや時制なども含めて、多くの単語を登録することが重要です。辞書に載っていない新しい流行語や専門用語などもカバーできるように、こまめに更新することも欠かせません。システム導入時には、辞書の更新が容易で、単語の登録や設定が簡単にできるかを確認しておきましょう。
まとめ
テキストマイニングは、大量かつ多種多様なテキストデータを解析し、そこに隠れた有用な情報を発掘する技術です。この技術を活用することで、顧客の意見や市場の需要やトレンドなどを的確に把握し、製品・サービスの開発やマーケティング戦略を改善できます。例えば、コンタクトセンター/コールセンターに蓄積された顧客の音声データも、テキスト化することで、テキストマイニングにかけることが可能です。業務に取り入れて、積極的に活用してはいかがでしょうか。
