ChatGPTがビジネスシーンに一大センセーションを巻き起こしてから一年が経ちました。本記事ではいったん出発点にもどり、GPTモデルの特性に合った業務について考えてみます。具体的には苦情入電をGPT-4を使って分析をします。
環境の準備
Azure OpenAIについてはあちこちに情報があふれており、皆様ご存じのお話が多いとは思いますが、ごく簡単に説明します。事前手順は以下の通りとなります。
- Azure側でリソースを作成した後、Azure OpenAI Studioを立ち上げます。
- Azure OpenAI Studio上でGPT-4をデプロイします。32kを使うこともできますが、今回の検証では大きなデータを使わないため、通常のモデルを利用します。
- デプロイしたモデルをプレイグラウンド->チャットで開きます。
左の枠にプロンプト、右側に本文を入力します。プロンプトを変更したあとは「変更を適用する」ボタンの押下を忘れないようにしましょう。
「生成AIの業務への利用」というお話をすると、アプリケーションの開発まで含めた大きな構想をしてしまいがちですが、いったん手元で小さく実現可能性の検証をしてみることが大事です。この環境については、Azure OpenAIが使える環境でしたら基本的には誰でも使えるものですので、社内検証ではまずここからスタートしてみることをお勧めします。触ってみたほうが「できること」「できないこと」「やりたいこと」などもはっきりすると思います。
ダミーデータの用意と事前処理
お客様から実際にかかってきた通話をもとにブログを書くのは法的な問題が発生する可能性があります。しかし、ベルシステム24にはコンタクトセンターのプロフェッショナルとして、膨大な知見を保有しており、このデータを用いて実態に非常に近い模擬データを作成可能です。お客様にいただく苦情の入電について、ベルの知見を活かしてシミュレーションをしてみます。今回の検証に先立って、弊社スタッフがお客様からの通話に見立てた音声データを作成し、この音声データをAmiVoiceを使ってテキスト化しています。テキスト化されてCSVで出力された内容は以下の通りとなります。
お電話の内容としては、「解約したはずのものが配送された」「お客様には解約時に最後の一回が届く旨の説明がされているはずだが、主張が食い違っている」という、二次クレームにつながりやすいシチュエーションを想定しています。
このデータを前処理して、生成AIが処理できるようにテキスト化します。
この処理はpandasなどのライブラリを使えば非常に簡単にできますので、コードは省略します。
苦情処理の要約処理
生成AIのモデルは日進月歩で進化しているため、どういうプロンプトが正解か、という話を一般解として書くのは、この記事のスコープを超えたとても難しい話になります。とはいえ、大まかな正解の方向性というのはあります。
生成AIはあくまで「統計的に確率が高い出力をしている」という動作をとっています。
人間の回答に似たようなことを出力するため、「ユーザーフレンドリーに考えて答えてくれている」ように見えるかもしれませんが、これはあくまで確率的に導き出されている動作にすぎず、「正しいかどうか」は直接的な出力トリガーにはしていません。
つまり、一般解としては「機械が見て判断がしやすい文章」というのが間違いがないプロンプトです。簡潔に、端的に、誤解が生まれづらいような指示をし、あわせて入力や出力の形式についても指定をしましょう。
あまり指示が多すぎても生成AIの出力に想定外のバイアスがかかってしまう、などと話を広げると長くなりますし趣旨からもズレますので、総論としてはこちらのサイトをご参照ください。
https://www.promptingguide.ai/jp
こちらのサイトはベースとなった研究なども含めてとてもよくまとまっております。私もこちらで調べて勉強しています。
今回は簡潔にこのようなプロンプトを書いてみました。
コンタクトセンターに入電したクレームを入力する。
# 入力フォーマット
"op: "で始まる文はオペレータの発話である。
"user: "で始まる文はお客様の発話である。
# 出力フォーマット
お客様からのクレーム内容と、オペレータからの回答について、対応関係がわかるようにマークダウン形式で出力せよ。
出力結果は以下の通りです。
お客様の主張と、オペレータからの回答を分けて出力してくれています。いったん状況の分析としては十分なレポートが出来上がりました。
ChatGPTをお使いの皆様はご存じのことかと思いますが、GPT-4は「感情的な文章からのくみ取り」というのが比較的得意であり、今回の
お客様の主張と回答との対応関係の部分はちょっともう少し書き方を工夫したいところですが、ここのチューニングについては今回はいったん切り上げます。
いたってシンプルなプロンプトでも、このレベルの出力が可能ですので、皆様のお手元でも是非試していただければと思います。
特にプロンプトについては「どう出力させたいか」より「何を出力させたいか」のほうがより重要です。今回の検証も「何のために何を出力させたいのか」というのが本来スタート地点であり、そこを達成した上で業務が改善できると考えます。つまり、生成AIの活用にあたっては運用の観点からアプローチするのがより効果的です。
ベルシステム24では「コンタクトセンターでの生成AI活用」というチャレンジを続けており、コンタクトセンターの運用効率アップと現場の負荷低減を目指し、今回検証したGemini以外のモデルも使って、技術的に何ができるかの検証を日々行っております。業務の効率化やコンタクトセンター業務での後処理の削減などにご興味がある方は当社にぜひご相談ください。また、AmiVoiceの音声認識の精度を上げることで、GPTの出力も精度を上げることができますので、音声認識の運用でお困りの際はぜひお声がけください。
執筆者紹介
