AI受付の応対品質は、どうやって測るのか

この記事の要点

  • 測る前に「良い応対とは何か」を分解する。分解できないものは採点できない。
  • 採点は複数の観点で行う。総合点だけでは、どこを直せばよいか分からない。
  • 点数そのものより、点数が低かった通話を聞き返すことに価値がある。

応対の良し悪しは、聞いた人の感覚で語られがちです。しかし感覚は共有できず、比較もできません。数字にする方法と、その限界を整理します。

そもそも、なぜ数字にする必要があるのか?

比べられるようにするためです。先月と今月、変更の前と後、担当者Aと担当者B。比べられなければ、良くなったのかどうかも分かりません。改善しているつもりで、実は変わっていないということが起こります。

もうひとつは、共有できるようにするためです。「なんとなく良かった」では、他の人に伝わりません。何がどう良かったのかを分解して示せれば、他の担当者も再現できます。

ただし、数字にできない部分が残ることも前提にしてください。数字は判断の材料であって、判断そのものではありません。

何を測ればよいのか?

「良い応対」を分解することから始めます。葬儀の電話であれば、次のような観点が考えられます。分解できないものは採点できません。

観点見ること
用件の把握必要な項目を伺えているか
言葉づかい避けるべき表現を使っていないか
寄り添い相手の状況に応じた言葉が出ているか
質問の仕方理由を添えているか、並べ立てていないか
進行話が飛んだり戻ったりしていないか
締め方次に何が起きるかを伝えているか

観点は自社で決めてください。他社の枠組みをそのまま使うと、自社にとって大事な点が抜けます。

誰が採点するのか?

人が聞いて採点する方法と、機械に判定させる方法があります。それぞれ長所が違います。

人が聞く方法は、細かい機微まで拾えます。一方で、時間がかかり、全件は見られません。採点者によるばらつきも出ます。

機械に判定させる方法は、全件を同じ基準で見られます。ただし、判定の根拠が納得できるものかどうかは検証が必要です。点数が出ることと、その点数が妥当であることは別です。

機械に採点させる場合、何に気を付けるのか?

判定に使う基準を明示しておくことです。「良い応対」とだけ指示しても、何を良いとするかは定まりません。観点ごとに、何があれば加点し、何があれば減点するかを書き出す必要があります。

そして、判定そのものを検証してください。明らかに良い通話と、明らかに問題のある通話をいくつか用意して、期待どおりの点数が出るかを確かめる。これをしないと、点数を信じてよいのか分かりません。

判定を行う仕組み自体が、どこで動いているかも確認しておきます。通話の内容を外部へ送って判定する構成であれば、それはデータの取り扱いの話にもなります。

総合点だけを見てはいけないのはなぜか?

どこを直せばよいか分からないからです。総合80点と言われても、言葉づかいが良くて用件の把握が弱いのか、その逆なのかで、打ち手はまったく違います。

観点ごとの点数を見ることで、はじめて改善の方向が決まります。総合点は推移を追うために使い、改善の判断には内訳を使う。この使い分けが要ります。

点数は、何点あればよいのか?

絶対的な基準はありません。大切なのは、自社のなかでの推移と、低い通話に何が起きていたかです。

むしろ、点数の高さを目標にすると歪みます。点を取りやすい応対に寄っていき、実際のご遺族の満足とはずれていく。数字はあくまで手がかりだと割り切ってください。

点数をどう使えばよいのか?

低かった通話を聞き返すために使います。これが最も価値のある使い方です。全件を聞くのは無理でも、点数の低い順に数本聞けば、共通する課題が見えてきます。

逆に、高得点の通話を眺めても学びは少ない。うまくいかなかった例にこそ、直すべき理由があるからです。

測ることの副作用はあるのか?

あります。測られていると意識すると、行動が変わります。人の応対を採点する場合は、この点に配慮が要ります。評価のためではなく改善のために使う、という前提を共有しておかないと、萎縮を生みます。

AIの応対を採点する場合は、この副作用はありません。その意味では、機械の応対のほうが遠慮なく測れます。

まず何から始めればよいのか?

観点を3つ決めて、月に5本聞くところから始めてください。全件を自動で採点する仕組みを作るより先に、何を良しとするかを自社で言語化するほうが重要です。

言語化ができていれば、後から仕組みに載せることは難しくありません。逆に、言語化がないまま仕組みだけ入れると、出てきた点数の意味が分かりません。

3つの観点は、後から増やせます。最初から完璧を目指さず、運用しながら育てるほうが続きます。

測る対象は、AIだけでよいのか?

人の応対も同じ観点で見られると、比較ができます。AIのほうが高い観点、人のほうが高い観点がそれぞれ見えてくると、どこを機械に任せ、どこを人が担うべきかの判断材料になります。

ただし、人を対象にする場合は前提の共有が要ります。評価のためではなく改善のために見る、という点を最初に伝えておかないと、萎縮を生みます。数字が不信の材料になっては本末転倒です。

実務としては、まずAIの応対から始めるのが無難でしょう。仕組みを整え、観点が安定してから人にも広げる。この順番であれば、現場の受け止め方も変わります。

Tomori は、葬儀社の夜間・早朝のお電話を AI が一次対応し、引継ぎメモを添えて担当者へお繋ぎするサービスです。

デモ・ご相談のお問い合わせはこちら 株式会社VODE ── 日本の業界知に、音声AIの実装力を。現場のお話を伺うだけのご協力も歓迎しております。