「丁寧に応対しています」を、数字で言えるようにする ── 通話品質を8つの軸で自動採点する

「うちのAIは、葬儀業界の言葉づかいに対応しています」
そう説明することは簡単です。難しいのは、それを確かめることです。100件の通話のうち、実際に何件で忌み言葉が出たのか。お悔やみのタイミングは適切だったのか。通話を全部聞き返さない限り、誰にも分かりません。この記事では、葬儀社向けに作った8つの評価軸と、その重みの決め方、そして採点そのものを信用しすぎないための工夫についてお話しします。

応対品質は、放っておくと誰も見なくなる

人が電話を受けていた頃は、品質のばらつきは「あの人は上手い」「あの日は疲れていた」という形で、なんとなく共有されていました。数字はありませんが、感覚は共有されていたわけです。

AIに置き換えると、これが消えます。誰も通話を聞かなくなるからです。ばらつきが減った代わりに、ばらつきが見えなくなる。そして、プロンプトを少し変えたときに応対がどう変わったかも、分からなくなります。

ヒアリングで現役の葬儀ディレクターの方が挙げられた痛みの筆頭は、「声のトーンの均一化」でした。裏を返せば、均一であることを証明できなければ、AIを入れる意味の半分が失われます。証明するには、測るしかありません。

8つの軸と、その重み

通話が終わると、その会話の記録を別のAIに渡して採点させています。評価する軸は8つ、重みの合計は1.0です。

重みの合計が1.0になっているかは、システム側で検査しています。人が手で足すと、必ずどこかで合わなくなるからです。

重みの決め方に、業界の判断が入っている

この表で説明したいのは、数字そのものよりなぜその配分にしたかです。

共感が、業務達成と同じ重み

一般的なコールセンターの評価であれば、業務達成度が突出して重くなります。用件が片付いたかどうかが目的だからです。

弔事では違います。必要な項目をすべて聞き出せても、ご家族の気持ちに寄り添えていなければ、その応対は失敗です。逆に、多少項目が欠けても、落ち着いてお話しいただけたなら、朝の折り返しで補えます。共感を業務達成と同率にしたのは、この業界の順序を反映した判断です。

忌み言葉の回避が、独立した軸になっている

「日本語の品質」の中に含めることもできました。分けたのは、この軸だけ減点の理由がはっきりしていて、対処もはっきりしているからです。

敬語が少し崩れた、という指摘は改善しにくいものです。一方「死亡と言った」「ありがとうございますと言った」は、その場で直せます。混ぜてしまうと、直せる問題が直せない問題に埋もれます。

質問の目的明示が15%もある

これは開発の途中で重みを上げた軸です。初期のAIは、必要な項目を淡々と質問していました。「お名前は」「ご住所は」「電話番号も」。項目としては満点でも、受ける側には尋問に聞こえます。

現在は、質問ごとに理由を添えるようにしています。「お迎えのお車を手配したいので、今、故人様がいらっしゃる場所を教えていただけますか」。同じことを聞いていても、目的が先にあると印象がまったく違います。ここを軽く扱うと、すぐに詰問調に戻ります。

「丁寧に見える振る舞い」を、あえて減点する

この採点表で最も特徴的なのは、共感の軸の減点条件です。

1.0：用件確認後、自然なタイミングでお悔やみを述べ、お客様の感情に寄り添う言葉を加えた
0.0：一切お悔やみを述べない、または最初から決めつけて述べる（失礼）

開口一番の「お悔やみ申し上げます」を、最低点にしています。丁寧に見えますが、相手がご逝去を明言する前にお悔やみを述べることは、決めつけであり失礼にあたるからです。事前相談や料金の問い合わせで電話をかけた方に、いきなりお悔やみを述べてしまう事故も起きます。

この基準は、現場に伺わなければ書けませんでした。ヒアリングでは、すべての着信に「はい、○○葬儀社でございます」で統一しているという運用を教えていただいています。第一声では用件を区別しない、という現場の作法がそのまま採点表に入っています。

採点を、信用しすぎないための工夫

AIにAIを採点させる以上、採点自体が間違う可能性は常にあります。私たちが置いている歯止めは3つです。

1. 各点数に、具体例を添えている

「1.0の例」「0.0の例」を、実際の言い回しで書いています。たとえば忌み言葉の軸なら、低評価の例として「死亡された方の…（ご逝去とすべき）」「お忙しい中…（お辛い中、お取り込み中が適切）」を明示しています。抽象的な基準だけを渡すと、採点がぶれます。

2. 総合点だけを見ない

総合点は、8つの軸の加重平均です。便利ですが、これだけを見ていると変化を見落とします。忌み言葉が増えて共感が上がった場合、総合点は動かないかもしれません。見るべきは軸ごとの推移です。

3. 採点は、通話とは別に走らせる

採点は通話が終わったあとに、非同期で実行しています。採点処理が遅くても失敗しても、通話や引継ぎには影響しません。品質を測る仕組みが、品質を落とす原因になっては本末転倒だからです。

費用の話

採点にもAIを使うため、通話1件あたりの費用が乗ります。小さいモデルを使えば1通話あたり数円程度に収まる見込みで、全通話を採点しても運用に耐える水準です。

費用が気になる場合は、全件ではなく抽出で回す設計も可能です。ただし私たちは全件採点を選びました。抽出にすると、いちばん見たい「たまに起きる失敗」が落ちるからです。月に1〜3回のクレームの原因を探すのに、10件だけ見ても意味がありません。

この考え方は、AI受付以外にも使えます

もし現在、人が電話を受けておられるなら、この8軸はそのまま新人研修のチェックリストになります。特に次の3つは、聞き返さなくても分かります。

• お悔やみを、相手が言う前に述べていないか
• 質問の前に、理由を添えているか
• 重要項目（お迎え先・ご連絡先）を復唱しているか

受付スタッフが受付に立てるまでの研修期間は1〜4週間と伺いました。何をもって「立てる」とするかを、この形で言語化しておくと、教える側の負担も下がります。

まとめ

• AIに置き換えると、品質のばらつきは減る代わりに見えなくなります。測る仕組みが要ります
• 葬儀社向けには8つの軸を用意し、共感を業務達成と同じ重みにしました。弔事ではそれが順序だからです
• 丁寧に見える振る舞い（開口一番のお悔やみ）をあえて減点しています。この基準は現場に伺わなければ書けませんでした
• 採点は全件・非同期。抽出にすると、いちばん見たい稀な失敗が落ちます

ご相談ください

次のような状況でしたら、一度お話をお聞かせください。

• 受付の品質が、その日の担当者によって変わってしまう。「あの人は上手い」で終わっており、何が違うのかを言語化できていない
• クレームが月に数件あるが、原因を特定できていない。録音はあるが、聞き返す時間がない
• 新人の受付研修を、経験者の同席に頼っている。教える側の負担が大きく、基準も人によって違う