AIが不適切な発言をしたら、どうやって気付くのか

AIに応対を任せる以上、想定していない発言が出る可能性は残ります。ゼロにはできないという前提で、どう気付き、どう対処するかを設計しておく必要があります。

そもそも、どんな発言が問題になるのか？

葬儀の電話であれば、次のような類型が考えられます。いずれも、悪意なく起こり得ます。

• 避けるべきとされる言葉を使ってしまう
• 事実でないことを述べてしまう（料金、日程、可否など）
• その場で約束できないことを約束してしまう
• 場にそぐわない明るさや軽さが出る

このうち2つ目と3つ目は、後々のトラブルにつながります。「そう言われた」と受け取られた内容が、実際には提供できないものであった場合、信頼を大きく損ないます。

事前の指示だけでは、なぜ足りないのか？

指示は守られるとは限らないからです。使わないように伝えても、文脈によってはすり抜けます。とくに、長い会話のなかでは前半の指示が薄れることがあります。

また、指示の書き方によっては、条件が成立せず素通りすることもあります。「〜の場合は避ける」と書いていても、その「場合」を判定する材料が与えられていなければ、判定は行われません。

指示は必要条件であって十分条件ではない、という前提で設計してください。

事後の検査は、どう作るのか？

通話の記録に対して、決めた基準で機械的に検査します。避ける語が使われていないか、断定的な表現が出ていないか、といった観点です。

作るときの注意は2つあります。ひとつは文脈を見ること。語の出現だけで判定すると、否定の文脈まで引っかかり、誤検出が増えます。誤検出が多いと、誰も結果を見なくなります。

もうひとつは緩めすぎないこと。誤検出を減らそうと条件を緩めた結果、本当の違反まで通してしまうことがあります。緩めたら、必ず本当の違反を検出できるか確かめ直してください。

「違反ゼロ」は、信じてよいのか？

そのままでは信じられません。違反ゼロという結果は、守れている場合と、検査が動いていない場合の両方で出ます。結果だけを見て区別することはできません。

確かめる方法は、わざと違反する内容を混ぜて検出されるかを見ることです。検出されなければ、検査が働いていません。この確認を「対照」と呼びます。

対照は、仕組みを変更するたびに当ててください。設定の更新や入れ替えで、いつの間にか検査が外れることがあります。

人が聞く工程は、必要なのか？

必要です。機械の検査は、決めた基準に照らすことしかできません。基準に書いていない不自然さは、聞かないと分かりません。

間の取り方が不自然だった、言い回しが硬すぎた、相手の言葉を受け止めていなかった。こうした点は、点数では出てきません。

全件を聞く必要はありません。月に数本、それも問題のありそうな通話を選んで聞く。それだけで、基準に足すべき観点が見つかります。

どの通話を選んで聞けばよいのか？

3種類あります。検査で引っかかったもの、途中で終わったもの、人に引き継がれたもの。いずれも、何かがうまくいかなかった通話です。

うまくいった通話を聞いても学びは少ない。詰まった例にこそ理由があるため、そちらを優先してください。

問題が見つかったら、どうするのか？

まず、同じ問題が他にも起きていないかを確認します。1件見つかったということは、同じ条件で複数回起きている可能性があります。横に広げて探すのが定石です。

次に、原因が指示にあるのか、検査にあるのか、設計にあるのかを切り分けます。指示を直すだけで済むこともあれば、会話の組み立て自体を変える必要があることもあります。

そして、直したあとに同じ問題が起きないことを確かめます。直したつもりで直っていない、というのが最も多い失敗です。

記録は、どのくらい残すべきか？

検査と振り返りに必要な期間です。問題が後から発覚することもあるため、直近の一定期間は残しておくのが安全でしょう。

ただし、長く残すほど管理の負担も、漏えいした場合の影響も大きくなります。期間を決めて、過ぎたら消える形にしておくことをお勧めします。

まとめると、何を用意すべきか？

3つとも必要です。どれか一つで足りるという設計は、いずれ破綻します。

気付いた問題は、どこに残すのか？

台帳のような形で1か所に集めることをお勧めします。いつ、どんな発言が、どういう条件で出たのか。同じ型の問題が繰り返されていることに気付けるようになります。

1件ごとに直して終わりにすると、similar な問題が別の場所で起き続けます。型として整理しておけば、新しい機能を作るときにも「この型を踏んでいないか」と確認できます。

記録は詳しくなくて構いません。日付と、何が起きたかの一行と、どう直したか。それだけでも、半年後には十分な資産になります。