Tomori ご相談
Tomori ／ ブログ
設計ノート 読了 約9分

深夜の沈黙で、AIが「ご視聴ありがとうございます」と聞き取る ── 音声認識の幻聴とどう戦うか

深夜のご逝去のご連絡で、ご家族が言葉に詰まって黙り込む数秒があります。
その沈黙に、音声認識が「ご視聴ありがとうございます」という文字列を出力することがあります。誰も言っていない言葉です。しかもこの言葉は、葬儀の場では使ってはいけない表現を含んでいます。この記事では、音声認識が実在しない言葉を作り出す現象と、それを弔事の電話でどう抑え込んだかを、実装の判断ごとにお話しします。

音声認識は、無音のときに黙ってくれない

音声認識のモデルは、大量の音声と書き起こしの組から学習しています。その学習データには、動画配信の音声が大量に含まれています。結果として、モデルは「音声の終わりにはこういう定型句が来る」という強い癖を持ちます。

雑音や無音を渡されたとき、モデルは「何も聞こえませんでした」とは返しません。最も出現しやすい言葉を出力します。それが、動画の締めくくりの決まり文句です。

英語でも同じことが起きます。無音に対して "Thank you." "Okay." "[Music]" といった短い断片が返ってきます。

電話で使うと、これが実害になる

普通の書き起こしなら、後から消せば済む話です。会話するAIでは事情が違います。

幻の文字列が入力として渡ると、AIは相手が話しかけてきたと判断して、応答を始めます。ご家族が言葉を探して黙っている、まさにその瞬間に、AIが割り込んで話し出す。弔事の電話で、これは起きてはならない挙動です。

さらに悪いことに、この定型句には「ありがとうございます」が含まれています。私たちがヒアリングで教えていただいたとおり、弔事の場で謝意を表す言い回しは適しません。AIが自分から言わないよう禁止していても、聞き取り側から侵入してくる形になります。

対策1：既知の定型句を捨てる

まず、30種類以上の定型句をリストにして、認識結果がそれと完全一致したら捨てる処理を入れました。前述の動画系の決まり文句に加えて、通話の終盤で誤検知されやすい一般的な挨拶も含めています。

句点の有無で表記が揺れるため、「ありがとうございます」と「ありがとうございます。」の両方を登録しています。地味ですが、片方だけだとすり抜けます。

対策2：捨てすぎない

ここが、この作業でいちばん難しいところです。

リストを長くすれば幻聴は減ります。しかし、本物の発話まで捨て始めます。「ありがとうございました」は、通話の最後にご家族が実際におっしゃる言葉です。それを常に捨てていたら、お礼を言われても無反応なAIになります。

そこで、会話のどの段階で出たかによって扱いを変えることにしました。

終話の段階で出た挨拶は、本物として通す。
それ以外の段階で出た挨拶は、幻聴として捨てる。

用件を伺っている最中に「お疲れ様でした」と言う方はいません。一方、通話を締めくくる段階でなら自然です。同じ文字列でも、文脈が違えば意味が違う。そこを判定に使いました。

対策3：短い相槌は、あえて捨てない

「はい」「うん」といった一語の相槌は、リストに入れていません。理由をコードのコメントにそのまま残してあります。

本物の user 返事と区別できないため。これらが幻覚で混入しても短いので、AI 応答への影響は限定的。

「はい」は、幻聴としてもよく現れます。しかし同時に、日本語の会話で最も多い返事でもあります。区別できないものは、捨てるより通すほうが被害が小さい。混入しても1ターン分の短い揺らぎで済みますが、本物の「はい」を捨てると、確認の返事が届かなくなります。

この判断は、対策2と逆方向に見えるかもしれません。実際には同じ原則です。誤って捨てたときの損害と、誤って通したときの損害を比べて、小さいほうを選ぶ。それだけです。

対策4：日本語通話に混じる短い英文を捨てる

日本語での通話中に、英語だけの短い文字列が返ってきた場合も幻聴として扱います。日本語の会話に "Yeah." や "Okay." が混じることは、実際にはほぼありません。

ただし、長さの上限を設けています。長い英文であれば、外国籍の方が実際に話しておられる可能性が出てくるためです。

この現象は、AI受付を選ぶときの判断材料になります

幻聴そのものは、どの音声認識でも起こり得ます。差が出るのは、それを前提に設計されているかどうかです。デモの席で、次のように試してみてください。

  1. 何も言わずに、5秒ほど黙る。AIが勝手に話し始めたら、無音の扱いが甘い可能性があります
  2. 受話器から離れて、周囲の物音だけを聞かせる。雑音に反応して応答が始まらないかを見ます
  3. 「えっと……」と言葉に詰まってみる。言い終わるのを待ってくれるか、途中で割り込むか

とくに1番目は、深夜のご逝去の電話で必ず起きる場面です。ご家族が言葉を探しておられる数秒を、AIが待てるかどうか。会話の上手さより、待てるかどうかのほうが、この業界では重要です。

残っている課題

関連して、まだ解決できていない問題があります。ご家族が話し終えてからAIが応答を始めるまで、0.5〜1.5秒の無音が生じます。日中の問い合わせなら気になりませんが、深夜の緊迫した場面では長く感じられます。

「うーん」のような、考えている最中の音を挟む方法も試しました。しかし、AI自身が出した音を自分で拾ってしまう問題があり、現在は無効にしています。ここは未解決です。

無音を埋めるか、そもそも無音を短くするか。前者は事故が起きやすく、後者は発話の途中で割り込むリスクが上がります。弔事では割り込みのほうが致命的なので、今は無音を許容する側に倒しています。

まとめ

ご相談ください

次のような状況でしたら、一度お話をお聞かせください。

Tomori は、葬儀社の夜間・早朝のお電話を AI が一次対応し、引継ぎメモを添えて担当者へお繋ぎするサービスです。

デモ・ご相談のお問い合わせはこちら 株式会社VODE ── 日本の業界知に、音声AIの実装力を。現場のお話を伺うだけのご協力も歓迎しております。

あわせてお読みください