AI・ボット品質の基礎｜第8回
音声ボットは、文字のチャットに音を付けただけではありません。聞き取り、意味の理解、会話の進行、音声での応答という複数の段階があります。Botiumでの検証を考える際に、どこを分けて試すと原因を見つけやすいかを説明します。
1. 音声から業務処理までの経路を分ける
音声認識（ASR）は、利用者の音声を文字などの情報へ変換する処理です。その結果を使って意図や条件を判断し、回答を作り、音声合成（TTS）などで返します。構成によっては複数の処理が統合されている場合もあります。
利用者からは一つの会話に見えても、聞き取りの誤りと業務判断の誤りでは対処が違います。音声入力、認識結果、ボットの判断、返した音声を可能な範囲で対応付け、どの段階でずれたかを調べます。
2. 文字入力と音声入力を比較する
同じ用件を文字で与えると成功し、音声では失敗するなら、音声認識やその前後の処理に注目できます。ただし入力経路が違えば設定も違う場合があるため、経路と条件を記録します。
Cyaraの公式解説では、音声データと正しい書き起こしを組み合わせる試験が紹介されています。過去の製品画面の操作をそのまま使うのではなく、現在利用する構成で音声・書き起こし・結果をどう取得できるかを確認します。
認識後の理解を調べる際は、ボットの意図理解と言い換えのテストを参考に、同じ用件の表現を変えて比較します。
| 段階 | 確認例 | 記録するもの |
|---|---|---|
| 音声入力 | 語尾が切れていないか | 試験音源・入力条件 |
| 認識 | 日付や番号が正しいか | 書き起こし・期待値 |
| 会話 | 訂正後の値を採用したか | 会話履歴・処理対象 |
| 応答音声 | 重要事項を聞き取れるか | 応答音源・人の確認 |
| 接続 | 無音や途中切断がないか | 時刻・接続経路 |
3. 重要な値の誤りを独立して見る
音声認識の評価には、単語の置換・削除・挿入を数えるWERなどの考え方があります。日本語では分かち書きなど、数える単位をそろえないと結果を比較しにくくなります。全文の指標だけでなく、業務上重要な値を確認します。
「15日」が「25日」になる誤りは、短い一部分でも予約結果を変えます。日付、金額、商品名、番号を別項目として確認し、ボットが復唱・確認を行うべき場面を決めます。声の聞きやすさと認識の正しさも別の評価です。
4. 沈黙・言い直し・割り込みを扱う
電話では利用者が考えて黙ったり、ボットが話している途中で訂正したりします。無音時に待つ時間、聞き返し、途中発話への対応は、想定する利用体験と照らして試します。
割り込み発話への対応は、ボットだけでなく電話基盤や接続方式にも依存します。試験経路で再現できるかを確認してからケースを作ります。録音の再生試験だけで、実際の双方向の会話をすべて確認したことにはなりません。
途中で人へ対応を渡す場合は、ボットから有人窓口への引き継ぎ試験も確認範囲に含めます。
5. 音源と接続条件を管理する
合成音声は同条件で繰り返しやすく、実際の話し声は自然な発話の確認に役立ちます。利用許諾や個人情報の扱いを整理した音源を用い、発話速度、音量、雑音、端末・接続条件を記録します。
音声ボットの会話試験と、回線負荷や音声伝送品質の試験は目的が異なります。Botiumで何を検証し、必要に応じて別の試験でどこを補うかを決めます。原因が分かる粒度で結果を残すことが、修正への近道です。
電話経路の音の変化は、伝送音声のMOS・PESQ・POLQA評価で測定条件を整理できます。会話の成否とは分けて評価してください。
6. 具体例で確認する
以下は説明のための仮想例です。
架空の予約変更で「15日」を「25日」と認識したケースを考えます。ボットが25日と復唱し、利用者の「15日です」という訂正を反映できれば、その回復動作を評価できます。認識誤りがあった事実と、最終的に正しい予約になった事実を別々に記録すると、認識と会話設計のどちらを改善するかが分かります。
7. 最初に確認する三つのこと
- 入力音源と正しい書き起こしを一組で保存します。番号・日付など重要な情報には個別の期待値を付け、全体の認識率だけで評価しないようにします。
- 文字入力での基本動作を確認した後、音声入力で比較します。雑音や発話速度などの条件は一度に変えすぎず、失敗の原因を追えるようにします。
- 応答音声を人が聞く確認も含めます。文字では正しくても、区切りや読み方によって重要な条件が伝わりにくい場合があるためです。
参考資料
参照日：2026年9月30日。表と具体例は試験設計の提案です。製品の対応範囲・接続方式・利用できる機能は導入構成に合わせてご確認ください。
AI・ボット品質の試験をご検討の方へ
会話の認識・応答・業務の成否を確かめるには、Botiumによるチャット・音声ボットの品質検証をご覧ください。電話経路を通る音声そのものの評価は、Software AGDによる音声品質評価などで補う範囲として整理します。ボットの会話・業務シナリオの試験を相談するから、自社の構成に合わせた確認範囲をご相談いただけます。