AI・ボット品質の基礎｜第3回
「届く日を変えたい」と「配送予定を変更したい」は、同じ用件でも表現が異なります。一方で、似た言葉でも違う業務を指すことがあります。言い換え・意図の取り違え・聞き返しを分けて、ボットの理解を確認する方法を説明します。
1. 意図と具体的な条件を分ける
NLUは自然言語理解の略です。意図（インテント）は「配送日を変更する」のような用件を指します。日付や注文番号など、用件を進めるための具体的な情報はエンティティと呼ばれることがあります。
「注文Aの受取日を金曜日にしたい」では、意図が正しくても注文番号や曜日を誤れば処理は失敗します。意図の判定と条件の抽出を別々に見ます。生成AI型ボットなど、意図ラベルを公開しない構成では、実際の応答や処理から確認します。
2. 同じ意図の言い換えを集める
丁寧な言い方、短い言い方、省略、入力ミスなどを含めます。ただし、意味を変えてしまった文章まで同じ正解にしないよう、人が確認します。「解約を取り消したい」は「解約したい」の言い換えではありません。
業務で実際に使われる語彙を優先し、生成した例文だけに偏らないようにします。学習に使った文と評価用の文が重複すると、未知の表現に対応できるかが見えにくくなります。評価用データは区別して管理します。
| 入力の種類 | 入力例 | 期待する動作 |
|---|---|---|
| 同じ意図 | 届く日をずらしたい | 配送日変更へ進む |
| 似た別意図 | 届け先を変えたい | 住所変更へ進む |
| 否定・取消 | 変更するのをやめたい | 変更を実行しない |
| 曖昧 | 変えてほしい | 変更対象を確認 |
| 対象外 | 扱っていない商品の相談 | 対応範囲と相談先を案内 |
3. 似ている別の意図も試す
「配送先を変える」「配送日を変える」「配送状況を知る」は語彙が近いため、まとめて確認する価値があります。正しい意図に分類できた割合だけでなく、何と何を取り違えたかを見ます。
BotiumのNLP資料では、期待した意図と予測した意図の関係を確認する混同行列が紹介されています。これは取り違えの組み合わせを見る表です。意図や信頼度を取得できるかは、対象ボットと連携方式に依存します。
入力例と期待する動作を整理する際は、ボットのテストケースの作り方も参考になります。
4. 曖昧なら聞き返せるかを見る
「変更したい」だけでは対象が決まりません。何を変えるのか聞き返す方が、根拠なく処理を進めるより適切な場合があります。曖昧な入力をすべてどれかの用件に分類する必要はありません。
信頼度は一般にモデルの判定の強さを表す値で、正解の保証ではありません。異なるモデルの数値をそのまま比較したり、共通のしきい値を根拠なく設定したりせず、自分たちのデータで誤判定と聞き返しの関係を確認します。
5. 改善後は周辺の用件も再試験する
配送日変更の例文を増やしても、配送状況照会を誤って変更と解釈するようになれば、全体の改善とはいえません。修正した意図と紛らわしい意図を一緒に再試験します。
用件ごとの件数と成功数を残し、頻度が低い用件の失敗が平均値に隠れないようにします。運用で新しい言い回しを見つけたら、正解を確認して評価用データへ加えます。分類だけでなく、最終的な会話の行き先まで追います。
表現の追加や修正を行った後は、AIチャットボットの回帰試験で既存の動作も確認します。
6. 具体例で確認する
以下は説明のための仮想例です。
架空の100件の評価で95件が正解だったとしても、残る5件がすべて「変更中止」を「変更実行」と解釈した失敗なら優先修正が必要です。総合95％だけを報告せず、中止のケース数、誤実行の有無、再確認の動作を併記します。数値は説明用で、Botiumの性能値ではありません。
7. 最初に確認する三つのこと
- 評価対象の用件を一覧化し、似た用件の組を選びます。言葉が似ているだけでなく、誤って選ばれると業務上の影響が大きい組み合わせを含めます。
- 言い換えの正解を人が読み、否定や取消の意味が失われていないか確認します。評価用の例文を学習へ移す場合は、新しい未使用の評価データも用意します。
- 分類できない入力に対して、聞き返すのか対象外と案内するのかを決めます。正解のない曖昧な文を無理に一つの意図へ割り当てないようにします。
参考資料
参照日：2026年9月30日。表と具体例は試験設計の提案です。製品の対応範囲・接続方式・利用できる機能は導入構成に合わせてご確認ください。
AI・ボット品質の試験をご検討の方へ
対象ボット・チャネル・業務と合格条件を整理する際は、Botiumによるチャット・音声ボットの品質検証をご覧ください。ボットの会話・業務シナリオの試験を相談するから、自社の構成に合わせた確認範囲をご相談いただけます。