AI・ボット品質の基礎｜第2回
ボットのテストは、質問文を大量に並べるだけでは十分ではありません。「誰が、どの状態で、何を求め、何が起これば合格か」をそろえる必要があります。Botiumでの試験を始める前に使える、テストケースの作り方を紹介します。
1. 一つのテストに一つの目的を置く
テストケースとは、入力・前提条件・期待結果を一組にした確認手順です。「会話できること」では範囲が広すぎるため、「配送済み注文の返品方法を案内する」のように業務の目的を絞ります。
目的が同じでも、購入日や商品区分によって結果が変わるなら別の条件として扱います。質問文だけを保存すると、後から同じ結果を再現できません。テスト用の注文、参照する規程の版、認証状態もセットで記録します。
2. 正常・例外・境界を組み合わせる
正常系は、想定どおりに完了するケースです。例外系は、入力不足、対象外の依頼、外部システムの失敗などを扱います。境界は、受付期限の当日と翌日、上限の直前と超過など、判断が切り替わる条件です。
同じFAQに言い換えを何百件加えても、対象外商品の例外を一件も試していなければ穴が残ります。まず条件の種類をそろえ、次に利用者が使う言い方を増やすと、目的のある試験を組み立てやすくなります。
同じ用件を異なる表現で伝えるケースは、言い換え・意図理解・聞き返しの試験を参考に追加できます。
| 項目 | 記入例 | 確認する理由 |
|---|---|---|
| 目的 | 期限内の返品方法を案内 | 試験の範囲を明確化 |
| 前提条件 | 架空の対象商品・購入日 | 同じ条件で再実行 |
| 入力 | 返品したい | 利用者の入口を定義 |
| 期待結果 | 受付条件と手続き先を案内 | 合否を説明可能にする |
| 禁止する結果 | 未確認の返金を確約 | 重大な誤案内を区別 |
3. 期待結果を観察できる条件にする
「丁寧で正しい」のような評価は、担当者によって判断が分かれます。「受付期限を伝える」「対象外の場合は受付を確約しない」「案内先を提示する」と分けると、失敗理由を説明できます。
BotiumのAgentic Testingの公式ガイドも、目的、利用者役の行動指示、判定条件を分ける考え方を示しています。本記事の表はその画面の再現ではなく、試験を準備するための整理例です。実際の設定方法は利用する機能に合わせます。
予約や更新などの処理を伴う場合は、AIエージェントの業務完了を確認する方法も確認してください。
4. 会話の途中で変わる条件を入れる
実際の利用者は最初から必要事項をすべて伝えるとは限りません。「明日でお願いします」の後に「やはり来週」と訂正することもあります。古い条件を保持したまま処理しないかを確認します。
一つの会話を長くしすぎると、失敗箇所が分かりにくくなります。単純なケースで基本動作を確認し、別のケースで訂正・話題変更・再開を扱います。独立した試験間では会話履歴やテストデータを初期化します。
5. 業務担当者と判定をそろえる
試験項目は開発者だけで決めず、案内内容を管理する担当者と確認します。仕様の誤解を正解として登録すると、ボットが正しく変わった際に失敗判定することもあります。
承認済みの期待結果、データの管理者、更新日、優先度を残します。問い合わせの多さだけでなく、誤案内や誤操作の影響を考えて優先度を付けます。最初の試験表を運用で更新し続けられることが重要です。
6. 具体例で確認する
以下は説明のための仮想例です。
説明用の架空ルールとして「受取後7日以内が受付対象」と設定します。受取から6日、7日、8日の三条件を用意し、日数の数え方も業務担当者と合わせます。8日のケースでは単に「返品不可」とするのか、個別相談へ案内するのかを先に決めます。この例の期限は一般的な返品制度を示すものではありません。
7. 最初に確認する三つのこと
- テストケースごとに識別子を付け、前提データと期待結果を参照できるようにします。別の担当者が同じ条件で実行できるかを、少数のケースで先に確認します。
- 正常・例外・境界のケース数を数えます。件数が多くても一つの条件に集中しているなら、未確認の業務条件を優先して追加します。
- 失敗した際にどの記録を見るかを決めます。回答だけで判断できないケースは、接続先の結果や状態も確認項目に加えます。
参考資料
参照日：2026年9月30日。表と具体例は試験設計の提案です。製品の対応範囲・接続方式・利用できる機能は導入構成に合わせてご確認ください。
AI・ボット品質の試験をご検討の方へ
対象ボット・チャネル・業務と合格条件を整理する際は、Botiumによるチャット・音声ボットの品質検証をご覧ください。ボットの会話・業務シナリオの試験を相談するから、自社の構成に合わせた確認範囲をご相談いただけます。