AI・ボット品質の基礎｜第7回
「予約しました」という返答があっても、予約システムに記録がなければ業務は完了していません。外部の機能を使って仕事を進めるAIエージェントでは、会話と実処理の両方を確かめます。BotiumのAgentic Testingを理解するための基本を説明します。
1. AIエージェントでは到達した結果を見る
AIエージェントは、利用者の目的に応じて情報を集めたり、外部の機能を呼び出したりして処理を進める構成です。同じ予約依頼でも、必要な情報が最初からある場合と、質問して補う場合では会話の順番が変わります。
そのため、常に同じ文言・同じ手数になることだけを正解にすると、問題のない会話も失敗になり得ます。「対象者と日時を確認し、承認された予約を一件だけ登録する」のように、達成すべき結果と守る条件を定義します。
2. 目的・利用者役の行動・判定条件を分ける
BotiumのAgentic Testingでは、ペルソナ、目標、判定条件などを用いて会話を試験する考え方が示されています。ペルソナは、試験で演じる利用者像です。目標はボットに達成してほしい結果、行動指示は利用者役がどう振る舞うかを示します。
例えば利用者役には「日時を聞かれるまで希望日を伝えない」と指示し、判定条件には「ボットが希望日時を確認する」と書きます。この二つを混ぜないことで、試験そのものの曖昧さを減らせます。
利用者役と判定条件を具体化するには、AIボットのテストケース設計も参考になります。
| 確認単位 | 期待する結果 | 確認方法の例 |
|---|---|---|
| 情報収集 | 対象者と希望日時を確認 | 会話記録 |
| 最終確認 | 登録内容への同意を得る | 確認発話と応答 |
| 実行 | 正しい予約を一件登録 | 試験用システムの記録 |
| 失敗時 | 未完了を正しく説明 | エラーと応答の照合 |
| 再試行 | 重複登録を防ぐ | 件数・識別子の確認 |
3. 会話の成功と処理の成功を別々に確認する
ボットが正しく完了を伝えたかと、接続先で実際に処理されたかは別の確認です。予約ID、登録件数、対象ユーザー、日時などを突き合わせます。これは本記事で提案する検証設計で、すべての業務システムをBotiumが無設定で照会するという意味ではありません。
処理記録を取得できない場合は、試験環境のAPIや運用担当者の確認など、補完する方法を決めます。確認できない部分を合格と推定せず、「会話は確認済み、実処理は未確認」と範囲を分けます。
人へ対応を渡す経路では、有人担当者への引き継ぎ結果の検証も必要です。
4. 中断・再試行・取り消しを試す
外部システムが失敗したときに完了を断定しないか、再試行で同じ予約を二重に作らないかを見ます。処理中に利用者が中止した場合も、いつまで中止可能かという仕様に沿って確認します。
一連の目的を小さな確認単位に分けると、どこで失敗したかが分かります。本人確認が失敗した後に更新処理へ進まないなど、前提条件の不成立時に先へ進めないことも確認対象です。
業務処理の権限を確認する際は、AIボットの操作権限と安全性試験も組み合わせます。
5. AIによる評価の理由を読む
目標を達成したかの判定は、成功・失敗の表示だけでなく会話と理由を確認します。「予約について説明した」と「予約を登録した」を同じものとして判定していないかが重要です。
評価条件には、必須の証拠と禁止する結果を記します。初期段階では担当者が判定を読み、誤った合格や不要な失敗を調整します。利用者像を増やすときも、一つの会話の途中で無関係な人物へ切り替えず、独立したケースとして管理します。
6. 具体例で確認する
以下は説明のための仮想例です。
架空の予約窓口で、登録処理は成功したものの応答が遅れた状況を再現します。利用者が「もう一度お願い」と言ったとき、二件目を作らず既存の処理結果を確認できるかを調べます。会話だけでなく予約件数を照合することで、見かけ上は丁寧でも業務上は困る重複処理を見つけられます。
7. 最初に確認する三つのこと
- 最終的な成功状態を、業務システムのどの項目で確かめるか決めます。ボットの完了発話だけを証拠にせず、対象・件数・状態を確認できるようにします。
- 処理前と処理後のテストデータを記録し、次の試験へ状態を持ち越さないようにします。再試行を試すケースでは、意図的に同じ処理識別子を追跡します。
- 判定条件の各項目に証拠を対応付けます。証拠を取得できない項目は未確認として残し、試験の合格範囲を明確にします。
参考資料
参照日：2026年9月30日。表と具体例は試験設計の提案です。製品の対応範囲・接続方式・利用できる機能は導入構成に合わせてご確認ください。
AI・ボット品質の試験をご検討の方へ
対象ボット・チャネル・業務と合格条件を整理する際は、Botiumによるチャット・音声ボットの品質検証をご覧ください。ボットの会話・業務シナリオの試験を相談するから、自社の構成に合わせた確認範囲をご相談いただけます。