AI・ボット品質の基礎｜第5回
生成AIの回答は、読みやすくても根拠が正しいとは限りません。社内資料を検索して答えるRAGでも、必要な資料が見つからない場合や、資料にない条件を補ってしまう場合があります。誤回答を見つけるための試験設計を紹介します。
1. 根拠のない回答と情報不足を区別する
ここで扱う誤回答には、存在しない条件の付け足し、古い情報の案内、別の商品へのルールの適用などがあります。「答えられない」ことと「間違った内容を断定する」ことは、別の結果として評価します。
RAGは、検索した資料などを参照して回答を生成する方式です。検索を使うこと自体は正しさの保証になりません。資料の品質、検索結果、回答の作り方を分けて確認すると、どこを直すべきかが明確になります。
2. 検索・根拠との一致・回答の充足を分ける
必要な資料を取得できたかを確認し、次に回答が取得資料に支えられているかを見ます。さらに、利用者の質問に必要な情報がそろっているかを確認します。資料に忠実でも、質問に答えていなければ業務上は不十分です。
MicrosoftのRAG評価資料も、検索、根拠との一致、回答の網羅性を分けています。本記事ではその区別を試験設計に使います。Microsoftの評価機能をBotiumの標準機能として紹介するものではありません。
| 状態 | 試験で確認すること | 期待結果の例 |
|---|---|---|
| 根拠あり | 対象と適用条件の一致 | 根拠内の内容を回答 |
| 根拠なし | 推測で補っていないか | 不明点を示して保留 |
| 資料が古い | 適用日の取り違え | 現行資料を優先 |
| 資料が矛盾 | 都合よく一方を選ばないか | 確認先を案内 |
| 質問が曖昧 | 対象商品の特定 | 追加質問で確認 |
3. 正解の根拠を版とともに保存する
評価用データには、質問だけでなく対象商品、適用日、承認済みの資料、必須情報を持たせます。資料が更新されたら、どの版を正解とするかも更新します。
文書同士が矛盾するケース、資料がないケース、対象が曖昧なケースも用意します。正解を出せないときは、確認質問、回答の保留、担当窓口への案内など、業務として許容する動作を決めます。
根拠資料と判定条件の管理には、ボット評価の前提データと期待結果も参考になります。
4. BotiumとAI Trustを検討する際の見方
Cyaraの公式情報では、Botium内の生成AI向け試験スイートとしてAI Trustが案内されています。FactCheckは、信頼できる情報源とボットの回答を照合する用途として紹介されています。利用できる機能と必要な契約・設定は導入時に確認します。
評価ツールが合格とした場合も、根拠資料が誤っていれば正しい案内にはなりません。初期段階では業務担当者が判定例を確認し、見逃しと過剰な失敗判定の両方を調整します。自動評価で誤回答が完全になくなると考えないことが大切です。
誤情報の評価とは別に、AIボットの情報漏えい・指示すり替えの試験も計画し、禁止すべき応答や操作を確認します。
5. 訂正できるかまで確認する
会話の最初に誤った前提が入り、そのまま回答が続くケースがあります。利用者が条件を訂正したときに、古い前提を破棄して案内し直せるかを見ます。
根拠がないときの応答は、拒否文が出ればよいわけではありません。何が不明なのか、何を確認すれば進められるのかを伝えられるかを評価します。ボットの回答と、評価に使った資料・条件を一緒に残して改善につなげます。
6. 具体例で確認する
以下は説明のための仮想例です。
架空の商品Aには有料サポート、商品Bには無料サポートという資料を用意します。「サポートは無料ですか」という質問では商品を確認するのが期待結果です。商品Aと分かった後もBの条件を答えたなら、検索対象が違ったのか、正しい資料から誤って生成したのかを分けて調べます。この例の料金条件は実在のサービスとは無関係です。
7. 最初に確認する三つのこと
- 根拠資料を業務担当者が確認し、適用日と対象商品を明記します。資料の誤りとAIの誤りを混同しないよう、評価データの管理者を決めます。
- 回答すべきケースだけでなく、追加確認や保留が正しいケースを作ります。答えを出した件数が増えただけで品質改善と判断しないようにします。
- 根拠にない付け足しと、必要情報の欠落を別の失敗理由として残します。修正対象が検索なのか回答生成なのか、記録をもとに判断します。
参考資料
参照日：2026年9月30日。表と具体例は試験設計の提案です。製品の対応範囲・接続方式・利用できる機能は導入構成に合わせてご確認ください。
AI・ボット品質の試験をご検討の方へ
回答の根拠・誤情報・禁止事項の評価には、AI Trustによる生成AIの信頼性評価をご覧ください。会話の流れや変更前後の試験は、Botiumによるチャット・音声ボットの品質検証と役割を分けて検討します。生成AIの誤回答・安全性評価を相談するから、自社の構成に合わせた確認範囲をご相談いただけます。