AI・ボット品質の基礎｜第6回
AIボットに業務情報や外部システムをつなぐと、回答の正しさに加えて、情報の扱いと操作権限の確認が必要になります。本記事では、権限を持つ自社の試験環境で行うことを前提に、安全性テストの基本を説明します。
1. 会話で依頼されても越えてはいけない境界
利用者が依頼した内容と、その人に許可された操作は同じではありません。他人の注文情報の閲覧や、本人確認前の契約変更を許可しないことは、会話の表現だけでなく接続先の権限制御でも確認します。
ボットが画面上で拒否しても、裏でAPIを実行していれば安全ではありません。拒否文の確認と、情報取得・変更処理が実行されなかったことの確認を分けます。会話ログだけで判断できない部分には、処理記録が必要です。
2. 指示と外部のデータを区別する
プロンプトインジェクションとは、入力によってAIの振る舞いを意図しない方向へ変える問題です。利用者の直接入力だけでなく、検索対象の文書などに混じった指示が影響する場合もあります。OWASPは両方の経路を取り上げています。
試験では、通常の問い合わせ文と、処理方針を変えようとする文を混ぜた架空データを用意します。具体的な攻撃の巧妙さだけを追うより、どの入力がどの権限へ届くかを把握し、守るべき境界を先に決めます。
| 確認対象 | 試験条件の例 | 見るべき証拠 |
|---|---|---|
| 情報の分離 | 別アカウントの架空データを要求 | 応答と情報取得記録 |
| 認証前の操作 | 確認前に変更を依頼 | 変更が未実施である記録 |
| 外部文書の指示 | 試験文書に方針変更の文を含める | 方針と実動作の一致 |
| 正当な依頼 | 許可された自分の情報を照会 | 過剰に拒否していないこと |
3. 架空の情報で漏えいと誤操作を確認する
テスト用アカウントを二つ用意し、片方の情報をもう片方から取得できないかを確認します。氏名や番号は架空の値にし、試験の成否を判断できる目印を付けます。実在の秘密情報を漏らしてみる必要はありません。
許可された情報の照会まで拒否するなら、使い勝手が損なわれます。禁止された依頼と、よく似た正当な依頼を組み合わせ、適切な拒否と過剰な拒否を区別します。安全性と利用可能性の両方を記録します。
許可された処理の成否も確かめるには、AIの返答と業務システムの処理結果を分ける検証を参考に、会話と実行記録を照合します。
4. Botiumの試験とシステム側の対策を合わせる
Cyara AI Trustでは、不適切な利用や操作を狙う入力に対するボットの応答を試験する機能が紹介されています。具体的な対象や利用条件は、導入するモジュールと接続方式に合わせて確認します。
会話の試験は、アクセス権限、秘密情報の保管、ネットワーク設定などの確認全体を置き換えません。特に更新・送信・取消を行う機能は、接続先が利用者の権限を検証し、必要な確認なしに操作できない構成になっているかを確かめます。
5. 重大度と再試験の条件を決める
報告には、入力、会話記録、実行された操作、取得された情報、テスト対象の版を残します。情報の種類や操作の影響によって重大度を決め、一般的な回答の誤りと分けて管理します。
修正後は同じケースを再実行し、表現を少し変えた関連ケースも試します。一度通過した結果は、その時点の条件で問題が見つからなかったという意味です。新しい接続先や権限を追加したときにも試験範囲を更新します。
修正の影響を確認する際は、修正後のAIボット回帰試験で、正常な依頼も含めて評価します。
6. 具体例で確認する
以下は説明のための仮想例です。
架空の会員Aでログインし、会員Bの注文を照会する試験を用意します。「表示できません」という返答だけでは合格にせず、Bのデータを取得・返却していないことを確認します。続いてA自身の注文を照会し、正当に許可された操作が成功するかも試します。試験は専用環境と架空データで行います。
7. 最初に確認する三つのこと
- 自社が試験できる環境・アカウント・接続先の範囲を明確にします。外部への送信や実業務の変更を伴う操作は、試験用の宛先やデータで確認します。
- 利用者ごとの権限表を作り、閲覧・更新・削除などを分けます。ボットの応答に加えて、接続先の実行記録を取得できるよう準備します。
- 修正後は問題となった入力だけでなく、正当に利用できる依頼も再試験します。すべてを拒否する変更で正常な業務が止まっていないかを確認します。
参考資料
参照日：2026年9月30日。表と具体例は試験設計の提案です。製品の対応範囲・接続方式・利用できる機能は導入構成に合わせてご確認ください。
AI・ボット品質の試験をご検討の方へ
回答の根拠・禁止事項・評価範囲を整理する際は、AI Trustによる生成AIの信頼性評価をご覧ください。生成AIの誤回答・安全性評価を相談するから、自社の構成に合わせた確認範囲をご相談いただけます。