AIエージェントの品質を、
リリース前から継続的に検証。
チャットボット・ボイスボット・生成AIエージェントの 応答品質を自動テスト。
Cyara Botiumは、AIとの対話を自動化し、 応答内容・会話フロー・性能・安全性を継続的に検証する AIエージェント向けテストプラットフォームです。
AIとの会話は、
「正解が1つ」ではありません。
同じ意味でも、ユーザーの言い方はさまざまです。 AIの更新や会話フローの変更によって、 これまで正常だった会話が成立しなくなる可能性もあります。
発話パターンが多い
同じ要求でも、単語や言い回し、文章の長さなど、 ユーザーによって表現方法が異なります。
AIが継続的に変化する
モデルや学習データ、Intent、プロンプトなどの変更によって、 応答結果が変化する可能性があります。
会話全体の検証が必要
Intent認識だけではなく、 複数ターンの会話が正しいゴールまで到達するかを 確認する必要があります。
手動テストでは限界がある
発話バリエーションや回帰テストを 人手だけで繰り返すには、多くの時間と工数が必要です。
「正しく会話できる状態」を継続的に検証する。
そのためのテスト基盤がBotiumです。
対話型AIの品質を、
自動テストで可視化。
Botiumは、チャットボットやボイスボットなどの 対話型AIをテストするためのCyaraのテストプラットフォームです。
テストケースを作成し、AIに対して自動的に会話を実行。 NLP/NLU、会話フロー、E2E動作など、 複数の観点から品質を検証します。
AIとの会話を、
複数の視点からテスト。
単純な応答確認だけでなく、 NLP/NLU、会話フロー、E2E、性能など、 対話型AIの品質を多面的に検証します。
NLP・Intent評価
さまざまな発話を入力し、 AIが正しいIntentとして認識できるかを検証します。
会話フローテスト
複数ターンの会話を自動実行し、 想定したシナリオやゴールへ到達できるかを確認します。
E2Eテスト
実際のチャネルを含め、 ユーザー視点でボットとの一連のやり取りを検証します。
性能テスト
多数の会話を実行し、 応答性能や高負荷時のボット動作を検証します。
住所を変更したい
PASS引っ越したので住所を変えたい
PASS登録住所を変更できますか？
PASS新しい住所にしたいんだけど
CHECK
「意味は同じ」を、
AIは理解できるか。
ユーザーは、テストケースどおりに話してくれるとは限りません。
Botiumでは、さまざまな発話バリエーションを使って、 NLP/NLUの認識結果をテスト。 Intent分類などの品質評価を支援します。
Intentだけでなく、
会話のゴールまで検証。
実際のユーザー体験では、Intentを正しく認識するだけでは不十分です。 複数ターンの会話が正しく進み、 目的を完了できるかまで確認します。
ボットとの会話からバックエンド処理を含む一連のフローまで、 E2Eで品質を確認します。
チャットだけでなく、
音声チャネルもテスト。
ボイスボットでは、テキストだけでは確認できない 音声チャネル特有のテストが必要です。
Botiumは、対話型AIのテストを チャットだけでなく音声チャネルにも拡張し、 ボイスボットのE2Eテストを支援します。
AIが変わるたびに、
品質を再確認。
モデル、Intent、学習データ、会話フローなどを変更した際に、 既存機能への影響を継続的に検証します。
AI・会話フローを変更
テストを自動実行
結果・品質を評価
品質を確認してリリース
「壊れていないこと」も確認する。
さまざまなAI環境を、
Botiumにつなぐ。
Botiumは、多様なチャットボット・対話型AI環境との 接続を想定したコネクタを提供しています。
Cyara資料では45以上のコネクタへのアクセスが示されており、 既存のボット環境にテスト自動化を組み込むことができます。
* 対応コネクタおよび利用可能な機能は環境・製品構成によって異なります。 導入前に対象環境の対応状況を確認します。
ツール導入だけでなく、
「何をテストするか」から支援。
AIテストでは、製品を導入するだけでは十分ではありません。 テスト対象、発話、シナリオ、合否基準の設計が重要です。
CCアーキテクトでは、コンタクトセンターと音声基盤に関する知見を活かし、 Botiumの導入からテスト設計、運用まで支援します。
対象AI、チャネル、ユースケース、品質基準を整理します。
Intent、発話バリエーション、会話シナリオを設計します。
対象環境との接続、テスト実行環境の構築を支援します。
テスト結果をもとに、回帰テストと継続的な品質改善を支援します。
Cyara Botiumについて、
よくあるご質問。
Botiumはどのような製品ですか？
チャットボットだけが対象ですか？
Intentの認識精度もテストできますか？
回帰テストにも利用できますか？
どのAI・チャットボット製品に対応していますか？
テストケースの作成も支援してもらえますか？
AI・チャットボットの品質を、
リリース前に検証しませんか？
対象AIや現在のテスト方法を確認し、 Botiumを利用したテスト方法をご提案します。