音声技術の基礎｜第19回
音声品質の報告書でMOSが4.0と表示されていても、その数字だけで会話全体が良好とは判断できません。誰が、何を、どの方法で評価した数値かによって意味が変わります。本記事では、測定手法の紹介から一歩進め、MOSを比較や合否判定に使う際の注意点を整理します。
1. MOSには測定方法の情報が必要
MOSはMean Opinion Scoreの略です。人が評価した値に加え、客観評価モデルで主観品質を推定する値などが使われます。ITU-T P.800.1では、聴取・会話といった対象や評価方法を区別する用語が整理されています。
従って「MOS」という列だけでは不十分です。評価モデル、バージョン、対象の音声帯域、入力条件を併記します。同じ尺度のように表示されていても、異なる方法で得た値を無条件に比較しないでください。
評価方式が不明な場合は、MOS・PESQ・POLQAの違いから、数値の意味を確認してください。
2. 聴取品質と会話品質は同じではない
録音された音声を聞く評価は、音の聞き取りやすさを調べるのに役立ちます。一方、会話では遅延、発話の重なり、エコー、応答のタイミングも重要になります。
例えば録音の聞こえ方が良好でも、相手への到達が遅ければ会話はぎこちなくなります。POLQAなどの聴取品質の推定値だけで、会話の遅延や業務上の使いやすさまで確認済みとしないことが大切です。
3. 平均値は短時間の悪化を隠す
10回の試験のうち9回が良好で1回だけ大きく悪化した場合、平均値はそれほど下がらないことがあります。しかし、その1回で重要な数字が聞き取れなければ、業務上は問題です。
平均に加えて分布、低い値が出た試験の件数、該当する時刻や方向を確認します。標本数が少ないときの最小値は偶然の影響も受けるため、件数と試験条件を併記します。一つの集計値だけで全通話を代表させないでください。
4. 比較試験では条件を固定する
| そろえる条件 | 理由 |
|---|---|
| 試験音声・話者・言語 | 入力の違いを混ぜない |
| 入力レベル・収録位置 | 測定系の差を減らす |
| モデル・版・動作モード | 評価方法の違いを避ける |
| 通信条件・試験時間 | 負荷や経路の差を把握する |
ある製品の点数が高かったという結果には、その条件で高かったという範囲があります。別のコーデック、雑音、言語、損失条件まで同じ優位性が続くとは限りません。
5. 合否基準は測定方法と業務要件をセットにする
「MOSが何点以上なら絶対に問題ない」とする一律の基準は避けます。使用する評価方法を固定し、通常状態の分布と、利用者が困る状態を試験で対応づけます。そのうえで必要な合否条件を定めます。
例えば聴取品質の条件に加え、片方向遅延、片通話の有無、数字の聞き取り、保留復帰後の会話を別項目にします。MOSに含まれない要求を、別の試験として明示することが重要です。
6. 点数が下がったら原因を別の情報で調べる
MOSの低下は調査の入り口です。損失、遅着、クリッピング、音量、コーデック変換など、どの要因が関係したかを録音や統計で確認します。点数だけを見てネットワーク障害と決めつけないでください。
報告書には、評価方法と条件、件数、分布、問題の具体例、関連する統計を並べます。数値を品質の共通言語として使いつつ、その数値が測っていない範囲も説明できる形にします。
スコアの変化から原因候補を絞る際は、音声品質低下の切り分け手順に沿って比較条件を整理します。
参考規格・資料
基準音声と実通話の比較、測定位置・方向を整理する際は、Software AGDによる音声品質評価をご覧ください。音声品質の測定範囲と評価方法を相談するから、自社の構成に合わせた確認範囲をご相談いただけます。