要約
近年、ユーザー生成コンテンツ (UGC) ビデオがインターネットを支配しています。
これらのビデオの知覚品質がさまざまな要因の影響を受ける可能性があることは十分に認識されていますが、UGC ビデオのビデオ品質評価 (VQA) におけるさまざまな要因の影響、つまり UGC-VQA 問題を明示的に調査する既存の方法はほとんどありません。
この作業では、UGC-VQA 問題の複雑なビデオ生成プロセスによって生じる美的品質の問題と技術的品質の問題の影響を解きほぐす最初の試みを行います。
もつれを解く際にそれぞれの監督が存在しないことを克服するために、2 人の別々の評価者が各問題用に特別に設計された分解されたビューでトレーニングされる限定ビュー バイアス スーパービジョン (LVBS) スキームを提案します。
LVBS スキームの下で美的品質評価器 (AQE) と技術的品質評価器 (TQE) で構成される、提案された Disentangled Objective Video Quality Evaluator (DOVER) は、優れたパフォーマンス (KoNViD-1k の場合は 0.91 SRCC、LSVQ の場合は 0.89 SRCC、0.88 SRCC) に達します。
YouTube-UGC の場合) UGC-VQA 問題で。
さらに重要なことに、私たちの盲目的な主観的研究は、DOVER の別々の評価者が、それぞれの絡み合っていない品質問題に対する人間の認識を効果的に一致させることができることを証明しています。
コードとデモは https://github.com/teowu/dover でリリースされています。
要約(オリジナル)
User-generated-content (UGC) videos have dominated the Internet during recent years. While it is well-recognized that the perceptual quality of these videos can be affected by diverse factors, few existing methods explicitly explore the effects of different factors in video quality assessment (VQA) for UGC videos, i.e. the UGC-VQA problem. In this work, we make the first attempt to disentangle the effects of aesthetic quality issues and technical quality issues risen by the complicated video generation processes in the UGC-VQA problem. To overcome the absence of respective supervisions during disentanglement, we propose the Limited View Biased Supervisions (LVBS) scheme where two separate evaluators are trained with decomposed views specifically designed for each issue. Composed of an Aesthetic Quality Evaluator (AQE) and a Technical Quality Evaluator (TQE) under the LVBS scheme, the proposed Disentangled Objective Video Quality Evaluator (DOVER) reach excellent performance (0.91 SRCC for KoNViD-1k, 0.89 SRCC for LSVQ, 0.88 SRCC for YouTube-UGC) in the UGC-VQA problem. More importantly, our blind subjective studies prove that the separate evaluators in DOVER can effectively match human perception on respective disentangled quality issues. Codes and demos are released in https://github.com/teowu/dover.
arxiv情報
| 著者 | Haoning Wu,Liang Liao,Chaofeng Chen,Jingwen Hou,Annan Wang,Wenxiu Sun,Qiong Yan,Weisi Lin |
| 発行日 | 2022-11-16 17:00:31+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google