要約
近年、UGC（User-Generated-Content）動画がインターネットを席巻している。このようなUGC動画の品質を客観的に評価しようとする手法は数多くあるが、UGC-VQA問題における人間の品質知覚のメカニズムについてはまだ解明されていない。本研究では、品質知覚のメカニズムを説明し、より頑健な表現を学習するために、UGC-VQA問題における美的品質問題と複雑な映像生成過程によって生じる技術的品質問題の影響を切り離すことを目的とする。この問題を解決するために、我々はLimited View Biased Supervisions (LVBS) スキームを提案する。これは、2人の評価者がそれぞれの問題に対して特別に設計された分割されたビューを用いて学習するものである。LVBS方式のもと、美的品質評価器（AQE）と技術的品質評価器（TQE）から構成される提案する分離客観映像品質評価器（DOVER）は、UGC-VQA問題において優れた性能（KoNViD-1kでSRCC 0.91, LSVQでSRCC 0.89, YouTube-UGC でSRCC 0.88 ）に到達しています。さらに重要なこととして、DOVERの評価者は、分離されたそれぞれの品質問題に対して、人間の知覚と効果的に一致できることが、ブラインド主観研究によって証明されています。コードとデモは、https://github.com/teowu/dover で公開されています。
要約(オリジナル)
User-generated-content (UGC) videos have dominated the Internet during recent years. While many methods attempt to objectively assess the quality of these UGC videos, the mechanisms of human quality perception in the UGC-VQA problem is still yet to be explored. To better explain the quality perception mechanisms and learn more robust representations, we aim to disentangle the effects of aesthetic quality issues and technical quality issues risen by the complicated video generation processes in the UGC-VQA problem. To overcome the absence of respective supervisions during disentanglement, we propose the Limited View Biased Supervisions (LVBS) scheme where two separate evaluators are trained with decomposed views specifically designed for each issue. Composed of an Aesthetic Quality Evaluator (AQE) and a Technical Quality Evaluator (TQE) under the LVBS scheme, the proposed Disentangled Objective Video Quality Evaluator (DOVER) reach excellent performance (0.91 SRCC for KoNViD-1k, 0.89 SRCC for LSVQ, 0.88 SRCC for YouTube-UGC) in the UGC-VQA problem. More importantly, our blind subjective studies prove that the separate evaluators in DOVER can effectively match human perception on respective disentangled quality issues. Codes and demos are released in https://github.com/teowu/dover.
arxiv情報
| 著者 | Haoning Wu,Liang Liao,Chaofeng Chen,Jingwen Hou,Annan Wang,Wenxiu Sun,Qiong Yan,Weisi Lin |
| 発行日 | 2022-11-09 13:55:50+00:00 |
| arxivサイト | arxiv_id(pdf) |