要約
ビデオの揺れは、ユーザー生成コンテンツ (UGC) ビデオの不快な歪みであり、通常はカメラの不安定な保持によって発生します。
近年、多くのビデオ安定化アルゴリズムが提案されていますが、ビデオの安定性を包括的に評価できる具体的で正確な指標はありません。
実際、既存の品質評価モデルのほとんどは、ビデオの安定性に関する主観的なエクスペリエンスを特に考慮せずに、ビデオ品質を全体として評価します。
したがって、これらのモデルは、激しい揺れが存在する場合、ビデオの安定性を明示的かつ正確に測定できません。
さらに、さまざまな度合いの手ぶれビデオとそれに対応する主観的なスコアを含む大規模なビデオ データベースが公開されていないため、安定性のためのビデオ品質評価 (VQA-S) の開発が妨げられています。
この目的を達成するために、私たちは 1,952 の多様に不安定な UGC 動画を含む StableDB という名前の新しいデータベースを構築しました。各動画には、34 人の被験者によって評価された動画の安定性の程度に関する平均意見スコア (MOS) が含まれています。
さらに、StableVQA という名前の新しい VQA-S モデルを入念に設計しました。これは、オプティカル フロー、セマンティック、ブラーの特徴をそれぞれ取得する 3 つの特徴抽出器と、最終的な安定性スコアを予測する回帰層で構成されます。
広範な実験により、StableVQA は既存の VQA-S モデルや汎用 VQA モデルよりも主観的な意見との高い相関関係を達成していることが実証されています。
データベースとコードは https://github.com/QMME/StableVQA で入手できます。
要約(オリジナル)
Video shakiness is an unpleasant distortion of User Generated Content (UGC) videos, which is usually caused by the unstable hold of cameras. In recent years, many video stabilization algorithms have been proposed, yet no specific and accurate metric enables comprehensively evaluating the stability of videos. Indeed, most existing quality assessment models evaluate video quality as a whole without specifically taking the subjective experience of video stability into consideration. Therefore, these models cannot measure the video stability explicitly and precisely when severe shakes are present. In addition, there is no large-scale video database in public that includes various degrees of shaky videos with the corresponding subjective scores available, which hinders the development of Video Quality Assessment for Stability (VQA-S). To this end, we build a new database named StableDB that contains 1,952 diversely-shaky UGC videos, where each video has a Mean Opinion Score (MOS) on the degree of video stability rated by 34 subjects. Moreover, we elaborately design a novel VQA-S model named StableVQA, which consists of three feature extractors to acquire the optical flow, semantic, and blur features respectively, and a regression layer to predict the final stability score. Extensive experiments demonstrate that the StableVQA achieves a higher correlation with subjective opinions than the existing VQA-S models and generic VQA models. The database and codes are available at https://github.com/QMME/StableVQA.
arxiv情報
| 著者 | Tengchuan Kou,Xiaohong Liu,Wei Sun,Jun Jia,Xiongkuo Min,Guangtao Zhai,Ning Liu |
| 発行日 | 2023-10-27 09:13:38+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google