Subjective and Objective Quality Assessment for in-the-Wild Computer Graphics Images

要約

コンピュータ グラフィックス イメージ (CGI) は、コンピュータ プログラムによって人為的に生成され、ゲーム、ストリーミング メディアなどのさまざまなシナリオで広く認識されています。実際には、CGI の品質は、制作中のレンダリングの低下と避けられない圧縮アーティファクトに常に悩まされています。
マルチメディアアプリケーションの送信中。
ただし、コンピューター グラフィックス画像品質評価 (CGIQA) の課題に対処することに専念した研究はほとんどありません。
ほとんどの画質評価 (IQA) メトリクスは、自然シーンの画像 (NSI) 用に開発され、野生の CGI には適していない合成歪みを含む NSI で構成されるデータベースで検証されます。
NSI と CGI の品質評価の間のギャップを埋めるために、6,000 個の CGI で構成される大規模な野生の CGIQA データベース (CGIQA-6k) を構築し、十分に制御された実験室環境で主観的な実験を実行して、
CGI の正確な知覚評価。
次に、多段階の特徴融合戦略と多段階のチャネル注意メカニズムを利用することにより、効果的な深層学習ベースの非参照 (NR) IQA モデルを提案します。
提案されたモデルの主な動機は、CGI には明らかなパターンと豊富なインタラクティブなセマンティック コンテンツがあるため、低レベルから高レベルまでのチャネル間情報を最大限に活用することです。
実験結果は、提案された方法が、構築されたCGIQA-6kデータベースおよび他のCGIQA関連データベースに対する他のすべての最先端のNR IQA方法よりも優れていることを示しています。
さらなる研究を容易にするために、コードとともにデータベースがリリースされます。

要約(オリジナル)

Computer graphics images (CGIs) are artificially generated by means of computer programs and are widely perceived under various scenarios, such as games, streaming media, etc. In practical, the quality of CGIs consistently suffers from poor rendering during the production and inevitable compression artifacts during the transmission of multimedia applications. However, few works have been dedicated to dealing with the challenge of computer graphics images quality assessment (CGIQA). Most image quality assessment (IQA) metrics are developed for natural scene images (NSIs) and validated on the databases consisting of NSIs with synthetic distortions, which are not suitable for in-the-wild CGIs. To bridge the gap between evaluating the quality of NSIs and CGIs, we construct a large-scale in-the-wild CGIQA database consisting of 6,000 CGIs (CGIQA-6k) and carry out the subjective experiment in a well-controlled laboratory environment to obtain the accurate perceptual ratings of the CGIs. Then, we propose an effective deep learning-based no-reference (NR) IQA model by utilizing multi-stage feature fusion strategy and multi-stage channel attention mechanism. The major motivation of the proposed model is to make full use of inter-channel information from low-level to high-level since CGIs have apparent patterns as well as rich interactive semantic content. Experimental results show that the proposed method outperforms all other state-of-the-art NR IQA methods on the constructed CGIQA-6k database and other CGIQA-related databases. The database along with the code will be released to facilitate further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google