Apples and Oranges? Assessing Image Quality over Content Recognition

要約

画像認識と品質評価は、2 つの重要な表示タスクですが、異なる視覚メカニズムに従う可能性があります。
この論文では、2 つのタスクがマルチタスク学習方式で実行できるかどうかを調査します。
コンテンツ認識と品質評価に重要な視覚的注意とコントラスト感度メカニズムをシミュレートするために、シーケンシャルな空間チャネル注意モジュールが提案されています。
空間的注意はコンテンツ認識と品質評価の間で共有されますが、チャネルの注意は品質評価のみに使用されます。
このようなアテンション モジュールは Transformer に統合され、2 つの表示タスクの統一モデルを構築します。
実験結果は、提案された均一モデルが品質評価とコンテンツ認識タスクの両方で有望なパフォーマンスを達成できることを実証しました。

要約(オリジナル)

Image recognition and quality assessment are two important viewing tasks, while potentially following different visual mechanisms. This paper investigates if the two tasks can be performed in a multitask learning manner. A sequential spatial-channel attention module is proposed to simulate the visual attention and contrast sensitivity mechanisms that are crucial for content recognition and quality assessment. Spatial attention is shared between content recognition and quality assessment, while channel attention is solely for quality assessment. Such attention module is integrated into Transformer to build a uniform model for the two viewing tasks. The experimental results have demonstrated that the proposed uniform model can achieve promising performance for both quality assessment and content recognition tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google