Content-Distortion High-Order Interaction for Blind Image Quality Assessment

要約

内容と歪みは、画像の視覚品質に影響を与える2つの主要な要因として広く認識されています。
既存の非参照画質評価（NR-IQA）メソッドはこれらの要因をモデル化しましたが、コンテンツと歪みの間の複雑な相互作用をキャプチャできません。
この不足は、品質を正確に知覚する能力を損ないます。
これに立ち向かうために、相互作用モデリングに必要な重要な特性を分析し、階層相互作用フレームワーク内に局所的な歪みとグローバルなコンテンツ機能を集約するCODI-IQA（NR-IQAのコンテンツ歪みの高次相互作用）と呼ばれる堅牢なNR-IQAアプローチを提案します。
具体的には、プログレッシブ知覚相互作用モジュール（PPIM）が提案され、コンテンツと歪みが独立してどのように画質に影響するかを明示的にシミュレートします。
内部相互作用、粗い相互作用、細かい相互作用を統合することにより、モデルが基礎となる相互作用パターンを適切に表すことができる高次の相互作用モデリングを実現します。
十分な相互作用を確保するために、複数のPPIMを使用して、異なる粒度でマルチレベルのコンテンツと歪み機能を階層的に融合します。
また、CODI-IQAに適したトレーニング戦略を調整して、相互作用の安定性を維持します。
広範な実験は、提案された方法が、予測の精度、データ効率、および一般化能力の観点から、最先端の方法を特に上回ることを示しています。

要約(オリジナル)

The content and distortion are widely recognized as the two primary factors affecting the visual quality of an image. While existing No-Reference Image Quality Assessment (NR-IQA) methods have modeled these factors, they fail to capture the complex interactions between content and distortions. This shortfall impairs their ability to accurately perceive quality. To confront this, we analyze the key properties required for interaction modeling and propose a robust NR-IQA approach termed CoDI-IQA (Content-Distortion high-order Interaction for NR-IQA), which aggregates local distortion and global content features within a hierarchical interaction framework. Specifically, a Progressive Perception Interaction Module (PPIM) is proposed to explicitly simulate how content and distortions independently and jointly influence image quality. By integrating internal interaction, coarse interaction, and fine interaction, it achieves high-order interaction modeling that allows the model to properly represent the underlying interaction patterns. To ensure sufficient interaction, multiple PPIMs are employed to hierarchically fuse multi-level content and distortion features at different granularities. We also tailor a training strategy suited for CoDI-IQA to maintain interaction stability. Extensive experiments demonstrate that the proposed method notably outperforms the state-of-the-art methods in terms of prediction accuracy, data efficiency, and generalization ability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google