A Causal Framework for Aligning Image Quality Metrics and Deep Neural Network Robustness

要約

画質は、深いニューラルネットワーク（DNNS）のパフォーマンスにおいて重要な役割を果たし、DNNSは画像条件の変化に感度を示すことが広く示されています。
大規模なデータセットには、DNNのパフォーマンスと堅牢性をよりよく特徴付けるために、基礎となる品質分布を定量化および理解する必要性を促す幅広い条件下で画像が含まれていることがよくあります。
画質メトリックとDNNSの感度を調整することで、品質の推定が、データでトレーニング/評価されたタスクモデルとは無関係に画像/データセットの難易度のプロキシとして機能することが保証されます。
従来の画像品質評価（IQA）は、人間の知覚的判断と比較して品質を測定して調整しようとしていますが、ここでは、イメージング条件に敏感であるだけでなく、DNNの感受性に適した品質測定を求めています。
最初に、従来のIQAメトリックがDNNパフォーマンスについても有益であるかどうかを尋ねます。
この質問に答えるために、IQAを因果的な観点から再構成し、品質指標がDNNパフォーマンスを予測する条件を調べます。
現在のIQAメトリックが分類のコンテキストでDNNパフォーマンスの弱い予測因子であることを理論的および経験的に示します。
次に、因果フレームワークを使用して、代替の定式化と、DNNパフォーマンスとより強く相関し、新しいタスクモデルをトレーニングせずにパフォーマンスの事前に機能する新しい画質メトリックを提供します。
私たちのアプローチは、データセット構成とDNNパフォーマンスの関係を特徴付けるために、大規模な画像データセットの品質分布を直接推定する手段を提供します。

要約(オリジナル)

Image quality plays an important role in the performance of deep neural networks (DNNs) and DNNs have been widely shown to exhibit sensitivity to changes in imaging conditions. Large-scale datasets often contain images under a wide range of conditions prompting a need to quantify and understand their underlying quality distribution in order to better characterize DNN performance and robustness. Aligning the sensitivities of image quality metrics and DNNs ensures that estimates of quality can act as proxies for image/dataset difficulty independent of the task models trained/evaluated on the data. Conventional image quality assessment (IQA) seeks to measure and align quality relative to human perceptual judgments, but here we seek a quality measure that is not only sensitive to imaging conditions but also well-aligned with DNN sensitivities. We first ask whether conventional IQA metrics are also informative of DNN performance. In order to answer this question, we reframe IQA from a causal perspective and examine conditions under which quality metrics are predictive of DNN performance. We show theoretically and empirically that current IQA metrics are weak predictors of DNN performance in the context of classification. We then use our causal framework to provide an alternative formulation and a new image quality metric that is more strongly correlated with DNN performance and can act as a prior on performance without training new task models. Our approach provides a means to directly estimate the quality distribution of large-scale image datasets towards characterizing the relationship between dataset composition and DNN performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google