Test Time Adaptation for Blind Image Quality Assessment

要約

ブラインド画質評価 (IQA) アルゴリズムの設計は大幅に改善されましたが、トレーニング シナリオとテスト シナリオ間の分布の変化により、推論時のこれらの手法のパフォーマンスが低下することがよくあります。
これにより、推論時のパフォーマンスを向上させるためのテスト時間適応 (TTA) 手法の研究が促進されます。
TTA に使用される既存の補助タスクと損失関数は、事前トレーニングされたモデルの品質を意識した適応には関連しない可能性があります。
この作業では、ブラインド IQA の TTA を可能にするために、バッチ レベルとサンプル レベルで 2 つの新しい品質関連の補助タスクを導入します。
特に、モデルの品質を認識してターゲット データに適応させるために、バッチ レベルでのグループ対比損失とサンプル レベルでの相対ランク損失を導入します。
私たちの実験では、テスト配布からの小さなバッチの画像を使用した場合でも、ソース モデルのバッチ正規化統計を更新することでパフォーマンスの大幅な向上を達成できることが明らかになりました。

要約(オリジナル)

While the design of blind image quality assessment (IQA) algorithms has improved significantly, the distribution shift between the training and testing scenarios often leads to a poor performance of these methods at inference time. This motivates the study of test time adaptation (TTA) techniques to improve their performance at inference time. Existing auxiliary tasks and loss functions used for TTA may not be relevant for quality-aware adaptation of the pre-trained model. In this work, we introduce two novel quality-relevant auxiliary tasks at the batch and sample levels to enable TTA for blind IQA. In particular, we introduce a group contrastive loss at the batch level and a relative rank loss at the sample level to make the model quality aware and adapt to the target data. Our experiments reveal that even using a small batch of images from the test distribution helps achieve significant improvement in performance by updating the batch normalization statistics of the source model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google