Shift-tolerant Perceptual Similarity Metric

要約

既存の知覚的類似性メトリックは、画像とその参照が適切に配置されていることを前提としています。
その結果、これらのメトリックは、人間の目には知覚できない小さな位置合わせエラーに敏感であることがよくあります。
このホワイトペーパーでは、既存のメトリックに対する小さなミスアライメント、特に入力画像と参照画像間の小さなシフトの影響を調査し、それに応じてシフトトレラントな類似性メトリックを開発します。
このホワイトペーパーは、広く使用されている学習済みの知覚的類似性メトリックであるLPIPSに基づいて構築されており、アーキテクチャ設計の考慮事項を検討して、知覚できない不整合に対して堅牢にします。
具体的には、アンチエイリアシングフィルタリング、プーリング、ストライド、パディング、スキップ接続など、さまざまなニューラルネットワーク要素を調査し、堅牢なメトリックを作成する上でのそれらの役割について説明します。
私たちの研究に基づいて、新しいディープニューラルネットワークベースの知覚的類似性メトリックを開発します。
私たちの実験は、人間の類似性の判断と一致しながら、私たちのメトリックが知覚できないシフトに耐性があることを示しています。

要約(オリジナル)

Existing perceptual similarity metrics assume an image and its reference are well aligned. As a result, these metrics are often sensitive to a small alignment error that is imperceptible to the human eyes. This paper studies the effect of small misalignment, specifically a small shift between the input and reference image, on existing metrics, and accordingly develops a shift-tolerant similarity metric. This paper builds upon LPIPS, a widely used learned perceptual similarity metric, and explores architectural design considerations to make it robust against imperceptible misalignment. Specifically, we study a wide spectrum of neural network elements, such as anti-aliasing filtering, pooling, striding, padding, and skip connection, and discuss their roles in making a robust metric. Based on our studies, we develop a new deep neural network-based perceptual similarity metric. Our experiments show that our metric is tolerant to imperceptible shifts while being consistent with the human similarity judgment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google