LipSim: A Provably Robust Perceptual Similarity Metric

要約

近年、知覚的類似性指標の開発と適用に対する関心が高まっています。
研究では、人間の知覚と一致し、人間の視覚システムの代理として機能するという点で、ピクセル単位のメトリクスよりも知覚メトリクスの方が優れていることが示されています。
一方で、知覚メトリクスはニューラル ネットワークに依存しているため、敵対的な攻撃に対するニューラル ネットワークの脆弱性が確立されていることを考慮すると、その回復力に関する懸念が高まっています。
知覚メトリクスがニューラル ネットワークの長所と短所の両方を引き継いでいる可能性があると推論するのは確かに論理的です。
この研究では、ViT ベースの特徴抽出器のアンサンブルに基づく最先端の知覚類似性メトリクスの敵対的攻撃に対する脆弱性を実証します。
次に、証明可能な保証を備えた LipSim (リプシッツ類似性メトリック) と呼ばれる堅牢な知覚的類似性メトリックをトレーニングするためのフレームワークを提案します。
1-リプシッツ ニューラル ネットワークをバックボーンとして活用することで、LipSim は各データ ポイントの周囲に保護された領域を提供し、$\ell_2$ ボール内のすべての摂動を証明書します。
最後に、一連の包括的な実験により、自然スコアと認定スコア、および画像検索アプリケーションに関する LipSim のパフォーマンスが示されます。
コードは https://github.com/SaraGhazanfari/LipSim で入手できます。

要約(オリジナル)

Recent years have seen growing interest in developing and applying perceptual similarity metrics. Research has shown the superiority of perceptual metrics over pixel-wise metrics in aligning with human perception and serving as a proxy for the human visual system. On the other hand, as perceptual metrics rely on neural networks, there is a growing concern regarding their resilience, given the established vulnerability of neural networks to adversarial attacks. It is indeed logical to infer that perceptual metrics may inherit both the strengths and shortcomings of neural networks. In this work, we demonstrate the vulnerability of state-of-the-art perceptual similarity metrics based on an ensemble of ViT-based feature extractors to adversarial attacks. We then propose a framework to train a robust perceptual similarity metric called LipSim (Lipschitz Similarity Metric) with provable guarantees. By leveraging 1-Lipschitz neural networks as the backbone, LipSim provides guarded areas around each data point and certificates for all perturbations within an $\ell_2$ ball. Finally, a comprehensive set of experiments shows the performance of LipSim in terms of natural and certified scores and on the image retrieval application. The code is available at https://github.com/SaraGhazanfari/LipSim.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google